查询结果:   徐化岩,初彦龙.基于influxDB的工业时序数据库引擎设计[J].计算机应用与软件,2019,36(9):33 - 36,40.
中文标题
基于influxDB的工业时序数据库引擎设计
发表栏目
软件技术与研究
摘要点击数
495
英文标题
DESIGN OF INDUSTRIAL TIME SERIES DATABASE ENGINE BASED ON INFLUXDB
作 者
徐化岩 初彦龙 Xu Huayan Chu Yanlong
作者单位
冶金自动化研究设计院混合流程工业自动化系统及装备技术国家重点实验室 北京 100071 辽宁警察学院治安管理系 辽宁 大连 116036    
英文单位
State Key Laboratory of Hybrid Process Industry Automation Systems and Equipment Technology, Automation Research and Design Institute of Metallurgical Industry, Beijing 100071, China Department of Public Security Management, Liaoning Police College, Dalian 116036, Liaoning, China    
关键词
时序数据库 influxDB TSM 压缩 索引
Keywords
Time series database InfluxDB TSM Compression Index
基金项目
国家重点研发计划项目(2017YFB0304102)
作者资料
徐化岩,高工,主研领域:钢铁企业信息化。初彦龙,副教授。 。
文章摘要
工业时序数据具有测点多、采样频率快、读取性能要求高等特点。influxDB提出时间结构合并树TSM,解决了数据的读写性能优化问题,并针对整数、浮点数、布尔、字符串、时间五种数据类型采用不同的压缩算法。它在读写性能、存储空间占用方面取得了较好的效果,在开源时序数据库软件中排名第一。针对influxDB元数据结构相对于工业时序数据过于复杂的问题,提出简化后的TSM文件结构,开发工业时序数据库的引擎,并进行了读写性能测试。结果显示,该引擎一次5万点整型数据写入平均耗时约310 ms,读取1 000点共计100万条数据耗时约626 ms,并且具有很大的性能提升潜力。
Abstract
Industrial time series data have many characteristics, such as many measuring points, fast sampling frequency and high requirement of reading performance. The TSM proposed by influxDB solves the problem of data read-write performance optimization. Different compression algorithms are adopted for five data types: integer, floating point, Boolean, string and time. It has achieved good results in reading and writing performance and storage space occupancy, ranking first in open source sequential database software. Aiming at the problem that influxDB metadata structure is too complex compared with industrial time series data, this paper proposed a simplified TSM file structure, developed an engine of industrial time series database, and tested its read-write performance. The results show that the engine takes about 310 ms to write 50 000 integer data at a time, and about 626 ms to read 1 million data at 1 000 points, and has great potential for performance improvement.
下载PDF全文   

根据该篇关键词查找到本刊已发表相关论文供参考
序号
文  章  标  题
作者1
发表栏目
页码
摘要
1
分块筛选自适应压缩感知重构算法
邓垚
图像处理与应用
2020
5
233
摘要还未上传
2
基于influxDB的工业时序数据库引擎设计
徐化岩
软件技术与研究
2019
9
33
[摘要]
3
基于压缩感知的ACNS碰撞信息重构方法
陆颖
应用技术与研究
2019
9
83
[摘要]
4
改进的频繁项集挖掘算法及其应用研究
顾军华
算法
2019
9
260
[摘要]
5
结合文本密度的语义聚焦爬虫方法
林椹尠
算法
2019
9
270
[摘要]
6
食品追溯信息系统中ITSM的应用研究
杨虹
软件技术与研究
2019
8
31
[摘要]
7
Stack Overflow系统的特征融合答案推荐策略
万杰
应用技术与研究
2019
8
60
[摘要]
8
基于本体的领域自动问答系统研究
朱淑媛
应用技术与研究
2019
8
98
[摘要]
9
基于卷积神经网络的脐橙果梗脐部检测算法及应用
杜雨亭
人工智能与识别
2019
7
208
[摘要]
10
基于分布式NoSQL数据库的档案大数据存储与检索方案研究
施晓峰
数据工程
2019
5
15
[摘要]
11
与JPEG压缩相结合的图像加密算法
郭家伟
图像处理与应用
2019
5
178
[摘要]
12
动态图上基于2-HOP COVER的TOP-K最短路径算法
施琴儿
算法
2019
4
210
[摘要]
13
基于边缘映射抽样与多维尺度压缩的紧凑图像哈希算法
戴歆
应用技术与研究
2019
3
89
[摘要]
14
网络语音同一性鉴定中的共振峰差异分析
张晓
人工智能与识别
2019
3
187
[摘要]
15
空间查询处理技术综述
顾雨婷
综合评述
2019
11
1
[摘要]
16
一种基于流媒体压缩算法的高性能集群监控系统
樊书华
应用技术与研究
2019
11
25
[摘要]
17
基于小波变换的分形图像编码压缩算法
赵蓉
算法
2019
11
262
[摘要]
18
全景视频基于纬度分段映射算法
赵海武
多媒体技术应用
2019
10
107
[摘要]
19
基于改进索引散列树的动态大数据审核方法
王向华
安全技术
2019
1
302
[摘要]
20
基于个性化订制与跨语言搜索技术的网络信息服务平台
乌宝贵
应用技术与研究
2018
9
149
[摘要]
21
基于商空间的不完备形式背景填补方法研究
张其文
软件技术与研究
2018
8
37
[摘要]
22
云数据存储技术在气象数据存储中的应用
陈晴
应用技术与研究
2018
8
124
[摘要]
23
面向SaaS应用基于多宽表模式的多租户索引研究
张雅文
数据工程
2018
7
63
[摘要]
24
基于卷积神经网络和E2LSH的遥感图像检索研究
彭晏飞
图像处理与应用
2018
7
250
[摘要]
25
ES_SSE:一种文本重复检测方法
杨荣
算法
2018
7
286
[摘要]
26
压缩感知中基于FADMM的l1-l1范数信号重构
高雷阜
算法
2018
7
299
[摘要]
27
智慧旅游中基于语义轨迹的高效最近邻查询方法研究
孙一格
数据工程
2018
6
36
[摘要]
28
Python与批处理在遥感影像存储中的应用
廖小龙
应用技术与研究
2018
6
102
[摘要]
29
一种基于Spark的分布式时态索引方法
郑晓东
应用技术与研究
2018
5
102
[摘要]
30
基于时空分割的三维动画压缩
熊小勇
多媒体技术应用
2018
5
208
[摘要]
31
基于奇异值分解和条件异方差的数字水印算法
刘红梅
图像处理与应用
2018
5
253
[摘要]
32
基于Redis的海量智慧医疗小文件存储架构设计
程晗
应用技术与研究
2018
4
86
[摘要]
33
元胞自动机压缩算法仿真卫星云图
邹阳
图像处理与应用
2018
4
265
[摘要]
34
大规模数据集下基于DBSCAN算法的增量并行化快速聚类
王兴
算法
2018
4
269
[摘要]
35
一种基于HBase的语义数据存储模型
翟社平
软件技术与研究
2018
3
15
[摘要]
36
大型天然气压缩机组节能优化软件设计
刘航铭
数据工程
2018
3
38
[摘要]
37
极化码在压缩图像传输系统中的性能改进方法
沈周青
多媒体技术应用
2018
3
145
[摘要]
38
基于相对同步欧氏距离筛选的在线GPS轨迹数据压缩算法
吴青华
算法
2018
3
282
[摘要]
39
GOMP改进算法在信道估计中的应用
任晓奎
算法
2018
3
289
[摘要]
40
基于NSCT-DCT-DWT-SVD联合数字水印算法
展虎
安全技术
2018
3
309
[摘要]
41
支持关键字更新的基于属性可搜索加密方案
许盛伟
安全技术
2018
3
327
[摘要]
42
基于Spark的空间范围查询索引研究
陈业斌
应用技术与研究
2018
2
96
[摘要]
43
基于贝叶斯压缩感知的毫米波MIMO信道估计
吴贇
网络与通信
2018
2
126
[摘要]
44
基于最优特征更新分类器的压缩跟踪算法
冷建伟
人工智能与识别
2018
2
206
[摘要]
45
一种距离误差可控的DPTS-SP-Prac改进算法
董天放
算法
2018
2
289
[摘要]
46
海量网络文本去重系统的设计与实现
汤建明
数据工程
2018
12
33
[摘要]
47
基于H.264抗重压缩的视频水印算法
刘凯
多媒体技术应用
2018
12
163
[摘要]
48
基于分段线性坐标优化的退化压缩感知水印检测
陈晓锋
安全技术
2018
12
313
[摘要]
49
基于线性四分树的空间关键词最近邻查询方法研究
于启迪
应用技术与研究
2018
11
81
[摘要]
50
基于平滑渐进l1范数的压缩感知信号的重构算法
陈暄
算法
2018
11
289
[摘要]
51
一种面向中文分词的搜索算法
张天皓
软件技术与研究
2018
10
9
[摘要]
52
基于ARM的嵌入式视频监控系统的设计与实现
杨建国
嵌入式软件与应用
2018
10
223
[摘要]
53
复杂边界下大涡模拟的格子Boltzmann并行方法
徐磊
算法
2018
10
226
[摘要]
54
一种实用高效的安全多方排序协议
王宁
安全技术
2018
10
305
[摘要]
55
基于数据挖掘的攻击场景提取方法研究
彭梦停
安全技术
2018
10
317
[摘要]
56
基于深度学习的视频近似拷贝检索
冯兆华
多媒体技术应用
2018
1
160
[摘要]
57
多支持度下用户行为序列模式挖掘方法研究
徐启寒
算法
2018
1
269
[摘要]
58
基于Open API WebGIS的海洋渔业环境保障服务产品发布系统研究
蔡文博
应用技术与研究
2017
9
72
[摘要]
59
基于数据服务的县级国土资源“一张图”平台关键技术研究
辜寄蓉
应用技术与研究
2017
9
82
[摘要]
60
基于Gauss-Hermite分布模型的水印检测算法研究
李爱华
图像处理与应用
2017
9
216
[摘要]
61
一种利用低秩矩阵填充技术恢复气象数据的方法
臧芳
信息技术交流
2017
9
322
[摘要]
62
基于DWT域对数量化索引调制的数字水印算法
汤永利
图像处理与应用
2017
8
206
[摘要]
63
一种高效的船舶活动热点海域探测算法
杨乐
算法
2017
8
296
[摘要]
64
一种用于松质骨变形测量的数字图像相关方法
熊慧芳
图像处理与应用
2017
7
159
[摘要]
65
基于时间序列模型商品搜索排序
章振增
算法
2017
7
282
[摘要]
66
基于统计学的Web论坛增量更新策略研究
冯凯
数据工程
2017
6
31
[摘要]
67
基于HBASE的时空大数据关联查询优化
徐爱萍
数据工程
2017
6
37
[摘要]
68
基于相似度算法的英语智能问答系统设计与实现
王文辉
应用技术与研究
2017
6
62
[摘要]
69
基于差分传输的千兆加速网关
罗勇军
网络与通信
2017
6
120
[摘要]
70
基于特征加权的快速压缩感知跟踪
赵端
图像处理与应用
2017
6
201
[摘要]
71
基于压缩感知的监控视频多目标自适应跟踪算法
刘旸波
人工智能与识别
2017
5
147
[摘要]
72
一种基于分类存储的空间高效Aho-Corasick算法
汪泓才
算法
2017
5
279
[摘要]
73
基于区域方差的纹理滤波算法
骆正茂
信息技术交流
2017
5
329
[摘要]
74
基于高通量测序的短序列生物数据压缩研究
孟倩
数据工程
2017
4
22
[摘要]
75
云环境下基于可搜索加密技术的密文全文检索研究
张克君
应用技术与研究
2017
4
35
[摘要]
76
一种基于索引空间的三维运动捕获数据检索方法
徐从洋
多媒体技术应用
2017
4
142
[摘要]
77
基于Kent混沌测量矩阵的压缩感知图像重构算法
孙宪坤
图像处理与应用
2017
4
213
[摘要]
78
云存储中基于二进制向量索引的密文云数据排序查询方法
陈兰香
软件技术与研究
2017
3
7
[摘要]
79
快速路行程速度突变段挖掘和基于相似匹配的短时预测算法
李心玥
数据工程
2017
3
38
[摘要]
80
基于三像素块差值的多层可逆图像水印算法
钱华山
安全技术
2017
3
252
[摘要]
81
基于独立流量平稳模型的异常检测算法研究
费金龙
安全技术
2017
3
272
[摘要]
82
基于列存储机制下多维数据仓库模型的优化与研究
徐晓锦
数据工程
2017
2
48
[摘要]
83
TSEA:极地科考在线系统中海量走航数据的剔除算法
黄冬梅
数据工程
2017
2
53
[摘要]
84
医学影像云存储模型的研究与设计
齐来军
数据工程
2017
2
64
[摘要]
85
PDM中基于cuckoo filter的数据完整性校验
丛丽晖
应用技术与研究
2017
2
123
[摘要]
86
基于n-gram多特征的流量载荷类型分类方法
丁杰
网络与通信
2017
2
152
[摘要]
87
基于日志分析平台的监控系统的设计与实现
王力群
应用技术与研究
2017
12
158
[摘要]
88
一种面向相似查询的轨迹索引方法
王飞
软件技术与研究
2017
11
1
[摘要]
89
基于多尺度核索引字典的飞机目标检测优化仿真
陈滨
人工智能与识别
2017
11
197
[摘要]
90
基于节点压缩的寻径优化算法
廖志芳
算法
2017
11
241
[摘要]
91
网络诈骗信息垂直搜索引擎的设计与实现
胡亮
安全技术
2017
11
302
[摘要]
92
一个基于词语搭配的英文文本检索软件的实现
乔艳梅
应用技术与研究
2017
10
85
[摘要]
93
一种改进的卷积神经网络的无参考JPEG2000图像质量评价方法
朱睿
图像处理与应用
2017
1
175
[摘要]
94
基于网络爬虫和改进的LCS算法的网站更新监测
周孝锞
算法
2017
1
222
[摘要]
95
基于视觉密码和边缘检测的零水印算法
曲长波
安全技术
2016
9
328
[摘要]
96
面向城轨线网的海量小文件存储方法
刘靖
数据工程
2016
8
76
[摘要]
97
海量时空大气电场数据的压缩存储与共享
路明月
应用技术与研究
2016
7
93
[摘要]
98
嵌入式操作系统MQX内存管理机制分析与改进
文瑾
嵌入式软件与应用
2016
7
239
[摘要]
99
基于离散八元数余弦变换的彩色图像水印算法
吴明珠
安全技术
2016
7
294
[摘要]
100
基于改进压缩感知的说话人识别抗噪算法
茅正冲
人工智能与识别
2016
6
155
[摘要]
101
基于奇异值分解的Toeplitz结构测量矩阵构造方法
赵辉
图像处理与应用
2016
6
180
[摘要]
102
基于Android的代谢网络可视化和生化反应搜索的实现
张浩然
嵌入式软件与应用
2016
6
224
[摘要]
103
基于大字典的LZW压缩算法的降熵改进
陆振龙
算法
2016
6
287
[摘要]
104
基于QR分解的Contourlet域鲁棒盲水印算法
刘海
安全技术
2016
6
306
[摘要]
105
基于改进的Booth编码和Wallace树的乘法器优化设计
石敏
软件技术与研究
2016
5
13
[摘要]
106
一种批处理块级数据去重方法
杨天明
数据工程
2016
5
44
[摘要]
107
基于嵌入式Linux的卫星气象控制与管理系统设计
王若珏
嵌入式软件与应用
2016
5
218
[摘要]
108
基于AMR-WB线谱频率参数的隐写算法
滕达
算法
2016
5
278
[摘要]
109
RLPI索引:一种处理连续不确定XML索引
张晓琳
数据工程
2016
4
25
[摘要]
110
加权映射匹配方法的站内搜索引擎设计
江文龙
应用技术与研究
2016
4
91
[摘要]
111
安全云环境中一种改进的多关键字检索方案
郭秋滟
应用技术与研究
2016
4
103
[摘要]
112
基于遗传压缩感知的无线传感器网络数据压缩方法
张娜
网络与通信
2016
4
129
[摘要]
113
基于深度图像信息的指尖跟踪与轨迹识别
李哲
人工智能与识别
2016
4
155
[摘要]
114
图像显著性启发的傅里叶频域变密度压缩采样
黄海
图像处理与应用
2016
4
164
[摘要]
115
贪婪重构算法StOMP及其改进
陈艳良
算法
2016
4
258
[摘要]
116
面向海量数据的在线流数据服务框架
杨臻
数据工程
2016
3
56
[摘要]
117
基于HDFS的创新知识云平台存储架构的研究与设计
马建红
数据工程
2016
3
62
[摘要]
118
农业信息搜索可视化平台研究
王恬
算法
2016
3
271
[摘要]
119
面向大数据处理的Hadoop与MongoDB整合技术研究
曾强
数据工程
2016
2
21
[摘要]
120
基于Schema的XML混合编码索引查询技术
夏刚
数据工程
2016
2
33
[摘要]
121
基于改进贝叶斯压缩感知的正交频分复用系统信道估计
常苗苗
网络与通信
2016
2
98
[摘要]
122
基于DM6437的智能视频监控系统设计与实现
方浩
嵌入式软件与应用
2016
2
192
[摘要]
123
基于RPC模型的访问控制策略压缩算法
程玉柱
信息技术交流
2016
2
330
[摘要]
124
基于CUDA的生物序列数据算术编码并行压缩
许俊富
应用技术与研究
2016
12
26
[摘要]
125
CoSaMP改进算法在信道估计中的应用
任晓奎
网络与通信
2016
11
105
[摘要]
126
步长自适应的前向后向匹配追踪算法
张松江
算法
2016
11
244
[摘要]
127
基于增量信息索引的子图查询算法
王超珲
数据工程
2016
10
37
[摘要]
128
基于Curvelet变换的压缩传感超分辨率重建
叶坤涛
应用技术与研究
2016
10
57
[摘要]
129
基于音频特征MFCC的零水印算法
宋慧
多媒体技术应用
2016
10
140
[摘要]
130
一种基于GPU的移动对象并行处理框架
韦春丹
算法
2016
10
223
[摘要]
131
装备维修过程中备件布局的多目标优化决策
郭璐
算法
2016
10
233
[摘要]
132
基于稀疏度自适应算法的MIMO-OFDM稀疏信道估计研究
任晓奎
网络与通信
2016
1
120
[摘要]
133
基于球哈希和改进的灰度差算法的视频拷贝检测
李皓
图像处理与应用
2016
1
181
[摘要]
134
一种近似奇异值分解的观测矩阵优化方法
牛亚坤
图像处理与应用
2016
1
195
[摘要]
135
基于MapReduce的频繁项集并行挖掘算法
马强
软件技术与研究
2015
9
13
[摘要]
136
基于DOM状态转换的隐网页信息抽取算法
房勇
软件技术与研究
2015
9
17
[摘要]
137
基于MongoDB的BESIII分布式计算记账系统的研究与实现
张刚
应用技术与研究
2015
9
62
[摘要]
138
领域本体的藏文主题爬虫搜索策略研究
高红梅
应用技术与研究
2015
9
68
[摘要]
139
基于SVAC视频标准的3G智能手机监控平台设计
陈威兵
多媒体技术应用
2015
9
141
[摘要]
140
随机维哈希量化视词字典的目标检索方法
赵嵩
多媒体技术应用
2015
9
149
[摘要]
141
分布式拒绝服务攻击高速率单点局部异常检测
刘玉宽
安全技术
2015
9
299
[摘要]
142
基于峭度准则的稀疏编码算法与仿真研究
段均
信息技术交流
2015
9
324
[摘要]
143
基于FP_Growth的消费行为关联分析系统设计与实现
黄伟
数据工程
2015
8
34
[摘要]
144
基于压缩感知和非对称Turbo码的联合信源信道编码
汪亚芬
网络与通信
2015
8
110
[摘要]
145
基于SHA-3的密文数据检索技术
范雪峰
安全技术
2015
8
279
[摘要]
146
结合自治系统号扩展IP地址空间的研究
马海波
网络与通信
2015
7
119
[摘要]
147
WSN中基于多属性协助和压缩感知的数据恢复算法
赵巾帼
网络与通信
2015
7
137
[摘要]
148
视觉单词优化仿射尺度不变特征变换的视频人脸识别
张雪峰
图像处理与应用
2015
7
223
[摘要]
149
基于九宫格的二值图像压缩算法
曾党泉
算法
2015
7
259
[摘要]
150
基于免疫克隆选择算法的垃圾网页检测
杨凡
软件技术与研究
2015
6
20
[摘要]
151
基于密文索引的空管敏感信息检索方法
苟轶凡
数据工程
2015
6
37
[摘要]
152
异构环境下的GML空间数据高效集成研究
李文全
数据工程
2015
5
42
[摘要]
153
逆合成孔径激光雷达鸟类目标方位向高分辨稀疏合成方法
丁健
应用技术与研究
2015
5
109
[摘要]
154
基于压缩感知的长时间实时跟踪技术研究
董世明
图像处理与应用
2015
5
207
[摘要]
155
二维分段线性混沌映射耦合中国剩余定理的图像加密压缩同步算法
郭祖华
安全技术
2015
5
288
[摘要]
156
代码变形的增强LZMA算法
易军凯
信息技术交流
2015
5
302
[摘要]
157
GOS+MU:一种查询对象选择新方法
陈念
数据工程
2015
4
42
[摘要]
158
基于Cortex-A8的智能视频传感器的设计
王孟柳
多媒体技术应用
2015
4
137
[摘要]
159
基于运动目标子块分割的视频零水印算法
李淑芝
图像处理与应用
2015
4
191
[摘要]
160
一种基于蚁群优化的图像分类算法
屠莉
图像处理与应用
2015
4
202
[摘要]
161
基于扩展倒排索引的不确定XML关键字查询算法
牛大伟
算法
2015
4
247
[摘要]
162
飞腾平台中硬件数据压缩的驱动设计与实现
刘刚
数据工程
2015
3
20
[摘要]
163
一种结合听觉掩蔽与双耳互相关的声源定位算法
罗元
多媒体技术应用
2015
3
141
[摘要]
164
面向城市交通信息的垂直搜索引擎的设计与实现
袁萌
信息技术交流
2015
3
306
[摘要]
165
一种基于主题类别信息问句检索的新方法
杨海天
数据工程
2015
2
24
[摘要]
166
一种使用四叉树分割的分形信息隐藏算法
聂道聪
安全技术
2015
2
307
[摘要]
167
基于MD5去重树的网络爬虫的设计与优化
严磊
信息技术交流
2015
2
325
[摘要]
168
一种面向动态连续查询的查询索引
邓泽
数据工程
2015
12
8
[摘要]
169
基于Web知识的中文分词结果优化
杨阳
应用技术与研究
2015
12
55
[摘要]
170
基于块效应分析的JPEG图像处理历史检测
蔡浩
图像处理与应用
2015
12
165
[摘要]
171
查询日志中查询意图的自动识别
李煜
数据工程
2015
11
27
[摘要]
172
公路环境下支持高效更新的时空数据索引结构
陶涛
数据工程
2015
11
41
[摘要]
173
一种基于加权规则的显著模式挖掘算法
熊政
应用技术与研究
2015
11
53
[摘要]
174
基于能量的稀疏自适应匹配追踪算法
李保珠
网络与通信
2015
11
121
[摘要]
175
基于物联网的智能家居远程监控系统设计与实现
季建华
网络与通信
2015
11
143
[摘要]
176
基于多优化技术的ABAC模型
于芳芳
安全技术
2015
11
312
[摘要]
177
基于多峰函数优化的无线传感网稀疏事件检测
华涛
网络与通信
2015
1
114
[摘要]
178
基于改进的LSB视频信息隐藏方法
薛帅
多媒体技术应用
2015
1
157
[摘要]
179
基于压缩感知和粒子滤波的改进絮体跟踪算法
谢昕
算法
2015
1
244
[摘要]