查询结果:   陈莉莉,张赛桥,胡波.轨道交通线网大数据的建模和存储方案[J].计算机应用与软件,2018,35(12):131 - 134.
中文标题
轨道交通线网大数据的建模和存储方案
发表栏目
应用技术与研究
摘要点击数
116
英文标题
BIG DATA MODELING AND STORAGE SCHEMES FOR RAIL TRANSIT NETWORK
作 者
陈莉莉 张赛桥 胡波 Chen Lili Zhang Saiqiao Hu Bo
作者单位
南瑞集团 国网电力科学研究院    
英文单位
NARI Group Corporation/State Grid Electric Power Research Institute, Nanjing 210032, Jiangsu, China     
关键词
数据建模 数据仓库 城市轨道交通 线网指挥中心
Keywords
Data modeling Data warehouse Urban rail transit Network command center
基金项目
作者资料
陈莉莉,高工,主研领域:轨道交通监控系统。张赛桥,高工。胡波,高工。 。
文章摘要
阐述一种面向轨道交通指挥中心,基于Hadoop架构的线网大数据的数据建模和数据存储方法。将线网大数据中的结构化数据,结合Hadoop平台以及组件特点和轨道交通行业的数据应用情况,选择合理的数据模型,进行数据建模和数据存储。针对逻辑建模作了详细阐述:临时数据文件和基础数据统一建模后存入HBase,中间数据层和数据集市层,以降范式的方法建表存入Hive中。对非结构化数据,采用Hadoop平台按应用和时间分类将小文件存入HBase,并可支持全文检索和分析。搭建的验证平台的实施结果证明,该方案对线网大数据实现了规范和高效的数据存储。
Abstract
We described a method of data modeling and data storage for large data in the net based on Hadoop architecture, which was oriented to rail transit command center. According to the structured data of large data in the line network, Hadoop platform, component characteristics and the data application of the rail transit industry, a reasonable data model was selected for data modeling and data storage. The logical modeling was described in detail: temporary data files and historical data were stored in HBase after unified modeling. Intermediate data layer and data marts layers were stored in Hive in the form of descending paradigm. For unstructured data, Hadoop platform was used to store small files into HBase according to application and time classification, and it could support full-text retrieval and analysis. The implementation results of the verification platform prove that the scheme realizes standard and efficient data storage for large data of line network.
下载PDF全文   

根据该篇关键词查找到本刊已发表相关论文供参考
序号
文  章  标  题
作者1
发表栏目
页码
摘要
1
基于混合式架构城市轨道交通大数据平台与运营决策应用
张铭
应用技术与研究
2019
2
85
[摘要]
2
电网大规模数据仓库的数据接入研究与设计
李子乾
应用技术与研究
2018
8
180
[摘要]
3
基于OLAP和聚类分析的关联规则挖掘方法
熊中敏
数据工程
2018
5
55
[摘要]
4
大型电力企业基于GBase分布式数据仓库建设初探
邱菊
应用技术与研究
2018
5
184
[摘要]
5
共享汽车智能调度专家系统的研究
周鹏飞
应用技术与研究
2018
4
109
[摘要]
6
轨道交通线网大数据的建模和存储方案
陈莉莉
应用技术与研究
2018
12
131
[摘要]
7
大型商业银行基于Hadoop分布式数据仓库建设初探
杨頲
数据工程
2017
8
72
[摘要]
8
基于Hive的支付SDK日志分析系统的设计研究
王建辉
应用技术与研究
2017
7
51
[摘要]
9
基于列存储机制下多维数据仓库模型的优化与研究
徐晓锦
数据工程
2017
2
48
[摘要]
10
基于Linux系统的旋转门检票机设计与研究
周向争
应用技术与研究
2017
12
127
[摘要]
11
网络化分布式军事信息云架构解决方案的设计与实现
潘越
应用技术与研究
2017
10
97
[摘要]
12
城市轨道交通共线交路运行图的优化与编制
张晓倩
算法
2016
3
248
[摘要]
13
基于DBSCAN聚类算法的多模式匹配
丁国辉
数据工程
2016
2
25
[摘要]
14
城市轨道交通WiFi网络建设探究
谢益民
网络与通信
2015
7
129
[摘要]
15
国内电子病历发展与应用现状分析
马锡坤
综合评述
2015
1
10
[摘要]
16
城市轨道交通数字化管理技术方案研究
冯娟
应用技术与研究
2014
5
99
[摘要]
17
一种改进的相似重复记录检测算法
郭文龙
算法
2014
1
293
[摘要]