一种支持智能电网大数据处理的混合存储模型

摘要：

智能电网信息系统中面临着大规模数据存储、快速查询和更改等问题,针对实际应用中遇到的Apache Hive在数据更改能力上存在的不足,分析了智能电网系统中数据更改特点和Hive各种数据更改方案存在的问题,提出了一种支持大数据处理的混合存储模型DualTable.该模型通过整合分别支持”高吞吐流式读”和”高效随机写”的2种存储,并利用代价模型选择存储策略,让Hive能够同时支持高效的查询和更改操作.通过在公开数据集上比较DualTable与普通Hive的查询和更改效率,验证了所提模型在改进Hive更改效率上的有效性.

关键词： 智能电网 大数据处理 混合存储 代价模型

作者: 黄硕 梁英 刘越 肖政 裴旭斌 虎嵩林

作者单位: 中国科学院计算技术研究所 北京 100190;中国科学院大学 北京 100049 中国科学院计算技术研究所 北京 100190 国网电力科学研究院 北京100761 浙江省电力公司 杭州 310007

会议类型: 国内会议

会议名称: 第31届中国数据库学术会议

会议地点: 太原

会议语种:中文

页码: 142-152

在线出版日期: 2014-09-19（万方平台首次上网日期，不代表论文的发表时间）