基于Hadoop 的广域测量系统数据处理

摘要：

为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,本文设计并实现了一个基于Hadoop 的WAMS 数据处理云计算平台.首先,给出了平台的体系结构.其次,设计了基于HDFS 存储的WAMS 海量数据加载方法和利用MapReduce 模型实现多个文件数据的并行ETL 操作流程.提出了结合MapReduce 的MPApriori 数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响.最后,通过对区域电网WAMS 实际数据进行处理,验证了Hadoop 处理海量数据的高效性.本平台适用于高性能局域网络连接的计算机集群对海量电网数据文件数据处理.

关键词： cloud computing data mining WAMS data MapReduce ETL

作者: 曲朝阳 朱莉 张士林

作者单位: 东北电力大学信息工程学院,吉林省吉林市,132012

会议类型: 国内会议

会议名称: 中国电机工程学会电力系统自动化专业委员会2012年学术交流会

会议地点: 厦门

会议语种:中文

页码: 1-9

在线出版日期: 2012-11-29（万方平台首次上网日期，不代表论文的发表时间）