Hadoop云构架的智能调度无损集群压缩技术
针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法.对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主机和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境.利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式,对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3百万以上时,压缩比达到81.1％,相对传统无损压缩方法提高30％以上.为智能调度系统提供了一种无损压缩处理数据的新方法.
电力系统通信 智能调度系统 无损集群压缩技术 Hadoop云构架
屈志坚 郭亮 陈秋琳 蒋俊俊
华东交通大学电气工程学院,江西省 南昌市 330013 北京太格时代自动化系统设备有限公司,北京市 丰台区 100054
国内会议
南昌
中文
330-334,341
2014-12-01（万方平台首次上网日期，不代表论文的发表时间）