HDFS异构集群中的分级存储调度机制
大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,本文提出了一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘IO等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.
云存储 Hadoop分布式文件系统 机架感知调度策略 分级存储调度机制 集群性能
杨冬菊 李青 邓崇彬
北方工业大学云计算研究中心 北京 100144;大规模流数据集成与分析技术北京市重点实验室 北京 100144
国内会议
咸宁
中文
142-149
2015-11-07（万方平台首次上网日期，不代表论文的发表时间）