视频云存储服务场景下的HDFS负载均衡工具
在线视频服务是互联网服务的重要内容,存储是在线视频服务提供的基础.HDFS作为面向通用文件的云存储系统,被很多视频服务网站采用,但其负载均衡工具没有考虑利用视频文件在线播放时的带宽消耗特性使集群的带宽资源得到更充分的利用.为解决这一问题,论文提出了视频存储场景下的负载均衡方法VOBM,方法对视频文件在线播放时的带宽消耗与视频文件的码率、数据块大小和访问热度的关系进行了分析并建立了新的负载评估模型,在此基础上方法在负载方案生成和负载调度两个环节中加入了对带宽消耗因素的考虑.同时,论文在HDFS原有负载均衡工具的基础上实现了所提方法,实验证明方法能够有效避免高带宽消耗数据块的聚集,在高带宽消耗视频文件作为服务访问热点的实验场景中,方法在90％的场景中优于原有负载均衡方法,最高能使数据节点集群中瓶颈节点的带宽峰值降低20％.
云存储 在线视频服务 Hadoop分布式文件系统 带宽资源 负载均衡
黄晓成 尹建伟
浙江大学计算机科学与技术学院 杭州310058 浙江大学计算机科学与技术学院 杭州310058;浙江省现代服务业电子服务工程技术研究中心 杭州310058
国内会议
咸宁
中文
134-141
2015-11-07（万方平台首次上网日期，不代表论文的发表时间）