一种混合计算环境下的MapReduce并行模型
本文提出一种混合计算环境下的MapReduce并行计算模型,利用该模型可以买现将高性能集群节点与Internet或Intranet下异构的桌面PC组成混合计算环境,在该混合环境下运行MapReduce任务进行海量数据分析处理,充分利用了大规模桌面PC的计算与存储能力与Hadoop类似,该模型分为存储层和任务层两层。本文对该模型及其核心的HybridDFS分布式文件系统和MapReduce算法进行了描述,进而设计并实现了一个原型系统,并对其进行了性能测试。测试结果表明,本文提出的混合计算模型不仅能够实现可靠的MapReduce计算,而且降低了计算的成本开销,具有非常大的潜力.
并行计算模型 调度策略 数据处理 性能测试 混合计算环境
唐兵 贺海武
湖南科技大学计算机科学与工程学院,湖南湘潭411201 法国里昂高等师范学院并行计算实验室,法国里昂69364
国内会议
桂林
中文
342-349
2013-10-29（万方平台首次上网日期，不代表论文的发表时间）