基于树型结构的MapReduce并行模型
MapReduce是Google提出的一种分布式计算模型,已在海量数据处理领域得到了广泛的应用,本文提出一种基于树型结构的新型MapReduce并行模型,该模型适合于利用Internet或Intranet环境下不可靠的桌面PC资源,进行海量科学数据分析,该模型以P2P的形式将计算节点进行组织,模型的底层采用了P2P-MPI框架,采用基于消息传递的模式来实现MapReduce应用层,在MapReduce应用层的实现中,在Map阶段采用广播的形式来分发数据块,在Reduce阶段建立反向二叉树来实现有效的结果合并和化简,将本文所提出的MapReduce模型与现有主流MapReduce模型进行了比较,结果表明,基于树型结构的MapReduce并行模型在容错性能方面具有较优的性能,且系统简单,易于应用开发.
编程模型 并行算法 消息传递接口 应用层 树型结构
唐兵 贺海武
湖南科技大学 计算机科学与工程学院,湖南 湘潭 411201 中国科学院 计算机网络信息中心,北京 100190
国内会议
广州
中文
680-686
2014-11-06（万方平台首次上网日期，不代表论文的发表时间）