基于MapReduce的数据密集型应用性能优化研究

摘要：

　　MapReduce是一种大规模数据处理的分布式编程模型，基于MapReduce实现的数据密集型应用，能够自动完成任务的分发和并行处理。本文验证了该模型的可扩展性，并针对现有部署方法存在的效率问题，提出针对数据密集型应用的资源需求特性，采用基于参数优化的方法，以缩短MapReduce任务的执行时间。实验表明，调整参数后的优化方案具有更好的执行效率。

关键词： MapReduee编程框架 数据处理 数据密集型应用 参数优化

作者: 刘超 金海 蒋文斌 李浩

作者单位: 华中科技大学计算机科学与技术学院服务计算技术与系统教育部重点实验室&集群与网格计算湖北省重点实验室，武汉 430074

会议类型: 国内会议

会议名称: 2010年全国理论计算机科学学术年会

会议地点: 呼和浩特

会议语种:中文

页码: 36-40,45

在线出版日期: 2010-08-17（万方平台首次上网日期，不代表论文的发表时间）