基于Hadoop的大矩阵乘法处理方法

摘要：

目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着MapReduce编程框架的提出,并行处理矩阵乘法成为解决大矩阵运算的主要手段.总结了矩阵乘法在MapReduce编程模型上的并行实现方法,并提出了实现高性能大矩阵乘法的策略——折中单个工作节点的计算量和需要网络传输的数据量.实验证明,并行实现算法在大矩阵上明显优于传统的单机算法,而且随着集群中节点数目的增多,并行算法会表现出更好的性能.

关键词： 矩阵乘法算法 并行处理 海量数据 性能优化

作者: 孙远帅 陈垚 官新均 林琛

作者单位: 厦门大学信息科学与技术学院,福建 厦门 361005 厦门大学信息科学与技术学院,福建 厦门 361005;厦门大学深圳研究院,广东 深圳 518000

会议类型: 国内会议

会议名称: 2013年全国开放式分布与并行计算学术年会

会议地点: 昆明

会议语种:中文

页码: 3339-3344,3358

在线出版日期: 2013-08-16（万方平台首次上网日期，不代表论文的发表时间）