基于Spark的并行图数据分析系统

摘要：

提出了一种基于Spark计算平台的并行数据分析系统.系统以大规模图数据分析任务为主,并支持非图数据分析应用,集成了数据分析算法集合与非图数据分析算法集.详细阐述了该系统的架构设计,以及部分并行数据分析算法的设计与实现.通过多种规模的数据集测试,该系统相对于以往的图数据挖掘系统可以更高效的完成计算任务,而且也可以有效进行非图数据分析。

关键词： 图像数据 数据分析系统 Spark计算平台 工作流引擎

作者: 王虹旭 吴斌 刘旸

作者单位: 北京邮电大学计算机学院,北京100876 北京邮电大学

会议类型: 国内会议

会议名称: 第二届CCF大数据学术会议

会议地点: 北京

会议语种:中文

页码: 1-11

在线出版日期: 2014-12-01（万方平台首次上网日期，不代表论文的发表时间）