基于分布式协调系统的并行频繁模式增长算法的优化
频繁模式挖掘可以发现数据中频繁出现的模式，是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到了并行环境中，以对海量数据进行挖掘。在Apache软件基金会的Mahout项目的实现基础上，对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上，充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。这样的设计减小了小文件在分布式文件系统（HDFS）上开销，同时保留了其优点，而且还能使计数过程和排序过程并行执行，减小了计算节点的内存开销。对比了文件系统I/O的开销，并分析了实现设计中的难点，为未来的工作打下了基础。
频繁模式增长算法 并行数据挖掘 分布式协调系统 性能优化 关联规则
王洁 戴清灏 李环
首都师范大学管理学院 北京 100089 首都师范大学管理学院 北京 100089 中国科学院计算技术研究所 北京100190
国内会议
2011年全国高性能计算学术年会(HPC china2011)
济南
中文
1-4
2011-10-26（万方平台首次上网日期，不代表论文的发表时间）