以路径为中心的大规模图数据处理系统
由于图数据之间关联错综复杂,图数据处理一般存在局部性较差的问题.因此,高效的处理大规模图数据一直是一个挑战.介绍能够高效处理10亿级别图数据的系统——以路径为中心的TripleGraph.在该系统中,为充分保留路径,图首先转化成树或森林,然后划分树或森林,形成若干可并行处理的区间.为了减少图数据的存储空间,TripleGraph采用紧凑的邻接表存储结构,邻接表内的边集合采用增量变长整型压缩的方法.TripleGraph提出以路径为中心的并行处理模型,该模型对存储介质的访问基本上是连续的,极大地提高了性能.通过与当前最有代表性的系统进行对比,显示TripleGraph在多种图处理算法上大幅超越以顶点和以边为中心的系统.
图数据 并行处理 存储结构
张文娅 谢昌凤 袁平鹏
服务计算与系统教育部重点实验室(华中科技大学) 武汉430074 集群与网格计算湖北省重点实验室(华中科技大学) 武汉430074 华中科技大学计算机科学与技术学院 武汉 430074
国内会议
太原
中文
9-15
2014-09-19（万方平台首次上网日期，不代表论文的发表时间）