一种LDA模型的高效并行求解算法
统计主题模型是近年来在文本信息处理领域发展起来的重要方法,由于模型结构的复杂性以及所需处理数据的巨大规模,所以迫切需求该类模型的高效求解算法。本文针对隐含主题模型LDA,研究了其变分求解算法的并行化方法。首先,提出一种新的动态负载均衡方法,相对于已有的基于静态负载均衡方法,性能有了显著的提高,并且对数据排序的影响表现稳定;同时,通过对统计量汇总过程的优化,克服了模型空间随并行线程数量线性增长的弊端。
统计主题模型 变分推断 并行算法 大规模文本处理
李文波 孙乐
中国科学院软件研究所-基础软件国家工程研究中心,北京,100190
国内会议
黑龙江镜泊湖
中文
433-440
2010-08-12(万方平台首次上网日期,不代表论文的发表时间)