一种基于改进双字哈希机制的中文分词算法

摘要：

中文自动分词是进行中文信息处理的前提,分词词典机制是影响中文自动分词的重要因素.文中对目前典型的分词词典及分词算法进行了分析,并在此基础上提出了一种新的分词词典结构和相应的分词算法,即对现有的双字哈希机制进行了改进,使用二分查找法查找多字词,并在分词时使用改进的近邻匹配算法,从而提高了查找速度和分词效率.

关键词： 双字哈希 中文分词典 匹配算法 二分查找 中文信息处理

作者: 姚建新 郑宇

作者单位: 上海大学计算工程与科学学院,上海,200072

会议类型: 国内会议

会议名称: 第十一届中国人工智能学术年会

会议地点: 武汉

会议语种:中文

页码: 1312-1317

在线出版日期: 2005-09-20（万方平台首次上网日期，不代表论文的发表时间）