基于有限状态自动机的英语词法分析

摘要：

有限状态自动机理论能够有效描述语言现象，近些年，自动机方法在自然语言处理领域得到了广泛的应用。本文给出了一种基于有限自动状态机的英语词法分析方法，该方法在词法分析方面具有较高的效率，能同时完成、生成和分析，弥补了普通的词法分析技术的单向性缺点。本文首先对自动机及其相关算法、形式中的正则文法、正则表达式进行了论述，分析自动机、正则文法和正则表达式之间的等价性，然后结合自动机理论对双层词法模型的原理进行了描述，最后给出了基于有限状态自动机的英语词法分析规则、词典、系统构架的设计方法。

关键词： 有限状态自动机 正则表达式 词法分析 英语

作者: 解国栋 程彩虹 王惠临 黄今

作者单位: 装甲兵工程学院 100072 中科院自动化所模式识别国家重点实验室 100080 中国科学技术信息研究所 100038 中国科学技术信息研究所 100038 首都经济贸易大学 100070

会议类型: 国内会议

会议名称: 2007年全国模式识别学术会议

会议地点: 北京

会议语种:中文

页码: 348-355

在线出版日期: 2007-12-11（万方平台首次上网日期，不代表论文的发表时间）