文言信息的自动抽取:基于统计和规则的尝试

摘要：

文言信息的自动抽取有利于语言监测和语料库构建.同时本文的计算研究也验证了语言学界关于汉语文白系统连续性的自省结论.本文将从混合语料中标注文言文的问题视为短文本分类的问题进行处理.使用基于规则和基于统计的方法对文言文、白话文本进行分类.基于规则的方法中,本文考虑文言常用虚词和句式的影响.在基于统计的分类方法中,本文对N-gram、朴素贝叶斯、最大熵、决策树模型的性能进行了研究.结果表明监测虚词系统的一元语言模型的F值达到了0.98.

关键词： 文言信息 自动抽取方法 文本分类 规则模型 统计模型

作者: 虞宁翌 饶高琦 荀恩东

作者单位: 北京语言大学信息科学学院,北京市 100083 北京语言大学语言科学院,北京市 100083;北京语言大学信息科学学院,北京市 100083

会议类型: 国内会议

会议名称: 中国中文信息学会2015学术年会(CIPS2015)暨第十四届全国计算语言学学术会议(CCL2015)、第三届基于自然标注大数据的自然语言处理国际学术研讨会(NLP-NABD2015)

会议地点: 广州

会议语种:中文

页码: 1-11

在线出版日期: 2015-11-13（万方平台首次上网日期，不代表论文的发表时间）