自然语言处理中记忆学习方法的改进

摘要：

记忆学习方法(Memory-Based Learning(MBL))将存储的训练数据作为获取的知识来使用,并通过相似性比较来完成分类任务,克服了词语一级自然语言处理中知识表示不足给机器学习知识获取带来的障碍.但自然语言的灵活性使MBL方法基于属性逻辑(attribute logic)的表示方法面临着较为严重的数据稀疏问题(data sparse problem),这已经成为MBL方法应用于自然语言处理的主要瓶颈.本文正是针对这一问题,提出一种通过可信距离的判别机制将信息提取领域里文档表示方法的tf.idf词语权重计算引入到MBL中的改进方法.实验证明,我们提出的方法在保持原有训练集规模的情况下使正确率得到了较大的改进.

关键词： 自然语言处理 学习方法 可信距离 词语权重 机器学习

作者: 鲁松 孙红梅 白硕

作者单位: 中国科学院计算技术研究所,北京,100080

会议类型: 国内会议

会议名称: 中国科学院计算技术研究所第六届计算机科学与技术研究生学术讨论会

会议地点: 大连

会议语种:中文

页码: 472-479

在线出版日期: 2000-07-01（万方平台首次上网日期，不代表论文的发表时间）