Word2Vec海关报关商品文本特征降维效果分析
[目的]对海关平台的高维报关商品特征实现有效降维,提高海关平台的工作效率.[方法]以国内某海关4个月的商品文本作为语料,从词语相似度与相关度两个微观层面评估生成词向量的质量,并结合SVM算法将传统0-1矩阵、频次降维、信息增益方法与Word2Vec词向量进行对比,以探究其对海关商品文本特征的降维效果.[结果]对于海关报关商品文本,Word2Vec词向量是一种较为理想的降维方法,且词向量维度为500时,分类效率最高,准确率为93.01％.[局限]主要针对数据量最多的5大类别进行研究,尚未对其他类别的分类效果进一步探讨.[结论]Word2Vec用于海关商品文本的降维效果较为理想,能够保证较高的准确率与数据的完整性,并显著降低特征维度.
Word2Vec 支持向量机 自动归类 特征降维
龚丽娟 王昊 张紫玄 朱立平
南京大学信息管理学院 南京210023 江苏省数据工程与知识服务重点实验室 南京210023
国内会议
兰州
中文
89-100
2019-07-10（万方平台首次上网日期，不代表论文的发表时间）