基于文本数据的过滤式与嵌入式样本选择算法
[目的]减少文本数据的训练数据量，缩短模型训练时间.[方法]基于协方差估计，提出一种新的过滤式样本选择算法，并将数据的遗忘性研究成果应用到嵌入式样本选择算法中.[结果]在中文阅读理解模型训练中，本文提出的算法至少可以减少模型训练时间50％.与经典的词频一逆文档频次算法相比，本文小批量协方差估计算法与遗忘算法在召回率、F评价指标上分别提升0.018、0.012与0.017、0.029.[局限]训练数据减少，对模型的准确率评价指标有一定影响.[结论]本文算法能减少模型的训练时间，提高评价指标，由于计算只与批次有关，故适用于大规模数据集的并行运算.
样本选择 协方差估计 遗忘算法
刘书瑞 田继东 陈普春 赖立 宋国杰
西南石油大学理学院 成都610500
国内会议
兰州
中文
223-230
2019-07-10（万方平台首次上网日期，不代表论文的发表时间）