【技术实现步骤摘要】
分类模型的训练方法、分类方法、装置、计算机存储介质
本申请涉及模型应用
,特别是涉及一种分类模型的训练方法、分类方法、装置、计算机存储介质。
技术介绍
现实生活中为,为了解决一些实际问题,通常会根据需要建立模型,如分类模型,这些模型在初始建立的时候,会通过很多测试数据对其进行训练,得到各项指标参数,在测试合格后投入到市场应用。在智能客服系统中,分类模型是非常有效且普遍的技术,常见任务例如意图识别、情感识别、实体识别等大多使用的都是分类模型。分类模型属于监督学习中的一种,而目前的监督学习一般需要大量的人工语料,其性能才能达到可商用的程度。但对于大多数智能系统而言,收集和标注人工语料是一件人工成本很高的事情,而且效率也低。
技术实现思路
本申请主要解决的技术问题是提供一种分类模型的训练方法、分类方法、装置、计算机存储介质,能够在不需要大量人工标注的前提下得到准确率较高的分类模型。为解决上述技术问题,本申请采用的第一个技术方案是:提供一种分类模型的训练方法,包括:从网络或者历史记录 ...
【技术保护点】
1.一种分类模型的训练方法,其特征在于,包括:/n从网络或历史记录随机获取到设定数量的第一无标注语料;/n对所述第一无标注语料进行处理,得到所述第一无标注语料的词向量;/n通过所述第一无标注语料的词向量对预设LSTM语言模型进行训练,建立第一模型;/n通过所述分类模型的标注语料对第二模型进行训练,得到所述分类模型;其中,所述第二模型是通过在所述第一模型添加分类输出模型结构而得到的。/n
【技术特征摘要】
1.一种分类模型的训练方法,其特征在于,包括:
从网络或历史记录随机获取到设定数量的第一无标注语料;
对所述第一无标注语料进行处理,得到所述第一无标注语料的词向量;
通过所述第一无标注语料的词向量对预设LSTM语言模型进行训练,建立第一模型;
通过所述分类模型的标注语料对第二模型进行训练,得到所述分类模型;其中,所述第二模型是通过在所述第一模型添加分类输出模型结构而得到的。
2.根据权利要求1所述的训练方法,其特征在于,所述通过所述分类模型的标注语料对第二模型进行训练,得到所述分类模型;其中,所述第二模型是通过在所述第一模型添加分类输出模型结构而得到的的步骤包括:
将所述分类模型的标注语料输入到所述第一模型进行处理,得到所述分类模型的标注语料的词向量以及所述词向量的输出向量;
将所述词向量及其输出向量进行拼接,得到所述分类模型的标注语料对应句子的特征向量;
通过所述句子的特征向量对所述分类模型的标注语料进行分类预测,得到预测结果;
基于所述预测结果对所述第二模型的模型参数进行调整,获得新的分类模型。
3.根据权利要求2所述的训练方法,其特征在于,所述第一模型依次包括词嵌入层、LSTM语言模型层;所述分类输出模型结构包括特征拼接层、全连接网络层以及输出层;
所述将所述分类模型的标注语料输入到所述第一模型进行处理,得到所述分类模型的标注语料的词向量以及所述词向量的输出向量的步骤包括:
将所述分类模型的标注语料输入到所述词嵌入层进行处理,得到所述分类模型的标注语料的词向量;
通过所述LSTM语言模型层对所述词向量进行识别处理,得到所述词向量的输出向量;
所述将所述词向量及其输出向量进行拼接,得到所述分类模型的标注语料对应句子的特征向量的步骤包括:
将所述词向量的输出向量以及所述词向量输入到所述特征拼接层进行拼接,得到所述分类模型的标注语料对应句子的特征向量;
所述通过所述句子的特征向量对所述分类模型的标注语料进行分类预测,得到预测结果的步骤具体包括:
将所述句子的特征向量输入到所述全连接神经网络进行预测结果的查询,并通过输出层输出预测结果。
4.根据权利要求3所述的训练方法,其特征在于,所述将所述词向量及其输出向量进行拼接,得到所述分类模型的标注语料对应句子的特征向量的步骤具体包括:
将所述LSTM语言模型层全部隐藏节点的输出向量的平均值,与所述词向量的平均值进行收尾拼接,得到所述分类模型的标注语料对应句子的特征向量。
5.根据权利要求3所述的训练方法,其特征在于,所述第一模型还包括输出层,
所述通过所述第一无标注语料的词向量对预设LSTM...
【专利技术属性】
技术研发人员:靳丁南,权圣,
申请(专利权)人:马上消费金融股份有限公司,
类型:发明
国别省市:重庆;50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。