文本分类模型训练方法和装置制造方法及图纸

技术编号:25308642 阅读:29 留言:0更新日期:2020-08-18 22:27
本公开关于一种文本分类模型训练方法、装置、电子设备以及存储介质。该方法包括:获取样本文本;将样本文本输入待训练的文本分类模型,以生成样本文本的正文在不同维度下的正文语义特征向量,和样本文本的标题在不同维度下的标题语义特征向量;从不同维度下的正文语义特征向量和标题语义特征向量中,选取至少一对匹配于相同的文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量;基于样本文本的正负样本类型,采用调整文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和标题语义特征向量的值最大化或最小化的方式,执行对待训练的文本分类模型的训练。

【技术实现步骤摘要】
文本分类模型训练方法和装置
本公开涉及计算机
,尤其涉及一种文本分类模型训练方法、装置、电子设备以及存储介质。
技术介绍
目前,较多新闻、论坛等方便用户获取资讯类的应用程序,通常会包含个性化推荐的功能,以向用户推送用户可能感兴趣的资讯,从而获得更高的用户体验。精准的分类标签是分类大量数据的关键,也是保证推荐内容准确性的基础。目前常用的分类标签,一般是通过人工设定的分类标签,例如:体育、娱乐、音乐、科技等。但这种分类标签粒度较粗,不能满足向用户实现精准推荐的需求。若通过人工建立细粒度的分类标签,需要人工对大量数据进行标注分类,耗时耗力。
技术实现思路
本公开提供一种文本分类模型训练方法、装置、电子设备以及存储介质,以至少解决相关技术中人工设定分类标签粒度较粗,不能满足向用户实现精准推荐的需求的问题。本公开的技术方案如下:根据本公开实施例的第一方面,提供一种文本分类模型训练方法,包括:获取样本文本;单个所述样本文本包括:正文和与正文对应的标题;将所述样本文本输入待训练的文本分类模型,以生成所述样本文本的正文在不同维度下的正文语义特征向量,和所述样本文本的标题在所述不同维度下的标题语义特征向量;其中,所述不同维度中的最大维度,基于预设的文本分类标签的数量确定;从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取至少一对匹配于相同的所述文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第一类语义特征向量对;基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述待训练的文本分类模型的训练。在一种可选的实施方式中,所述的基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述带训练的文本分类模型的训练,具体包括:若所述样本文本的类型为正样本,则采用调整所述文本分类模型的参数,以使得所述第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化的方式,执行所述文本分类模型的训练;若所述样本文本的类型为负样本,则采用调整所述文本分类模型的参数,以使得所述第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最小化的方式,执行所述文本分类模型的训练。在一种可选的实施方式中,所述的文本分类模型训练方法,还包括:从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取至少一对匹配于不同的所述预设文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第二类语义特征向量对;则所述基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述待训练的文本分类模型的训练,还包括:若所述样本文本的类型为正样本,则采用调整所述文本分类模型的参数,以使得所述第二类语义特征向量对中的正文语义特征向量的值和所述第二类语义特征向量对中的标题语义特征向量的值最小化的方式,执行所述文本分类模型的训练。在一种可选的实施方式中,从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取匹配于相同的所述文本分类标签、且具备相同维度的至少一对正文语义特征向量和标题语义特征向量,作为第一类语义特征向量对,具体包括:按照所述不同维度下的正文语义特征向量的值由大至小的顺序,依次选取指定数量的正文语义特征向量;按照所述不同维度下的标题语义特征向量的值的由大至小的顺序,依次选取所述指定数量的标题语义特征向量;从选取的所述指定数量的正文语义特征向量和所述指定数量的标题语义特征向量中,选取至少一对匹配于相同所述文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第一类语义特征向量对。在一种可选的实施方式中,根据任一所述的文本分类模型训练方法,所述待训练的文本分类模型包括伪孪生神经网络;则,将所述样本文本输入待训练的文本分类模型,以生成所述样本文本的正文在不同维度下的正文语义特征向量,和所述样本文本的标题在所述不同维度下的标题语义特征向量,具体包括:将所述样本文本中的正文和标题分别输入到伪孪生神经网络的两侧神经网络中,以得到所述样本文本的正文在不同维度下的正文语义特征向量,以及所述样本文本的标题在所述不同维度下的标题语义特征向量。根据本公开实施例的第二方面,提供一种文本分类方法,包括:获取文本数据;所述文本数据包括正文和与正文对应的标题;将所述文本数据输入到训练好的文本分类模型中,以得到所述文本数据的分类标签。根据本公开实施例的第三方面,提供一种文本分类模型训练装置,包括:样本获取模块,被配置为执行获取样本文本;单个所述样本文本包括:正文和与正文对应的标题;生成模块,被配置为执行将所述样本文本输入待训练的文本分类模型,以生成所述样本文本的正文在不同维度下的正文语义特征向量,和所述样本文本的标题在所述不同维度下的标题语义特征向量;其中,所述不同维度中的最大维度,基于预设的文本分类标签的数量确定;第一类语义特征向量对生成模块,被配置为执行从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取至少一对匹配于相同的所述文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第一类语义特征向量对;执行训练模块,被配置为执行基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得所述第一类语义特征向量对生成模块生成的第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对生成模块生成的第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述待训练的文本分类模型的训练。根据本公开实施例的第四方面,提供一种文本分类装置,包括:获取模块,被配置为执行获取文本数据;所述文本数据包括正文和与正文对应的标题;分类模块,被配置为执行将所述文本数据输入到训练好的文本分类模型中,以得到所述文本数据的分类标签。根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行上述第一方面中任一项文本分类模型训练方法步骤。根据本公开实施例的第六方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面中任一项文本分类模型训练方法。根据本公开实施例的第七方面,提供本文档来自技高网...

【技术保护点】
1.一种文本分类模型训练方法,其特征在于,包括:/n获取样本文本;单个所述样本文本包括:正文和与正文对应的标题;/n将所述样本文本输入待训练的文本分类模型,以生成所述样本文本的正文在不同维度下的正文语义特征向量,和所述样本文本的标题在所述不同维度下的标题语义特征向量;其中,所述不同维度中的最大维度,基于预设的文本分类标签的数量确定;/n从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取至少一对匹配于相同的所述文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第一类语义特征向量对;/n基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述待训练的文本分类模型的训练。/n

【技术特征摘要】
1.一种文本分类模型训练方法,其特征在于,包括:
获取样本文本;单个所述样本文本包括:正文和与正文对应的标题;
将所述样本文本输入待训练的文本分类模型,以生成所述样本文本的正文在不同维度下的正文语义特征向量,和所述样本文本的标题在所述不同维度下的标题语义特征向量;其中,所述不同维度中的最大维度,基于预设的文本分类标签的数量确定;
从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取至少一对匹配于相同的所述文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第一类语义特征向量对;
基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述待训练的文本分类模型的训练。


2.根据权利要求1所述的文本分类模型训练方法,其特征在于,
基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述待训练的文本分类模型的训练,具体包括:
若所述样本文本的类型为正样本,则采用调整所述文本分类模型的参数,以使得所述第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化的方式,执行所述文本分类模型的训练;
若所述样本文本的类型为负样本,则采用调整所述文本分类模型的参数,以使得所述第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最小化的方式,执行所述文本分类模型的训练。


3.根据权利要求2所述的文本分类模型训练方法,其特征在于,所述方法还包括:
从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取至少一对匹配于不同的所述文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第二类语义特征向量对;则,
所述基于所述样本文本的正负样本类型,采用调整所述文本分类模型的参数,以使得第一类语义特征向量对中的正文语义特征向量的值和所述第一类语义特征向量对中的标题语义特征向量的值最大化或最小化的方式,执行对所述待训练的文本分类模型的训练,还包括:
若所述样本文本的类型为正样本,则采用调整所述文本分类模型的参数,以使得所述第二类语义特征向量对中的正文语义特征向量的值和所述第二类语义特征向量对中的标题语义特征向量的值最小化的方式,执行所述文本分类模型的训练。


4.根据权利要求3所述的文本分类模型训练方法,其特征在于,从所述不同维度下的正文语义特征向量和所述不同维度下的标题语义特征向量中,选取至少一对匹配于相同的所述文本分类标签、且具备相同维度的正文语义特征向量和标题语义特征向量,作为第一类语义特征向量对,具体包括:
按照所述不同维度下的正文语义特征向量的值由大至小的顺序,依次选取指定数量的正文语义特征向量;
按照所述不同维度下的标题语义特征...

【专利技术属性】
技术研发人员:李宁
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1