文本类目预测方法、装置、设备、存储介质和程序产品制造方法及图纸

本申请涉及一种文本类目预测方法、装置、计算机设备、存储介质和计算机程序产品。该方法涉及人工智能的自动文本分类技术，该方法包括：通过训练好的文本类目预测模型的编码层，根据短文本中每个字的语义向量进行语义编码，得到短文本的语义编码向量；通过文本类目预测模型的解码层，根据语义编码向量进行首次解码得到首个解码隐藏向量以及基于首个解码隐藏向量获得短文本对应的首个类目之后，继续根据前次解码所得到的解码隐藏向量与类目进行当次解码，得到当次解码的解码隐藏向量与类目，直至结束解码；将解码得到的多个类目按层级进行组合，获得短文本对应的类目路径，能够改善多层级类目路径的父子节点一致性问题，准确预测文本的类目路径。测文本的类目路径。测文本的类目路径。

Text category prediction method, device, device, storage medium and program product

【技术实现步骤摘要】
文本类目预测方法、装置、设备、存储介质和程序产品


[0001]本申请涉及计算机
，特别是涉及一种文本类目预测方法、装置、计算机设备、存储介质和计算机程序产品，还涉及一种文本类目预测模型的处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着机器学习和深度学习技术的逐步发展，使用性能良好的神经网络对文本进行分类取得了重大进展。自动文本分类技术，尤其是短文本分类，广泛应用于各个行业领域，如商品搜索、商品智能推荐、新闻分类、人机写作判断、垃圾邮件识别、用户情感分类、文案智能生成等。
[0003]在短文本的多类目分类中，类目通常具有层级结构，例如，商品短文本的类目包括“美妆护肤”，其包括“香水彩妆”，“香水彩妆”又包括“口红”和“唇釉/唇蜜/唇彩”等， 其具有多层级和多类目的特点。又例如，资讯短文本的类目包括“生活类”、“娱乐类”等，而“娱乐类”又包括“电影”、“电视剧”等。
[0004]目前提出的预测文本的多层级多类目的方式，在分类层对每个层级的类目独立设置分类器，例如第一个分类器预测第一层级的类目，第二个分类器预测第二级的类目，第三个分类器预测第三级的类目，预测的多层级类目存在父子节点一致性问题。比如，第一个分类器和第三个分类器有预测结果，而第二个分类器缺失预测结果，如对短文本“电饭锅置物架”预测的多层级类目为：“家具_ UNK _置物架层架”，其中UNK代表未知，无法准确表征文本所对应的多层级多类目。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种文本类目预测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，能够改善多层级类目路径的父子节点一致性问题，准确预测文本的类目路径。
[0006]本申请提供了一种文本类目预测方法。所述方法包括：获取待进行多层级类目预测的短文本；通过训练好的文本类目预测模型的编码层，根据所述短文本中每个字的语义向量进行语义编码，得到所述短文本的语义编码向量；通过所述文本类目预测模型的解码层，根据所述语义编码向量进行首次解码得到首个解码隐藏向量以及基于所述首个解码隐藏向量获得所述短文本对应的首个类目之后，继续根据前次解码所得到的解码隐藏向量与类目进行当次解码，得到当次解码的解码隐藏向量与类目，直至结束解码；将解码得到的多个类目按层级进行组合，获得所述短文本对应的类目路径。
[0007]本申请还提供了一种文本类目预测装置。所述装置包括：获取模块，用于获取待进行多层级类目预测的短文本；
编码模块，用于通过训练好的文本类目预测模型的编码层，根据所述短文本中每个字的语义向量进行语义编码，得到所述短文本的语义编码向量；解码模块，用于通过所述文本类目预测模型的解码层，根据所述语义编码向量进行首次解码得到首个解码隐藏向量以及基于所述首个解码隐藏向量获得所述短文本对应的首个类目之后，继续根据前次解码所得到的解码隐藏向量与类目进行当次解码，得到当次解码的解码隐藏向量与类目，直至结束解码；组合模块，用于将解码得到的多个类目按层级进行组合，获得所述短文本对应的类目路径。
[0008]在一个实施例中，编码模块，还用于将所述短文本输入所述文本类目预测模型的编码层；通过所述编码层的字编码网络，查询字映射表获得所述短文本中每个字的字标识，将分类符号以及所述每个字的字标识编码为相应的字向量，所述每个字的字向量用于表征相应字的语义信息，所述分类符号对应的字向量用于表征所述短文本的全局语义信息；以及将所述短文本中每个字的字向量分别与所述分类符号的字向量拼接，得到所述每个字在所述短文本中的语义向量。
[0009]在一个实施例中，编码模块，还用于将所述短文本中每个字的语义向量，输入所述编码层的全局编码网络；在所述全局编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，对相应的语义向量进行依次处理，依次得到所述全局编码网络对应每个字的编码隐藏向量，直至处理到所述短文本中的末位字时，将得到的所述全局编码网络对应所述末位字的编码隐藏向量作为所述短文本的语义编码向量。
[0010]在一个实施例中，所述全局编码网络为全局前向编码网络，编码模块，还用于在所述全局前向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，顺序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局前向编码网络对应每个字的前向编码隐藏向量，直至处理到所述短文本中的末尾字时，将得到的所述全局前向编码网络对应所述末尾字的前向编码隐藏向量作为所述短文本的语义编码向量。
[0011]在一个实施例中，所述全局编码网络为全局后向编码网络，编码模块，还用于在所述全局后向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，逆序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局后向编码网络对应每个字的后向编码隐藏向量，直至处理到所述短文本中的首个字时，将得到的所述全局后向编码网络对应所述首个字的后向编码隐藏向量作为所述短文本的语义编码向量。
[0012]在一个实施例中，所述全局编码网络为全局双向编码网络，编码模块，还用于在所述全局双向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，顺序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局双向编码网络对应每个字的前向编码隐藏向量，直至处理到所述短文本中的末尾字时，得到所述全局双向编码网络对应所述末尾字的前向编码隐藏向量；在所述全局双向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，逆序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局双向编码网络对应每个字的后向编码隐藏向量，直至处理到所述短文本中的首个字时，得到所述全局双向编码网络对应所述首个字的后向编码隐藏向量；根据所述末尾字的前向编码隐藏向量与所述首个字的后向编码隐藏向量，得到所述短文本的语义编码向量。
[0013]在一个实施例中，编码模块，还用于按照所述短文本中每个字的先后顺序，顺序地
将每个字的语义向量作为所述全局双向编码网络的隐藏层当前处理的语义向量；在当前处理的语义向量是所述短文本中首个字对应的语义向量时，通过所述隐藏层根据初始的前向编码隐藏向量与所述首个字对应的语义向量，得到所述首个字对应的前向编码隐藏向量；在当前处理的语义向量不是所述短文本中首个字对应的语义向量时，通过所述隐藏层根据前次处理得到的前向编码隐藏向量与当前处理的语义向量，得到当前处理得到的前向编码隐藏向量。
[0014]在一个实施例中，编码模块，还用于按照所述短文本中每个字的先后顺序，逆序地将每个字的语义向量作为所述全局双向编码网络的隐藏层当前处理的语义向量；在当前处理的语义向量是所述短文本中末尾字对应的语义向量时，通过所述隐藏层根据初始的后向编码隐藏向量与所述末尾字对应的语义向量，得到所述末尾字对应的后向编码隐藏向量；在当前处理的语义向量不是所述短文本中末尾字对应的语义向量时，通过所述隐藏层根据前次处理得到的后向编码隐藏向量与当前处理的语义向量，得到当前处理得到的后向编码隐藏向量。
[0015]在一个实施例中，编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本类目预测方法，其特征在于，所述方法包括：获取待进行多层级类目预测的短文本；通过训练好的文本类目预测模型的编码层，根据所述短文本中每个字的语义向量进行语义编码，得到所述短文本的语义编码向量；通过所述文本类目预测模型的解码层，根据所述语义编码向量进行首次解码得到首个解码隐藏向量以及基于所述首个解码隐藏向量获得所述短文本对应的首个类目之后，继续根据前次解码所得到的解码隐藏向量与类目进行当次解码，得到当次解码的解码隐藏向量与类目，直至结束解码；将解码得到的多个类目按层级进行组合，获得所述短文本对应的类目路径。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述短文本输入所述文本类目预测模型的编码层；通过所述编码层的字编码网络，查询字映射表获得所述短文本中每个字的字标识，将分类符号以及所述每个字的字标识编码为相应的字向量，所述每个字的字向量用于表征相应字的语义信息，所述分类符号对应的字向量用于表征所述短文本的全局语义信息；以及将所述短文本中每个字的字向量分别与所述分类符号的字向量拼接，得到所述每个字在所述短文本中的语义向量。3.根据权利要求1所述的方法，其特征在于，所述通过训练好的文本类目预测模型的编码层，根据所述短文本中每个字的语义向量进行语义编码，得到所述短文本的语义编码向量，包括：将所述短文本中每个字的语义向量，输入所述编码层的全局编码网络；在所述全局编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，对相应的语义向量进行依次处理，依次得到所述全局编码网络对应每个字的编码隐藏向量，直至处理到所述短文本中的末位字时，将得到的所述全局编码网络对应所述末位字的编码隐藏向量作为所述短文本的语义编码向量。4.根据权利要求3所述的方法，其特征在于，所述全局编码网络为全局前向编码网络，所述在所述全局编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，对相应的语义向量进行依次处理，依次得到所述全局编码网络对应每个字的编码隐藏向量，直至处理到所述短文本中的末位字时，将得到的所述全局编码网络对应所述末位字的编码隐藏向量作为所述短文本的语义编码向量，包括：在所述全局前向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，顺序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局前向编码网络对应每个字的前向编码隐藏向量，直至处理到所述短文本中的末尾字时，将得到的所述全局前向编码网络对应所述末尾字的前向编码隐藏向量作为所述短文本的语义编码向量。5.根据权利要求3所述的方法，其特征在于，所述全局编码网络为全局后向编码网络，所述在所述全局编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，对相应的语义向量进行依次处理，依次得到所述全局编码网络对应每个字的编码隐藏向量，直至处理到所述短文本中的末位字时，将得到的所述全局编码网络对应所述末位字的编码隐藏向量作为所述短文本的语义编码向量，包括：在所述全局后向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，逆序地
对所述每个字相应的语义向量进行依次处理，依次得到所述全局后向编码网络对应每个字的后向编码隐藏向量，直至处理到所述短文本中的首个字时，将得到的所述全局后向编码网络对应所述首个字的后向编码隐藏向量作为所述短文本的语义编码向量。6.根据权利要求3所述的方法，其特征在于，所述全局编码网络为全局双向编码网络，所述在所述全局编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，对相应的语义向量进行依次处理，依次得到所述全局编码网络对应每个字的隐藏向量，直至处理到所述短文本中的末位字时，将得到的所述全局编码网络对应所述末位字的隐藏向量作为所述短文本的语义编码向量，包括：在所述全局双向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，顺序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局双向编码网络对应每个字的前向编码隐藏向量，直至处理到所述短文本中的末尾字时，得到所述全局双向编码网络对应所述末尾字的前向编码隐藏向量；在所述全局双向编码网络的隐藏层中，按照所述短文本中每个字的先后顺序，逆序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局双向编码网络对应每个字的后向编码隐藏向量，直至处理到所述短文本中的首个字时，得到所述全局双向编码网络对应所述首个字的后向编码隐藏向量；根据所述末尾字的前向编码隐藏向量与所述首个字的后向编码隐藏向量，得到所述短文本的语义编码向量。7.根据权利要求6所述的方法，其特征在于，所述按照所述短文本中每个字的先后顺序，顺序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局双向编码网络对应每个字的前向编码隐藏向量，包括：按照所述短文本中每个字的先后顺序，顺序地将每个字的语义向量作为所述全局双向编码网络的隐藏层当前处理的语义向量；在当前处理的语义向量是所述短文本中首个字对应的语义向量时，通过所述隐藏层根据初始的前向编码隐藏向量与所述首个字对应的语义向量，得到所述首个字对应的前向编码隐藏向量；在当前处理的语义向量不是所述短文本中首个字对应的语义向量时，通过所述隐藏层根据前次处理得到的前向编码隐藏向量与当前处理的语义向量，得到当前处理得到的前向编码隐藏向量。8.根据权利要求6所述的方法，其特征在于，所述按照所述短文本中每个字的先后顺序，逆序地对所述每个字相应的语义向量进行依次处理，依次得到所述全局双向编码网络对应每个字的后向编码隐藏向量，包括：按照所述短文本中每个字的先后顺序，逆序地将每个字的语义向量作为所述全局双向编码网络的隐藏层当前处理的语义向量；在当前处理的语义向量是所述短文本中末尾字对应的语义向量时，通过所述隐藏层根据初始的后向编码隐藏向量与所述末尾字对应的语义向量，得到所述末尾字对应的后向编码隐藏向量；在当前处理的语义向量不是所述短文本中末尾字对应的语义向量时，通过所述隐藏层根据前次处理得到的后向编码隐藏向量与当前处理的语义向量，得到当前处理得到的后向
编码隐藏向量。9.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：朱秀红，张伟，曹训，黄泽谦，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：