语义向量表示方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及人工智能领域，提供了一种语义向量表示方法、装置、计算机设备和存储介质，获取文本数据，并对所述文本数据进行分类，确定所述文本数据对应的类别；对所述文本数据进行分词处理，得到多个特征词和对应的文本序列；计算各个所述特征词在对应的类别中的权重值；根据所述权重值构建所述文本数据对应的权重矩阵；构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量。通过本申请提供的语义向量表示方法、装置、计算机设备和存储介质，能够准确的得到文本数据的语义向量。的语义向量。的语义向量。

【技术实现步骤摘要】
语义向量表示方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能的
，特别涉及一种语义向量表示方法、装置、计算机设备和存储介质。

技术介绍

[0002]在智能问答或信息检索场景中，经常需要对句子进行表征，得到句子的语义向量。目前通常是使用带有自注意力(self
‑
attention)机制的深度神经网络对句子进行表征，自注意力机制能够让一句话中的词向量由上下文词的向量加权获得。但是自注意力机制有一个不足，如果一个句子中不重要的词占比较大就会影响语义表征，从而影响后续的相似度计算。举个例子，假如在粤港澳大湾区城市的游玩攻略问答系统中，“粤港澳大湾区城市”这个词在该系统中是不那么重要的，因为问答系统的问题都是围绕着“粤港澳大湾区城市”的。如，买去粤港澳大湾区重点城市车票；找个粤港澳大湾区重点城市酒店；购买火车票；三个句子中，第一个句子和第三个句子语义更加相似，但是使用带有自注意力机制的深度网络语义表征模型得到三个句子向量中，第一个句子的向量和第二个句子的向量更相近。因此，导致句子的语义向量的准确性较低。

技术实现思路

[0003]本申请的主要目的为提供一种语义向量表示方法、装置、计算机设备和存储介质，旨在解决通过自注意力机制进行语义表征时，得到的语义向量准确性较低的技术问题。
[0004]为实现上述目的，本申请提供了一种语义向量表示方法，包括以下步骤：
[0005]获取文本数据，并对所述文本数据进行分类，确定所述文本数据对应的类别；
[0006]对所述文本数据进行分词处理，得到多个特征词和对应的文本序列；
[0007]计算各个所述特征词在对应的类别中的权重值；
[0008]根据所述权重值构建所述文本数据对应的权重矩阵；
[0009]构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量。
[0010]进一步地，所述计算各个所述特征词在对应的类别中的权重值的步骤，包括：
[0011]获取所述文本数据对应的类别的样本数据；
[0012]在所述样本数据中计算各个所述特征词的逆文本频率值，并将对应的逆文本频率值作为各个所述特征词对应的权重值。
[0013]进一步地，所述根据所述权重值构建所述文本数据对应的权重矩阵的步骤，包括：
[0014]将所述文本数据中的各个字对应的权重值按照各个字在所述文本数据中的顺序构建对应的权重矩阵。
[0015]进一步地，所述构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所
述文本数据对应的语义向量的步骤，包括：
[0016]根据所述文本序列构建所述嵌入矩阵；
[0017]将所述嵌入矩阵输入自注意力机制得到对应的Q矩阵、K矩阵和V矩阵；
[0018]将Q矩阵、K矩阵相乘的结果与权重矩阵进行位乘，得到目标矩阵；
[0019]将目标矩阵通过归一化指数函数计算后与V矩阵进行相乘后输入文本表示模型的前馈神经网络部分进行处理，得到所述文本数据对应的语义向量。
[0020]进一步地，所述计算各个所述特征词的权重值的步骤，包括：
[0021]获取对应类别的权重预测模型；
[0022]将所述文本序列输入对应类别的权重预测模型计算各个所述特征词的权重值；其中，所述权重预测模型基于极端梯度提升模型训练而成。
[0023]进一步地，所述得到所述文本数据对应的语义向量的步骤之后，包括：
[0024]将所述文本数据加入到对应类别中，作为其他文本数据的样本数据。
[0025]本申请还提供一种语义向量表示装置，包括：
[0026]获取单元，用于获取文本数据，并对所述文本数据进行分类，确定所述文本数据对应的类别；
[0027]分词处理单元，用于对所述文本数据进行分词处理，得到多个特征词和对应的文本序列；
[0028]计算单元，用于计算各个所述特征词在对应的类别中的权重值；
[0029]第一构建单元，用于根据所述权重值构建所述文本数据对应的权重矩阵；
[0030]第二侯建单元，用于构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量。
[0031]进一步地，所述计算单元，包括：
[0032]第一获取子单元，用于获取所述文本数据对应的类别的样本数据；第一计算子单元，用于在所述样本数据中计算各个所述特征词的逆文本频率值，并将对应的逆文本频率值作为各个所述特征词对应的权重值。
[0033]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的语义向量表示方法的步骤。
[0034]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的语义向量表示方法的步骤。
[0035]本申请提供的语义向量表示方法、装置、计算机设备和存储介质，在语义表征过程中引入了通过特定类别统计的特征词的权重信息，将文本数据的权重矩阵加入到自注意力机制中，能够使得句子的语义表征更加关注重要的词汇，减少关注不重要的词汇，提高文本数据的相似度计算的效果，提高得到的语义向量的准确性。
附图说明
[0036]图1是本申请一实施例中语义向量表示方法步骤示意图；
[0037]图2是本申请一实施例中自注意力机制的网络结构示意图；
[0038]图3是本申请一实施例中语义向量表示装置结构框图；
[0039]图4为本申请一实施例的计算机设备的结构示意框图。
[0040]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0041]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0042]参照图1，本申请一实施例提供了一种语义向量表示方法，包括以下步骤：
[0043]步骤S1，获取文本数据，并对所述文本数据进行分类，确定所述文本数据对应的类别；
[0044]步骤S2，对所述文本数据进行分词处理，得到多个特征词和对应的文本序列；
[0045]步骤S3，计算各个所述特征词在对应的类别中的权重值；
[0046]步骤S4，根据所述权重值构建所述文本数据对应的权重矩阵；
[0047]步骤S5，构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义向量表示方法，其特征在于，包括以下步骤：获取文本数据，并对所述文本数据进行分类，确定所述文本数据对应的类别；对所述文本数据进行分词处理，得到多个特征词和对应的文本序列；计算各个所述特征词在对应的类别中的权重值；根据所述权重值构建所述文本数据对应的权重矩阵；构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量。2.根据权利要求1所述的语义向量表示方法，其特征在于，所述计算各个所述特征词在对应的类别中的权重值的步骤，包括：获取所述文本数据对应的类别的样本数据；在所述样本数据中计算各个所述特征词的逆文本频率值，并将对应的逆文本频率值作为各个所述特征词对应的权重值。3.根据权利要求1所述的语义向量表示方法，其特征在于，所述根据所述权重值构建所述文本数据对应的权重矩阵的步骤，包括：将所述文本数据中的各个字对应的权重值按照各个字在所述文本数据中的顺序构建对应的权重矩阵。4.根据权利要求1所述的语义向量表示方法，其特征在于，所述构建所述文本序列的嵌入矩阵，将所述权重矩阵加入预设的文本表示模型的自注意力机制中，通过预设的文本表示模型对所述嵌入矩阵进行处理，得到所述文本数据对应的语义向量的步骤，包括：根据所述文本序列构建所述嵌入矩阵；将所述嵌入矩阵输入自注意力机制得到对应的Q矩阵、K矩阵和V矩阵；将Q矩阵、K矩阵相乘的结果与权重矩阵进行位乘，得到目标矩阵；将目标矩阵通过归一化指数函数计算后与V矩阵进行相乘后输入文本表示模型的前馈神经网络部分进行处理，得到所述文本数据对应的语义向量。5.根据权利要求1所述的语义向量表示方法，其特征在于，所...

【专利技术属性】
技术研发人员：丘文波，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：