用于文本表征的特征向量生成方法、装置和电子设备制造方法及图纸

本公开的实施例公开了用于文本表征的特征向量生成方法、装置和电子设备。该方法的一具体实施方式包括：将知识特征序列中的知识特征与待表征文本进行拼接；将拼接特征输入预训练模型；将候选特征向量子序列中的每个候选特征向量，与预训练模型中的嵌入矩阵进行相乘处理；将目标特征向量与目标特征向量在词表中对应的词向量进行向量融合；将得到的融合向量序列中的融合向量输入第一特征降维网络；将目标候选特征向量输入第二特征降维网络；将第一降维特征向量序列中的第一降维特征向量和第二降维特征向量进行向量拼接，以生成待表征文本对应的文本表征向量。该实施方式提高了生成的特征向量的精准度。特征向量的精准度。特征向量的精准度。

【技术实现步骤摘要】
用于文本表征的特征向量生成方法、装置和电子设备


[0001]本公开的实施例涉及计算机
，具体涉及用于文本表征的特征向量生成方法、装置和电子设备。

技术介绍

[0002]在自然语言处理领域内的多个应用场景中，往往都需要对文本进行文本表征，即将文本转换为对应的特征向量。目前，在进行特征向量生成时，通常采用的方式为：通过多层特征提取层进行特征提取，以生成特征向量。
[0003]然而，当采用上述方式时，经常会存在如下技术问题：第一，当文本包含较多特征时，经过多次特征提取得到的多个特征向量之间的向量相关度不大，导致生成的特征向量不够精准；第二，不同的特征对应的特征重要程度不同，往往未针对不同的特征进行适应性的特征提取，导致生成的特征向量不够精准。

技术实现思路

[0004]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]本公开的一些实施例提出了用于文本表征的特征向量生成方法、装置和电子设备，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0006]第一方面，本公开的一些实施例提供了一种用于文本表征的特征向量生成方法，该方法包括：获取待表征文本；将知识特征序列中的知识特征与上述待表征文本进行拼接，以生成拼接特征；将上述拼接特征输入预训练模型，以生成候选特征向量序列；将上述候选特征向量序列包括的候选特征向量子序列中的每个候选特征向量，与上述预训练模型中的嵌入矩阵进行相乘处理，以生成目标特征向量，得到目标特征向量序列；对于上述目标特征向量序列中的每个目标特征向量，将上述目标特征向量与上述目标特征向量在词表中对应的词向量进行向量融合，以生成融合向量；将得到的融合向量序列中的融合向量输入第一特征降维网络，以生成第一降维特征向量序列；将目标候选特征向量输入第二特征降维网络，以生成第二降维特征向量，其中，上述目标候选特征向量是上述候选特征向量序列中除上述候选特征向量子序列之外的候选特征向量；将上述第一降维特征向量序列中的第一降维特征向量和上述第二降维特征向量进行向量拼接，以生成上述待表征文本对应的文本表征向量。
[0007]第二方面，本公开的一些实施例提供了一种用于文本表征的特征向量生成装置，装置包括：获取单元，被配置成获取待表征文本；拼接单元，被配置成将知识特征序列中的知识特征与上述待表征文本进行拼接，以生成拼接特征；第一输入单元，被配置成将上述拼接特征输入预训练模型，以生成候选特征向量序列；相乘处理单元，被配置成将上述候选特
征向量序列包括的候选特征向量子序列中的每个候选特征向量，与上述预训练模型中的嵌入矩阵进行相乘处理，以生成目标特征向量，得到目标特征向量序列；向量融合单元，被配置成对于上述目标特征向量序列中的每个目标特征向量，将上述目标特征向量与上述目标特征向量在词表中对应的词向量进行向量融合，以生成融合向量；第二输入单元，被配置成将得到的融合向量序列中的融合向量输入第一特征降维网络，以生成第一降维特征向量序列；第三输入单元，被配置成将目标候选特征向量输入第二特征降维网络，以生成第二降维特征向量，其中，上述目标候选特征向量是上述候选特征向量序列中除上述候选特征向量子序列之外的候选特征向量；向量拼接单元，被配置成将上述第一降维特征向量序列中的第一降维特征向量和上述第二降维特征向量进行向量拼接，以生成上述待表征文本对应的文本表征向量。
[0008]第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
[0009]第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
[0010]本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的用于文本表征的特征向量生成方法，提高了生成的特征向量的精准度。具体来说，造成生成的特征向量的精准度不够精准的原因在于：当文本包含较多特征时，经过多次的特征提取得到的多个特征向量之间的向量相关度不大，导致生成的特征向量不够精准。基于此，本公开的一些实施例的用于文本表征的特征向量生成方法，首先，获取待表征文本。接着，将知识特征序列中的知识特征与上述待表征文本进行拼接，以生成拼接特征。本公开中的知识特征是与待表征文本存在关联关系的特征。通过增加知识特征，以增强和/或补充待表征文本的文本内容。进一步，将上述拼接特征输入预训练模型，以生成候选特征向量序列。通过预训练模型，以初步确定特征向量。此外，将上述候选特征向量序列包括的候选特征向量子序列中的每个候选特征向量，与上述预训练模型中的嵌入矩阵进行相乘处理，以生成目标特征向量，得到目标特征向量序列。接着，对于上述目标特征向量序列中的每个目标特征向量，将上述目标特征向量与上述目标特征向量在词表中对应的词向量进行向量融合，以生成融合向量。通过增加特征向量对应的词向量以丰富向量的特征表达能力。除此之外，将得到的融合向量序列中的融合向量输入第一特征降维网络，以生成第一降维特征向量序列。接着，将目标候选特征向量输入第二特征降维网络，以生成第二降维特征向量，其中，上述目标候选特征向量是上述候选特征向量序列中除上述候选特征向量子序列之外的候选特征向量。通过特征降维，以此降低特征维度，从而降低后续的特征计算的复杂度。最后，将上述第一降维特征向量序列中的第一降维特征向量和上述第二降维特征向量进行向量拼接，以生成上述待表征文本对应的文本表征向量。通过此种方式生成的特征向量，能够很好地表达和突出文本对应的特征，由此达到了提高生成的特征向量的精准度的目的。
附图说明
[0011]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理
解附图是示意性的，元件和元素不一定按照比例绘制。
[0012]图1是根据本公开的用于文本表征的特征向量生成方法的一些实施例的流程图；图2是根据本公开的用于文本表征的特征向量生成装置的一些实施例的结构示意图；图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
[0013]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0014]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。...

【技术保护点】

【技术特征摘要】
1.一种用于文本表征的特征向量生成方法，包括：获取待表征文本；将知识特征序列中的知识特征与所述待表征文本进行拼接，以生成拼接特征；将所述拼接特征输入预训练模型，以生成候选特征向量序列；将所述候选特征向量序列包括的候选特征向量子序列中的每个候选特征向量，与所述预训练模型中的嵌入矩阵进行相乘处理，以生成目标特征向量，得到目标特征向量序列；对于所述目标特征向量序列中的每个目标特征向量，将所述目标特征向量与所述目标特征向量在词表中对应的词向量进行向量融合，以生成融合向量；将得到的融合向量序列中的融合向量输入第一特征降维网络，以生成第一降维特征向量序列；将目标候选特征向量输入第二特征降维网络，以生成第二降维特征向量，其中，所述目标候选特征向量是所述候选特征向量序列中除所述候选特征向量子序列之外的候选特征向量；将所述第一降维特征向量序列中的第一降维特征向量和所述第二降维特征向量进行向量拼接，以生成所述待表征文本对应的文本表征向量。2.根据权利要求1所述的方法，其中，所述将知识特征序列中的知识特征与所述待表征文本进行拼接，以生成拼接特征，包括：将所述知识特征序列中的各个知识特征进行特征拼接，以生成拼接知识特征；将所述拼接知识特征与所述待表征文本进行拼接，以生成候选拼接特征；在所述候选拼接特征包括的知识特征尾部插入遮盖符，以及在所述候选拼接特征包括的所述待表征文本尾部插入遮盖符，以生成所述拼接特征。3.根据权利要求2所述的方法，其中，所述将所述候选特征向量序列包括的候选特征向量子序列中的每个候选特征向量，与所述预训练模型中的嵌入矩阵进行相乘处理，以生成目标特征向量，包括：将所述候选特征向量与所述预训练模型包括的输入层对应的嵌入矩阵进行相乘处理，以生成所述目标特征向量。4.根据权利要求3所述的方法，其中，所述目标特征向量序列中的目标特征向量的向量长度与目标特征向量在所述词表中对应的词向量的向量长度相同，所述词表中的词向量为经过独热编码后的词向量；以及所述将所述目标特征向量与所述目标特征向量在词表中对应的词向量进行向量融合，以生成融合向量，包括：将所述目标特征向量与所述目标特征向量在所述词表中对应的词向量进行向量相加融合，以生成所述目标特征向量对应的融合向量。5.根据权利要求4所述的方法，其中，所述第一特征降维网络包括：第一线性层和第二线性层；以及所述将得到的融合向量序列中的融合向量输入第一特征降维网络，以生成第一降维特征向量序列，包括：初始化第一目标嵌入矩阵，其中，所述第一目标嵌入矩阵为所述第一特征降维网络对应的嵌入矩阵；
将所述融合向量序列中的融合向量与所述第一目标嵌入矩阵进行相乘处理，以生成第一相乘后特征向量序列；将所述第一相乘后特征向量序列中的第一相乘后特征向量输入所述第一线性层，得到第一线性处理后的...

【专利技术属性】
技术研发人员：赵祥，葛标，张聪聪，柳进军，王辉，郭宝松，
申请(专利权)人：中关村科学城城市大脑股份有限公司，
类型：发明
国别省市：