一种基于语义的智能推理方法及系统技术方案

本发明专利技术公开了一种基于语义的智能推理方法及系统，所述方法包括：采集自然类语料和金融类语料；将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型；其中，所述目标Bert预训练模型用于对待推理金融类语料进行语义推理。行语义推理。行语义推理。

【技术实现步骤摘要】
一种基于语义的智能推理方法及系统


[0001]本申请涉及智能金融领域，尤其涉及一种基于语义的智能推理方法及系统。

技术介绍

[0002]金融领域数据一般具有小样本、实时性、动态性的特性。因此，通常采用基于图神经网络的推理方式或基于Bert预训练模型的推理方式来处理金融领域的语义推理工作。但是，基于图神经网络的推理方式需要构建较复杂的图数据库，计算开销大，而且不满足金融领域数据在实时性和动态性方面的需求。基于Bert预训练模型的推理方式虽然不需要太大计算开销且满足实时性和动态性需求，但是训练Bert模型的语料是一般的自然语言，因此在处理金融领域数据的下游任务时，其泛化能力和鲁棒性有待进一步提升。
[0003]因此，以上两种主流推理技术的缺点限制了深度学习在推理任务中对语料信息的有效利用，影响模型的准确性及工作效率。
[0004]近年来，由于人工智能推动了技术与金融科技的相互融合、相互渗透，开启了商业变革和金融创新，因此，推理也已经成为人工智能中的一个重要的研究方向。目前来说，传统支持语义的智能推理技术依托于机器学习算法，通过专家定义规则或者SVM(二元线性分类器)来实现基于语义的推理技术，这种方法可以对小样本、一般的自然语言范围实现推理功能。但是，受限于传统语义推理技术在金融领域的鲁棒性较差，泛化能力有限，因此仍旧不能较好处理应用金融领域数据。
[0005]因此，现有技术存在的问题是：不能准确推理出金融领域语料的实际含义。

技术实现思路

[0006]本专利技术提供了一种基于语义的智能推理方法及系统，利用迁移学习的方式，从一般的自然类语料中获得与金融类语料相似的训练数据集，对金融类语料的训练数据集进行扩充，并利用扩充后的训练数据集微调Bert预训练模型，以提高Bert预训练模型在面向金融领域信托行业时的泛化能力，在语料稀少的情况下完成推理任务，从而解决或者部分解决现有技术不能准确推理出金融领域语料的实际含义的技术问题。
[0007]为解决上述技术问题，本专利技术的第一方面，公开了一种基于语义的智能推理方法，所述方法包括：
[0008]采集自然类语料和金融类语料；
[0009]将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；
[0010]遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；
[0011]将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型；其中，所述目标Bert预训练模型用于对待推理金融类语料进行语义推理。
[0012]优选的，所述将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量，具体包括：
[0013]将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到所述自然类语义编码向对应的第一编码矩阵和金融类语义编码向量对应的第二编码矩阵；其中，
[0014]所述第一编码矩阵的每一行向量为每句自然类语料的语义表示向量，列向量表示自然类语料的向量维度；所述第二编码矩阵的每一行向量为每句金融类语料的语义表示向量，列向量表示金融类语料的向量维度。
[0015]优选的，所述将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集，具体包括：
[0016]将高于相似度阈值的自然类语料迁移至所述金融类语料对应的语料类矩阵中逐行排列，形成所述训练数据集。
[0017]优选的，所述将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型，具体包括：
[0018]将迁移后的训练数据集输入所述初始Bert预训练模型，得到对应的微调语义编码向量；
[0019]所述微调语义编码向量输入到前馈神经网络，得到预测值；
[0020]将所述预测值和所述训练数据集的原始标签一并送入交叉熵损失函数中计算损失，并反向传播回所述初始Bert预训练模型进行梯度更新，得到所述目标Bert预训练模型。
[0021]优选的，所述微调语义编码向量输入到前馈神经网络，得到预测值，具体包括：
[0022]将所述微调语义编码向量输入到所述前馈神经网络的非线性激活函数逐层进行递推，得到所述预测值；其中，非线性激活函数表示第j+1层前馈神经网络和第j层前馈神经网络的递推关系，j表示前馈神经网络的层数，1≤j≤k,k表示前馈神经网络的总层数；表示在第j层中的第h行语义编码向量，表示在第j层中的第h行语义编码向量中的第i维编码特征，表示在第j+1层中的任意行语义编码向量，h表示任意行数，i表示向量维度，i∈n，n表示向量维度总数，w
i
表示权重，b
j
表示第j层的系数。
[0023]优选的，所述得到目标Bert预训练模型之后，所述方法还包括：
[0024]获得所述待推理金融类语料；
[0025]将所述待推理金融类语料和将推理备选项语料集一并输入所述目标Bert预训练模型，得到所述待推理金融类语料对应的待推理语义编码向量和所述推理备选项语料集对应的语义编码向量组；
[0026]遍历计算所述待推理语义编码向量与所述语义编码向量组中每个向量的语义相似度；
[0027]从所述语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量；
[0028]将所述目标编码向量所属语料作为所述待推理金融类语料对应的推理语料。
[0029]优选的，所述从所述语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量，具体包括：
[0030]从所述语义编码向量组中确定出相似度最高的编码向量作为所述目标编码向量；
或者
[0031]从语义相似度高于预设阈值的语义编码向量中确定任一一个语义编码向量作为所述目标编码向量。
[0032]本专利技术的第二方面，公开了一种基于语义的智能推理系统，包括：
[0033]采集模块，用于采集自然类语料和金融类语料；
[0034]模型处理模块，用于将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；
[0035]迁移模块，用于遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；
[0036]训练模块，用于将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型；其中，所述目标Bert预训练模型用于对待推理金融类语料进行语义推理。
[0037]本专利技术的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义的智能推理方法，其特征在于，所述方法包括：采集自然类语料和金融类语料；将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型；其中，所述目标Bert预训练模型用于对待推理金融类语料进行语义推理。2.如权利要求1所述的方法，其特征在于，所述将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量，具体包括：将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到所述自然类语义编码向对应的第一编码矩阵和金融类语义编码向量对应的第二编码矩阵；其中，所述第一编码矩阵的每一行向量为每句自然类语料的语义表示向量，列向量表示自然类语料的向量维度；所述第二编码矩阵的每一行向量为每句金融类语料的语义表示向量，列向量表示金融类语料的向量维度。3.如权利要求2所述的方法，其特征在于，所述将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集，具体包括：将高于相似度阈值的自然类语料迁移至所述金融类语料对应的语料类矩阵中逐行排列，形成所述训练数据集。4.如权利要求1所述的方法，其特征在于，所述将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型，具体包括：将迁移后的训练数据集输入所述初始Bert预训练模型，得到对应的微调语义编码向量；将所述微调语义编码向量输入到前馈神经网络，得到预测值；将所述预测值和所述训练数据集的原始标签一并送入交叉熵损失函数中计算损失，并反向传播回所述初始Bert预训练模型进行梯度更新，得到所述目标Bert预训练模型。5.如权利要求4所述的方法，其特征在于，将所述微调语义编码向量输入到前馈神经网络，得到预测值，具体包括：将所述微调语义编码向量输入到所述前馈神经网络的非线性激活函数逐层进行递推，得到所述预测值；其中，非线性激活函数表示第j+1层前馈神经网络和第j层前馈神经网络的递推关系，j表示前馈神经网络的层数，1≤j≤k,k表示前...

【专利技术属性】
技术研发人员：宗天禹，陈曙东，马荣，
申请(专利权)人：上海翔盛悦信息技术有限公司，
类型：发明
国别省市：