基于闭环反馈的模型校正方法、装置和计算机设备制造方法及图纸

本申请涉及人工智能技术领域，提供一种基于闭环反馈的模型校正方法、装置、计算机设备和存储介质，基于检测模型的特征提取层提取校正样本的第一特征向量，以及基于所述检测模型的隐藏层提取第二特征向量；基于相似度计算模型对所述校正样本进行特征提取，得到第三特征向量；进而将所述检测模型特征提取层提取的第一特征向量替换为所述第三特征向量，以及将所述检测模型的隐藏层提取的第二特征向量替换为所述第三特征向量，并基于反向传播算法，对所述检测模型进行校正。本申请从从模型的特征空间和概率空间进行修正，从而反向传播，对模型进行校正。

【技术实现步骤摘要】
基于闭环反馈的模型校正方法、装置和计算机设备
本申请涉及人工智能
，特别涉及一种基于闭环反馈的模型校正方法、装置、计算机设备和存储介质。
技术介绍
目前，人工智能领域的翘楚非深度学习模型莫属，例如视觉中的卷积神经网络，自然语言处理领域的BERT、GPT等。对于这些深度学习模型，以统计概率分布为数理基础，通过矩阵计算实现，完成输入样本空间到特征空间再到概率空间的转换映射。但整个端到端过程往往如同“黑盒子”，对于具体的业务场景不可控，往往在训练完毕之后才可以结合具体场景评测。及时快速低成本地完成模型校正，让深度学习模型参数尽快收敛到合适的统计分布，这是深度学习算法的本质追求，能更有效提高模型的精度。现阶段，深度学习的在线学习是对模型进行实时训练，其研究和应用也越来越热，但在线学习依然是从端到端角度喂入模型新的样本数据，更多的是让模型自己从新的输入样本中学习如何调节样本空间、特征空间和概率空间，无法在特征空间和概率空间进行模型校正。这对模型的校正效果不是十分明显，端到端深度学习模型的可控性也不足。
技术实现思路
本申请的主要目的为提供一种基于闭环反馈的模型校正方法、装置、计算机设备和存储介质，旨在从模型的特征空间和概率空间对模型进行校正。为实现上述目的，本申请提供了一种基于闭环反馈的模型校正方法，包括以下步骤：将校正样本输入至离线训练好的检测模型；所述检测模型用于检测文本中的敏感语句，所述检测模型包括提取特征向量的特征提取层以及隐藏层；基于所述检测模型的特征提取层提取第一特征向量，以及基于所述检测模型的隐藏层提取第二特征向量；基于相似度计算模型对所述校正样本进行特征提取，得到第三特征向量；将所述检测模型特征提取层提取的第一特征向量替换为所述第三特征向量，以及将所述检测模型的隐藏层提取的第二特征向量替换为所述第三特征向量，并基于反向传播算法，对所述检测模型进行校正。进一步地，所述将校正样本输入至离线训练好的检测模型的步骤之前，还包括：获取待过滤敏感语句的数据；其中，所述待过滤敏感语句的数据为初始样本数据；将所述待过滤敏感语句的数据输入至离线训练好的所述检测模型中，得到第一检测结果；其中，所述检测模型用于检测待过滤敏感语句的数据中的敏感词句；将所述第一检测结果输入至规则库中进行检测，得到第二检测结果；基于启发式算法，对所述第二检测结果进行扩充，得到所述校正样本。进一步地，所述将校正样本输入至离线训练好的检测模型的步骤之前，还包括：获取训练样本；将所述训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第四特征向量，以及基于所述卷积神经网络的隐藏层提取第五特征向量；将所述第四特征向量以及第五特征向量分别输入至解码网络中，得到对应的第一解码训练样本与第二解码训练样本；将所述第一解码训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第六特征向量，以及基于所述卷积神经网络的隐藏层提取第七特征向量；将所述第二解码训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第八特征向量，以及基于所述卷积神经网络的隐藏层提取第九特征向量；将所述第四特征向量、第五特征向量、第六特征向量、第七特征向量、第八特征向量、第九特征向量输入至所述卷积神经网络的分类层中，并基于反向传播算法，调整所述分类层、特征提取层、隐藏层以及解码网络的网络参数，训练得到所述检测模型；其中，所述监测模型由特征提取层、隐藏层与分类层构成。进一步地，所述分类层包括全连接层，所述分类层所使用的损失函数是交叉熵损失函数。进一步地，所述将所述第四特征向量、第五特征向量、第六特征向量、第七特征向量、第八特征向量、第九特征向量输入至所述卷积神经网络的分类层中，并基于反向传播算法，调整所述分类层、特征提取层、隐藏层以及解码网络的网络参数，训练得到所述检测模型的步骤，包括：将所述第四特征向量、第五特征向量、第六特征向量、第七特征向量、第八特征向量、第九特征向量输入至所述全连接层计算之后，基于所述损失函数计算交叉熵损失值；使用梯度下降的反向传播算法，调整所述分类层、特征提取层、隐藏层以及解码网络的网络参数，以最小化所述交叉熵损失值；当迭代训练之后，所述交叉熵损失值不再下降时，模型收敛得到训练完成的所述的检测模型。进一步地，所述基于所述检测模型的特征提取层提取第一特征向量的步骤，包括：分别提取所述校正样本中每一个字的字向量，并将所有字的字向量进行拼接得到第一字向量；分别提取所述校正样本中每一个句子的向量特征，并将所有句子的向量特征进行拼接得到第一句向量；将所述第一字向量与所述第一句向量组合，得到所述第一特征向量。本申请还提供了一种基于闭环反馈的模型校正装置，包括：输入单元，用于将校正样本输入至离线训练好的检测模型；所述检测模型用于检测文本中的敏感语句，所述检测模型包括提取特征向量的特征提取层以及隐藏层；第一提取单元，用于基于所述检测模型的特征提取层提取第一特征向量，以及基于所述检测模型的隐藏层提取第二特征向量；第二提取单元，用于基于相似度计算模型对所述校正样本进行特征提取，得到第三特征向量；校正单元，用于将所述检测模型特征提取层提取的第一特征向量替换为所述第三特征向量，以及将所述检测模型的隐藏层提取的第二特征向量替换为所述第三特征向量，并基于反向传播算法，对所述检测模型进行校正。进一步地，还包括：第一获取单元，用于获取待过滤敏感语句的数据；其中，所述待过滤敏感语句的数据为初始样本数据；第一检测单元，用于将所述待过滤敏感语句的数据输入至离线训练好的所述检测模型中，得到第一检测结果；其中，所述检测模型用于检测待过滤敏感语句的数据中的敏感词句；第二检测单元，用于将所述第一检测结果输入至规则库中进行检测，得到第二检测结果；扩充单元，用于基于启发式算法，对所述第二检测结果进行扩充，得到所述校正样本。进一步地，还包括：第二获取单元，用于获取训练样本；第三提取单元，用于将所述训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第四特征向量，以及基于所述卷积神经网络的隐藏层提取第五特征向量；解码单元，用于将所述第四特征向量以及第五特征向量分别输入至解码网络中，得到对应的第一解码训练样本与第二解码训练样本；第四提取单元，用于将所述第一解码训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第六特征向量，以及基于所述卷积神经网络的隐藏层提取第七特征向量；第五提取单元，用于将所述第二解码训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第八特征向量，以及基于所述卷积神经网络的隐藏层提取第九特征向量；训练单元，用于将所述第四特征向量、第五特征向量、第六特征向量、本文档来自技高网...

【技术保护点】
1.一种基于闭环反馈的模型校正方法，其特征在于，包括以下步骤：/n将校正样本输入至离线训练好的检测模型；所述检测模型用于检测文本中的敏感语句，所述检测模型包括提取特征向量的特征提取层以及隐藏层；/n基于所述检测模型的特征提取层提取第一特征向量，以及基于所述检测模型的隐藏层提取第二特征向量；/n基于相似度计算模型对所述校正样本进行特征提取，得到第三特征向量；/n将所述检测模型特征提取层提取的第一特征向量替换为所述第三特征向量，以及将所述检测模型的隐藏层提取的第二特征向量替换为所述第三特征向量，并基于反向传播算法，对所述检测模型进行校正。/n

【技术特征摘要】
1.一种基于闭环反馈的模型校正方法，其特征在于，包括以下步骤：
将校正样本输入至离线训练好的检测模型；所述检测模型用于检测文本中的敏感语句，所述检测模型包括提取特征向量的特征提取层以及隐藏层；
基于所述检测模型的特征提取层提取第一特征向量，以及基于所述检测模型的隐藏层提取第二特征向量；
基于相似度计算模型对所述校正样本进行特征提取，得到第三特征向量；
将所述检测模型特征提取层提取的第一特征向量替换为所述第三特征向量，以及将所述检测模型的隐藏层提取的第二特征向量替换为所述第三特征向量，并基于反向传播算法，对所述检测模型进行校正。


2.根据权利要求1所述的基于闭环反馈的模型校正方法，其特征在于，所述将校正样本输入至离线训练好的检测模型的步骤之前，还包括：
获取待过滤敏感语句的数据；其中，所述待过滤敏感语句的数据为初始样本数据；
将所述待过滤敏感语句的数据输入至离线训练好的所述检测模型中，得到第一检测结果；其中，所述检测模型用于检测待过滤敏感语句的数据中的敏感词句；
将所述第一检测结果输入至规则库中进行检测，得到第二检测结果；
基于启发式算法，对所述第二检测结果进行扩充，得到所述校正样本。


3.根据权利要求1所述的基于闭环反馈的模型校正方法，其特征在于，所述将校正样本输入至离线训练好的检测模型的步骤之前，还包括：
获取训练样本；
将所述训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第四特征向量，以及基于所述卷积神经网络的隐藏层提取第五特征向量；
将所述第四特征向量以及第五特征向量分别输入至解码网络中，得到对应的第一解码训练样本与第二解码训练样本；
将所述第一解码训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第六特征向量，以及基于所述卷积神经网络的隐藏层提取第七特征向量；
将所述第二解码训练样本输入至预设的卷积神经网络中，基于所述卷积神经网络的特征提取层提取第八特征向量，以及基于所述卷积神经网络的隐藏层提取第九特征向量；
将所述第四特征向量、第五特征向量、第六特征向量、第七特征向量、第八特征向量、第九特征向量输入至所述卷积神经网络的分类层中，并基于反向传播算法，调整所述分类层、特征提取层、隐藏层以及解码网络的网络参数，训练得到所述检测模型；其中，所述监测模型由特征提取层、隐藏层与分类层构成。


4.根据权利要求3所述的基于闭环反馈的模型校正方法，其特征在于，所述分类层包括全连接层，所述分类层所使用的损失函数是交叉熵损失函数；
所述将所述第四特征向量、第五特征向量、第六特征向量、第七特征向量、第八特征向量、第九特征向量输入至所述卷积神经网络的分类层中，并基于反向传播算法，调整所述分类层、特征提取层、隐藏层以及解码网络的网络参数，训练得到所述检测模型的步骤，包括：
将所述第四特征向量、第五特征向量、第六特征向量、第七特征向量、第八特征向量、第九特征向量输入至所述全连接层计算之后，基于所述损失函数计算交叉熵损失值；
使用梯度下降的反向传播算法，调整所述分类层、特征提取层、隐藏层以及解码网络的网络参数，以最小化所述交叉熵损失值；
当迭代训练之后，所述交叉熵损失值不再下降时，模型收敛得到训练完成的所述的检测模型。


5.根据权利要求1所述的基于闭环反...

【专利技术属性】
技术研发人员：吴绍锋，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东;44