模型评测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种模型评测方法、装置、设备及存储介质。该方法包括：获取测试语句及对应的原始意图，并将所述测试语句输入待测模型，得到所述待测模型输出的第一预测意图，以根据所述第一预测意图获得第一评测结果；在所述第一评测结果不满足预设条件的情况下，根据所述原始意图和所述第一预测意图、在所述测试语句中确定负例语句；获取所述待测模型的训练语句，并根据所述训练语句和所述负例语句确定目标语句；根据所述目标语句更新所述测试语句；将所述更新后的测试语句输入所述待测模型，得到所述待测模型输出的第二预测意图，以根据所述第二预测意图获得第二评测结果。本发明专利技术可实现评测结果的自动修正，提高模型评测的准确性。准确性。准确性。

【技术实现步骤摘要】
模型评测方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种模型评测方法、装置、设备及存储介质。

技术介绍

[0002]意图识别也可以称为意图检测(intent detection)，其是通过分类的办法将句子划分到相应的种类中，属于多元分类问题。在意图识别任务中，通常会利用机器学习的方式构建出分类模型，然后再由测试人员模拟真实场景的用户语句(即测试数据)进行模型测试，并依据测试结果决定模型能否上线。由于测试人员在测试过程中带有一定的主观性，其编写的测试语句，可能导致评测结果相较于实际效果偏差过大，评测结果准确性较差。

技术实现思路

[0003]本专利技术的主要目的在于提供一种模型评测方法、装置、设备及存储介质，旨在解决现有的模型评测方法准确性较差的问题。
[0004]为实现上述目的，本专利技术提供一种模型评测方法，所述模型评测方法包括：
[0005]获取测试语句及对应的原始意图，并将所述测试语句输入待测模型，得到所述待测模型输出的第一预测意图，以根据所述第一预测意图获得第一评测结果；
[0006]在所述第一评测结果不满足预设条件的情况下，根据所述原始意图和所述第一预测意图、在所述测试语句中确定负例语句；
[0007]获取所述待测模型的训练语句，并根据所述训练语句和所述负例语句确定目标语句；
[0008]根据所述目标语句更新所述测试语句；
[0009]将所述更新后的测试语句输入所述待测模型，得到所述待测模型输出的第二预测意图，以根据所述第二预测意图获得第二评测结果。
[0010]可选地，所述根据所述原始意图和所述第一预测意图、在所述测试语句中确定负例语句的步骤，包括：
[0011]比对所述原始意图和所述第一预测意图，确定与所述原始意图不一致的负例预测意图；
[0012]根据所述负例预测意图、在所述测试语句中确定对应的负例语句。
[0013]可选地，所述目标语句包括目标剔除语句；
[0014]所述根据所述训练语句和所述负例语句确定目标语句的步骤包括：
[0015]获取所述负例语句和所述训练语句的文本相似度，并根据所述文本相似度确定最大相似度；
[0016]在所述最大相似度小于第一预设阈值的情况下，将所述负例语句确定为目标剔除语句。
[0017]可选地，所述训练语句包括第一语句和第二语句，所述第一语句和所述第二语句
具有对应的语句意图，所述目标语句包括目标剔除语句；
[0018]所述根据所述训练语句和所述负例语句确定目标语句的步骤包括：
[0019]获取所述负例语句与所述第一语句的第一文本相似度、以及所述负例语句与所述第一语句的第二文本相似度，并获取所述第一文本相似度与所述第二文本相似度的相似度差值；
[0020]在所述相似度差值小于第二预设阈值、且所述第一语句和所述第二语句的语句意图不一致情况下，将所述负例语句确定为目标剔除语句。
[0021]可选地，所述根据所述目标语句更新所述测试语句步骤，包括：
[0022]将所述目标剔除语句从所述测试语句中剔除。
[0023]可选地，所述训练语句包括第三语句，所述第三语句具有对应的语句意图，所述目标语句包括误判语句；
[0024]所述获取所述待测模型的训练语句，并根据所述训练语句和所述负例语句确定目标语句的步骤，还包括：
[0025]获取所述负例语句和所述第三语句的文本相似度；
[0026]在所述文本相似度小于第三预设阈值、且所述负例语句的原始意图和所述第三语句的语句意图不一致的情况下，确定所述负例语句为误判语句；
[0027]所述根据所述目标语句更新所述测试语句的步骤，包括：
[0028]将所述误判语句调整为正例语句，并保留所述正例语句。
[0029]此外，为实现上述目的，本专利技术还提供一种模型评测装置，所述模型评测装置包括：
[0030]第一评测模块，获取测试语句及对应的原始意图，并将所述测试语句输入待测模型，得到所述待测模型输出的第一预测意图，以根据所述第一预测意图获得第一评测结果；
[0031]第一确定模块，在所述第一评测结果不满足预设条件的情况下，根据所述原始意图和所述第一预测意图、在所述测试语句中确定负例语句；
[0032]第二确定模块，获取所述待测模型的训练语句，并根据所述训练语句和所述负例语句确定目标语句；
[0033]语句更新模块，根据所述目标语句更新所述测试语句；
[0034]第二评测模块，将所述更新后的测试语句输入所述待测模型，得到所述待测模型输出的第二预测意图，以根据所述第二预测意图获得第二评测结果。
[0035]此外，为实现上述目的，本专利技术还提供一种模型评测设备，所述模型评测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的模型评测方法的步骤。
[0036]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型评测方法的步骤。
[0037]本专利技术提供一种模型评测方法、装置、设备及存储介质，通过获取测试语句及对应的原始意图，并将所述测试语句输入待测模型，得到所述待测模型输出的第一预测意图，以根据所述第一预测意图获得第一评测结果；在所述第一评测结果不满足预设条件的情况下，根据所述原始意图和所述第一预测意图、在所述测试语句中确定负例语句；获取所述待
测模型的训练语句，并根据所述训练语句和所述负例语句确定目标语句；根据所述目标语句更新所述测试语句；将所述更新后的测试语句输入所述待测模型，得到所述待测模型输出的第二预测意图，以根据所述第二预测意图获得第二评测结果。通过以上方式，本实施例在模型初次评测后，利用自动化的流程，对测试数据进行调整更新，然后利用更新后的测试数据进行二次评测，从而获得二次评测结果，实现了评测结果的自动修正，有利于提高模型评测的准确性，同时节约了评测所需的人力成本，提高了评测效率。
附图说明
[0038]图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图；
[0039]图2为本专利技术模型评测方法第一实施例的流程示意图；
[0040]图3为本专利技术模型评测装置第一实施例的功能模块示意图。
[0041]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0042]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0043]参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图。
[0044]本专利技术实施例模型评测设备可以是服务器，也可以是PC(Personal Computer，个人计算机)、平板电脑、便携计算机、可移动终端等终端设备。
[0045]如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型评测方法，其特征在于，所述模型评测方法包括：获取测试语句及对应的原始意图，并将所述测试语句输入待测模型，得到所述待测模型输出的第一预测意图，以根据所述第一预测意图获得第一评测结果；在所述第一评测结果不满足预设条件的情况下，根据所述原始意图和所述第一预测意图、在所述测试语句中确定负例语句；获取所述待测模型的训练语句，并根据所述训练语句和所述负例语句确定目标语句；根据所述目标语句更新所述测试语句；将所述更新后的测试语句输入所述待测模型，得到所述待测模型输出的第二预测意图，以根据所述第二预测意图获得第二评测结果。2.如权利要求1所述的模型评测方法，特征在于，所述根据所述原始意图和所述第一预测意图、在所述测试语句中确定负例语句的步骤，包括：比对所述原始意图和所述第一预测意图，确定与所述原始意图不一致的负例预测意图；根据所述负例预测意图、在所述测试语句中确定对应的负例语句。3.如权利要求1所述的模型评测方法，特征在于，所述目标语句包括目标剔除语句；所述根据所述训练语句和所述负例语句确定目标语句的步骤包括：获取所述负例语句和所述训练语句的文本相似度，并根据所述文本相似度确定最大相似度；在所述最大相似度小于第一预设阈值的情况下，将所述负例语句确定为目标剔除语句。4.如权利要求1所述的模型评测方法，特征在于，所述训练语句包括第一语句和第二语句，所述第一语句和所述第二语句具有对应的语句意图，所述目标语句包括目标剔除语句；所述根据所述训练语句和所述负例语句确定目标语句的步骤包括：获取所述负例语句与所述第一语句的第一文本相似度、以及所述负例语句与所述第一语句的第二文本相似度，并获取所述第一文本相似度与所述第二文本相似度的相似度差值；在所述相似度差值小于第二预设阈值、且所述第一语句和所述第二语句的语句意图不一致情况下，将所述负例语句确定为目标剔除语句。5.如权利要求3或4所述的模型评...

【专利技术属性】
技术研发人员：贾敬伍，蒋宁，周长安，
申请(专利权)人：北京中关村科金技术有限公司，
类型：发明
国别省市：