自然语言理解系统的评估方法、装置及网络设备制造方法及图纸

本发明专利技术实施例提供了一种自然语言理解系统的评估方法、装置及网络设备，涉及停车导航技术领域。该方法包括：获取评估数据集；将评估数据集经过自然语言理解NLU系统进行处理，得到预测结果；将预测结果与预设结果进行比对，得到目标结果，目标结果包括以下至少一项：精召率、整体覆盖率、预测结果中的错误结果；在目标结果包括错误结果的情况下，从错误结果中确定目标错误结果的第一数量，并获取每一个目标错误结果对应的拓展错误结果的第二数量；通过目标结果、第一数量以及第二数量，对NLU系统进行评估，得到评估结果。上述方案，通过目标结果、第一数量以及第二数量等多个指标对NLU系统进行综合评估，使得评估结果更加全面、准确。准确。准确。

【技术实现步骤摘要】
自然语言理解系统的评估方法、装置及网络设备


[0001]本专利技术涉及系统评估
，尤其涉及一种自然语言理解系统的评估方法、装置及网络设备。

技术介绍

[0002]NLU系统是一个复杂的系统，其主要模块为意图识别、命名实体识别、知识库等深度学习任务，同时规则引擎、黑白名单等也是其重要模块。在对其落地实施过程中，评估和测试一直是一个特别重要、复杂且高要求的模块。
[0003]目前主要方法是借鉴于研究领域(学术界)，主要对系统的深度学习模型进行评估，即在模型训练前将数据集按照一定的比例划分训练集、验证集和测试集。训练集用于模型训练，验证集用于验证模型的有效性，最终使用测试集对模型的性能进行测试和评估。但是，上述评估方法，对NLU系统的评估不全面、且准确率较低。

技术实现思路

[0004]本专利技术提供一种自然语言理解系统的评估方法、装置及网络设备，以便在一定程度上解决现有对NLU系统的评估方法不全面、准确率较低的问题。
[0005]在本专利技术实施的第一方面，提供了一种自然语言理解系统的评估方法，所述方法包括：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自然语言理解系统的评估方法，其特征在于，包括：获取评估数据集；将所述评估数据集经过自然语言理解NLU系统进行处理，得到预测结果；将所述预测结果与预设结果进行比对，得到目标结果，所述目标结果包括以下至少一项：精召率、整体覆盖率、所述预测结果中的错误结果；在所述目标结果包括所述错误结果的情况下，从所述错误结果中确定目标错误结果的第一数量，并获取每一个所述目标错误结果对应的拓展错误结果的第二数量；通过所述目标结果、所述第一数量以及所述第二数量，对所述NLU系统进行评估，得到评估结果。2.根据权利要求1所述的方法，其特征在于，所述NLU系统包括预测模型，所述预测结果包括：第一预测结果；所述将所述评估数据集经过自然语言理解NLU系统进行处理，得到预测结果，包括：将所述评估数据集中的测试数据集经过所述预测模型进行结果预测处理，得到第一预测结果；其中，所述将所述预测结果与预设结果进行比对，得到目标结果，包括：将所述第一预测结果与所述预设结果进行比对，得到所述精召率，所述精召率包括：精确率和召回率。3.根据权利要求1所述的方法，其特征在于，所述预测结果包括：第二预测结果；所述将所述评估数据集经过自然语言理解NLU系统进行处理，得到预测结果，包括：将所述评估数据集经过所述NLU系统进行结果预测处理，得到第二预测结果；其中，所述将所述预测结果与预设结果进行比对，得到目标结果，包括：将所述第二预测结果与所述预设结果进行比对，得到所述预测结果中的错误结果和所述整体覆盖率中的至少一项。4.根据权利要求1所述的方法，其特征在于，所述在所述目标结果包括所述错误结果的情况下，从所述错误结果中确定目标错误结果的第一数量，并获取每一个所述目标错误结果对应的拓展错误结果的第二数量，包括：在所述目标结果包括所述错误结果的情况下，从所述错误结果中确定属于高优先级的目标错误结果的第一数量；将每一个所述目标错误结果中的目标关键字进行同类字替换，得到每一个所述目标错误结果对应的拓展错误结果的第二数量。5.根据权利要求4所述的方法，其特征在于，确定属于高优先级的目标错误结果的方式包括：若所述错误结果中的第一错误结果与对应的预设结果的相似度大于预设相似度，则确定所述第一错误结果属于高优先级的目标错误结果。6.一种自然语言理解系统的评估装置，其特征在于，包括：第一获取模块，用于获取评估数据集；第一处理模块，用于将所述评估数据集经...

【专利技术属性】
技术研发人员：王章定，朱亚杰，王波，魏德山，马伯睿，
申请(专利权)人：合众新能源汽车有限公司，
类型：发明
国别省市：