本发明专利技术公开了一种优化意图识别置信度阈值的方法、装置及存储介质，属于人机交互机器人领域。优化意图识别置信度阈值的方法，包括：设置n个阈值Ft，1<=t<=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。本发明专利技术解决了现有技术中的人工设置意图识别置信度阈值所依赖的个人感性经验，提升会话机器人的自然语言的理解能力，本发明专利技术可以实现自动定期更新阈值，且数据更合理，以使得对话机器人的意图识别准确度、识别率高。率高。率高。
【技术实现步骤摘要】
优化意图识别置信度阈值的方法、装置及存储介质
[0001]本专利技术涉及人机交互机器人领域，具体地说，涉及一种优化意图识别置信度阈值的方法、装置及存储介质。
技术介绍
[0002]人机对话机器人在使用过程中，会涉及到用户语言的意图识别。根据实现训练的模型，会对句子给出不同意图的置信度，当其高于特定阈值时，系统可明确该句子所表达的意图，低于阈值时，则进入意图不识别状态。阈值设置过低，会导致意图识别误差偏大，阈值设置过高，则会导致意图识别率过低。而且随时间、应用场景的变化，也会导致最初预设的表现良好的意图识别阈值不适合新环境。
[0003]如何自动定期更新、且更合理的阈值，以使得对话机器人意图识别准确度、识别率长期处于较优状态，是急需解决的技术问题。
技术实现思路
[0004]本申请提供一种优化意图识别置信度阈值的方法、装置及存储介质，以解决固定阈值导致意图识别准确度、识别率低的问题。
[0005]第一方面，本申请公开了一种优化意图识别置信度阈值的方法，包括：设置n个阈值Ft，1<=t<=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。
[0006]进一步的技术方案，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值包括以下步骤：步骤（1）：运行意图识别模型，记录每条人机会话内容、该会话内容的意图识别结果以及对应的意图识别置信度值Ctx；步骤（2）：判定用户实际意图与意图识别模型中的预设意图Ix是否一致，对人机会话结果进行以下分析：如果置信度值Ctx大于等于阈值Ft、且用户实际意图的确为预设意图Ix，则ix0=1，否则ix2=1；判定用户实际意图的方法：从日志中分析，本次会话中，用户是否按照预设的后续操作进行会话；如果置信度值Ctx小于阈值Ft、用户实际意图不是预设意图Ix，则ix1=1，否则ix1=0；判定用户实际意图的方法：从日志中分析，本次会话中，会话系统通过追问方式询问用户意图是否为Ix后，用户给予肯定回答或者后续人机交互按照既定故事基本操作进行，则判定用户实际意图为Ix；步骤（3）：通过公式（1）计算意图识别召回率，通过公式（2）计算准确率，进而计算整体效益值：
召回率（1）准确率（2）式中，ix0、ix1、ix2的默认值为0，当ix0=1时，表示阈值以上识别正确；ix1=1时，表示阈值以下识别正确；ix2=1时，表示阈值以上识别错误；整体效益值Bt=Rt*Pt。
[0007]进一步的技术方案，所述意图识别最优阈值Ftmax的确定方法如下：确定不同的阈值Ft中对应的整体效益值为最大值Bmax时，该阈值作为最优阈值Ftmax；其中，Bmax需满足如下条件：Bmax取值对应的召回率、准确率高于预先设置的最低值；且Bmax是满足前述情况下的各整体效益值Bt中的最大值。
[0008]第二方面，本申请提供一种优化意图识别置信度阈值的装置，该装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，该所述计算机程序被所述处理器执行时，实现如本申请中的一个或多个所述的优化意图识别置信度阈值方法的步骤。
[0009]第三方面，本申请提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如本申请中的一个或多个所述的优化意图识别置信度阈值方法的步骤。
[0010]有益效果1)本专利技术可周期性自动计算并更新意图识别置信度阈值，避免系统一次性设置阈值后，会话识别效果逐步退化情况发生，使系统持续保持较优状态。
[0011]2)本专利技术提出通过判定会话过程中，用户后续操作是否按照故事剧本进行，来推测当前意图识别是否正确，这种方法具有统计层面的正确性。使用该方法，无需人工介入，即可判断会话过程中系统做出的意图识别结果是否正确，使得通过程序自动化优化会话效果成为可能。
[0012]3)准确率公式中，以阈值以上识别准确数量及阈值以上识别错误数为分母，排除阈值以下识别正确及错误数对准确率的影响，可使准确率能更准确的反应阈值对正确性的影响。
[0013]4)本专利技术的整体效益值计算公式，整体效益值与意图召回率、意图识别准确率正相关，实现了不同置信度阈值下量化用户体验效果的目的。
[0014]5)本专利技术解决了人工设置意图识别置信度阈值所依赖的个人感性经验，提升会话机器人的理解自然语言能力，本专利技术可以实现自动定期更新阈值，且数据更合理，以使得对话机器人的意图识别准确度、识别率高。
附图说明
[0015]图1为本申请实施例提供的一种优化意图识别置信度阈值的方法的流程示意图；图2为本申请实施例提供的在实际应用中的阈值自动更新设置的示意图。
具体实施方式
[0016]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0017]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0018]本申请的应用场景：本申请可以应用于具有自动问答功能的客服机器人相关领域，比如自助查询、自助订单办理、客服服务等。
[0019]在客服机器人应用场景中，首先需要识别用户实际意图，方法是对用户语句进行分析，比较置信度是否大于某个阈值，判定用户实际意图与机器人系统的预设意图是否一致。而现有技术中的客服机器人的阈值设置都是人工输入固定的值，对阈值的优化也是凭人工的主观判断，缺乏科学合理的参考机制。而本专利技术可以自动化进行阈值优化，对客服机器人提供了可量化的优化方式。如图2所示，配置阈值时可以选择开启阈值自动更新设置。
[0020]实施例一图1为本申请实施例提供的一种优化意图识别置信度阈值的方法，如图1所示，该方法包括：设置n个阈值Ft，1<=t<=n，各阈值间隔为sp，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。
[0021]步骤（1）：运行意图识别模型，记录人机会话、会话过程中的意图识别结果以及对应的意图识别置信度值Ctx；步骤（2）：判定用户实际意图与意图识别本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.优化意图识别置信度阈值的方法，其特征在于，包括：设置n个阈值Ft，1<=t<=n，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值；将最大整体效益值对应的意图识别阈值Ft作为最优阈值Ftmax，并将意图识别置信度阈值设定为最优阈值Ftmax。2.根据权利要求1所述优化意图识别置信度阈值的方法，其特征在于，计算每个阈值Ft对应的意图识别召回率、准确率及整体效益值，包括以下步骤：步骤（1）：运行意图识别模型，记录人机会话、会话过程中的意图识别结果以及对应的意图识别置信度值Ctx；步骤（2）：判定用户实际意图与意图识别模型中的预设意图Ix是否一致，对人机会话结果进行以下分析：如果置信度值Ctx大于等于阈值Ft、且用户实际意图的确为预设意图Ix，则ix0=1，否则ix2=1；判定用户实际意图的方法：从日志中分析，本次会话中，用户是否按照预设的后续操作进行会话；如果置信度值Ctx小于阈值Ft、用户实际意图不是预设意图Ix，则ix1=1，否则ix1=0；判定用户实际意图的方法：从日志中分析，本次会话中，会话系统通过追问方式询问用户意图是否为Ix后，用户给予肯定回答或者后续人机交互按照既定故事基本操作进行，则判定用户...
【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：南京山猫齐动信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。