用于评测会话机器人智能的方法及设备技术

本发明专利技术的实施方式提供了一种用于评测会话机器人智能的方法。该用于评测会话机器人智能的方法包括：根据会话机器人的配置信息确定配置指标的配置质量；其中，上述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注及表达配置信息的服务触发中的至少一个。本发明专利技术的实施方式通过设置衡量会话机器人的智能程度的配置指标，使本发明专利技术可以基于会话机器人的配置信息客观的认知会话机器人的智能水平，从而有利于提升会话机器人的智能水平。此外，本发明专利技术的实施方式还提供了一种用于评测会话机器人智能的设备以及计算机可读存储介质。

【技术实现步骤摘要】
用于评测会话机器人智能的方法及设备
本专利技术的实施方式涉及机器人领域，更具体地，本专利技术的实施方式涉及用于评测会话机器人智能的方法、用于评测会话机器人智能的设备以及计算机可读存储介质。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或者上下文。此处的描述不因为包括在本部分中就承认是现有技术。会话机器人可以通过识别用户的意图而为用户提供相应的服务，如会话机器人根据用户的意图为用户提供音乐播放服务以及问题解答服务等。目前，已经出现了会话机器人开发平台，会话机器人开发者可以通过在会话机器人开发平台上进行相应的信息配置从而方便快捷的生成会话机器人；利用会话机器人开发平台所生成的会话机器人的智能水平在很大程度上依赖于会话机器人开发者的技能，如何对会话机器人的智能水平进行客观的认知，以便于提升会话机器人的智能水平，是一个值得关注的技术问题。
技术实现思路
但是，出于目前会话机器人的开发过程与开发者的开发习惯以及主观认知等相关，且现有技术并未存在一种对会话机器人的智能水平进行客观评测的技术方案等原因，使会话机器人的智能水平依赖于开发者的开发水平，从而使不同的会话机器人的智能水平存在较大差异。因此在现有技术中，会话机器人的智能水平无法被客观的认知，且这种状况不利于提升会话机器人的智能水平，这是非常令人烦恼的过程。为此，非常需要一种现实且便捷可行的用于评测会话机器人智能的技术方案，以使会话机器人的智能水平能够被会话机器人的开发者等相关人员客观认知，以对会话机器人的智能水平进行相应的提升。在本上下文中，本专利技术的实施方式期望提供一种用于评测会话机器人智能的方法、设备以及计算机可读存储介质。在本专利技术实施方式的第一方面中，提供了一种用于评测会话机器人智能的方法，该方法包括：根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。在本专利技术的一个实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或，根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或，根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。在本专利技术的另一实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中的意图与其对应的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量；和/或，根据会话机器人的配置信息中的对应不同意图的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量。在本专利技术的又一个实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中的表达实体标注的正确程度确定会话机器人的表达配置信息的实体标注的配置质量；和/或，根据会话机器人的配置信息中的表达实体标注的数量确定会话机器人的表达配置信息的实体标注的配置质量。在本专利技术的再一个实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中未曾触发服务的表达配置信息确定会话机器人的表达配置信息的服务触发的配置质量。在本专利技术的再一个实施例中，该方法还包括步骤：针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。在本专利技术的再一个实施例中，该所述方法还包括下述步骤：针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将所述选取的配置信息作为用于更新所述降低配置指标的配置质量的配置信息的选项输出；在接收到针对所述选项的更新确认信息后，根据所述更新确认信息对应的选项对所述降低配置指标的配置质量的配置信息进行维护。在本专利技术实施方式的第二方面中，提供了一种用于评测会话机器人智能的设备，包括：确定配置质量模块，配置用于根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。在本专利技术的一个实施例中，该确定配置质量模块包括：第一质量子模块，配置用于根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或，第二质量子模块，配置用于根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或，第三质量子模块，配置用于根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。在本专利技术的一个实施例中，该确定配置质量模块包括：第四质量子模块，配置用于根据会话机器人的配置信息中的意图与其对应的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量；和/或，第五质量子模块，配置用于根据会话机器人的配置信息中的对应不同意图的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量。在本专利技术的一个实施例中，该确定配置质量模块包括：第六质量子模块，配置用于根据会话机器人的配置信息中的表达实体标注的正确程度确定会话机器人的表达配置信息的实体标注的配置质量；和/或，第七质量子模块，配置用于根据会话机器人的配置信息中的表达实体标注的数量确定会话机器人的表达配置信息的实体标注的配置质量。在本专利技术的一个实施例中，该所述确定配置质量模块包括：第八质量子模块，配置用于根据会话机器人的配置信息中未曾触发服务的表达配置信息确定会话机器人的表达配置信息的服务触发的配置质量。在本专利技术的一个实施例中，该设备还包括：问题提示模块，配置用于针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。在本专利技术的一个实施例中，该设备还包括：优化提示模块，配置用于针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将所述选取的配置信息作为用于更新所述降低配置指标的配置质量的配置信息的选项输出；优化维护模块，配置用于在接收到针对所述选项的更新确认信息后，根据所述更新确认信息对应的选项对所述降低配置指标的配置质量的配置信息进行维护。在本专利技术实施方式的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述步骤：根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。根据本专利技术实施方式的用于评测会话机器人智能的方法、用于评测会话机器人智能的设备以及计算机可读存储介质，通过将表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注以及表达配置信息的服务触发中的至少一个作为衡量会话机器人的智能程度的配置指标，并确定出会话机器人的配置信息中的相关配置指标的配置质量，由于本专利技术的专利技术人本文档来自技高网...

【技术保护点】
一种方法，包括：根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。

【技术特征摘要】
1.一种方法，包括：根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。2.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。3.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中的意图与其对应的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量；和/或根据会话机器人的配置信息中的对应不同意图的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量。4.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中的表达实体标注的正确程度确定会话机器人的表达配置信息的实体标注的配置质量；和/或根据会话机器人的配置信息中的表达实体标注的数量确定会话机器人的表达配置信息的实体标...

【专利技术属性】
技术研发人员：刘锐，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33