语音交互系统智商水平的评测方法、装置以及计算机设备制造方法及图纸

本发明专利技术涉及语音交互系统智商水平的评测方法、装置以及计算机设备，所述方法包括：获取测试问题，所述测试问题为语音问题；获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合；通过所述指令周期数确定所述语音交互系统智商水平的评测结果。本发明专利技术实施例解决了语音交互系统智商水平的评测结果可靠性低的问题，评测实现过程简单，评测结果更客观。

Evaluation method, device and computer equipment for IQ level of speech interaction system

The invention relates to a method, device and computer equipment for evaluating the intelligence quotient level of a voice interaction system. The method comprises acquiring a test problem, the test problem being a voice problem, acquiring the number of instruction cycles of the voice interaction system successfully responding to the test problem, and one instruction cycle being the voice interaction. A dialog round between the mutual system and the outside world; the IQ level of the voice interaction system is determined by the number of instruction cycles. The embodiment of the invention solves the problem of low reliability of the evaluation result of the intelligence quotient level of the voice interaction system, and the evaluation process is simple, and the evaluation result is more objective.

【技术实现步骤摘要】
语音交互系统智商水平的评测方法、装置以及计算机设备
本专利技术涉及评测
，特别是涉及语音交互系统智商水平的评测方法、装置、计算机设备和存储介质。
技术介绍
随着移动互联网技术与智能硬件设备的发展，人类已经不再满足于键盘输入和手写输入等人机交互方式，语音交互系统技术在电子信息、互联网、医疗、教育、办公等各个领域均得到了广泛应用，覆盖了智能语音输入系统、智能语音助手、智能音箱、车载语音系统、智能语音辅助医疗系统、智能口语评测系统、智能会议系统等产品。基于语音交互系统，能够让智能设备具有和人类一样的听识能力，同时将人类语言所表述的自然语义自动转换为计算机能理解和操作的结构化语义，并完成人机交互功能。对于语音交互系统的性能评测，行业内普遍的做法是，根据语音交互系统的识别结果与标准语音识别结果的匹配度评测。在实现本专利技术的过程中，专利技术人发现现有技术中存在如下问题，传统的性能评测方法，需预先构建测试问题库以及标准语音识别结果的数据库，由于数据库中样本的有限性，给定的标准语音识别结果无法考虑语言表达习惯、问题答案多样性、主观随意性等实际情况，导致语音交互系统智商水平(或称作理解能力、智能化程度等)的测评结果的可靠性不高。
技术实现思路
基于此，有必要针对现有方式对语音交互系统智商水平的测评结果的可靠性不高的问题，提供一种语音交互系统智商水平的评测方法、装置、计算机设备和存储介质。本专利技术实施例第一方面提供一种语音交互系统智商水平的评测方法，包括：获取测试问题，所述测试问题为语音问题；获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合；通过所述指令周期数确定所述语音交互系统智商水平的评测结果。在其中一个实施例中，所述通过所述指令周期数确定所述语音交互系统智商水平的评测结果，包括：通过所述指令周期数确定所述测试问题对应的指令周期成本；通过所述指令周期成本确定所述语音交互系统智商水平的评测结果。在其中一个实施例中，所述获取测试问题，包括：获取预设的多个测试问题；所述通过所述指令周期成本确定所述语音交互系统智商水平的评测结果，包括：根据所述多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果得分。在其中一个实施例中，，还包括：所述根据所述多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果得分，包括：获取所述多个测试问题各自对应的权重；根据所述多个测试问题各自对应的指令周期成本和权重，确定所述语音交互系统智商水平的评测结果得分。在其中一个实施例中，所述获取所述多个测试问题各自对应的权重，包括：获取所述多个测试问题各自对应的类型；获取各类型对应的权重，作为相应测试问题对应的权重。在其中一个实施例中，所述通过所述指令周期数确定所述测试问题对应的指令周期成本，包括：获取预设的周期数限值；通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成本。在其中一个实施例中，所述通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成本，包括：若所述指令周期数为N1，确定所述测试问题对应的指令周期成本为成本得分S1；若所述指令周期数为N2，确定所述测试问题对应的指令周期成本为成本得分S2；若所述指令周期数为N3，确定所述测试问题对应的指令周期成本为成本得分S3；或者，若所述指令周期数为N1，确定所述测试问题对应的指令周期成本为成本级别L1；若所述指令周期数为N2，确定所述测试问题对应的指令周期成本为成本级别L2；若所述指令周期数为N3，确定所述测试问题对应的指令周期成本为成本级别L3；其中，0<N1<N2<M≤N3，N1为预先设定的周期数，M表示周期数限值；S3<S2<S1，L1、L2、L3对应的级别依次递减。在其中一个实施例中，当所述指令周期数在N1和M之间时，随着所述指令周期数的递增，成本得分S2的取值递减。在其中一个实施例中，所述成本得分S2的取值递减包括：线性递减、指数衰减、对数衰减中至少一种。本专利技术实施例第二方面提供一种语音交互系统智商水平的评测装置，包括：问题获取模块，用于获取测试问题，所述测试问题为语音问题；周期计数模块，用于获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合；以及，结果确定模块，用于通过所述指令周期数确定所述语音交互系统智商水平的评测结果。本专利技术实施例第三方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述语音交互系统智商水平的评测方法。本专利技术实施例第四方面提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述语音交互系统智商水平的评测方法。实施本专利技术提供的实施例，基于预设的测试问题，获得语音交互系统成功响应所述测试问题的对话回合数量，该数据可反映指令周期成本，然后基于对话回合数量确定语音交互系统智商水平的评测结果；由于评估核心参照为语音交互系统成功响应所述测试问题的对话回合数量，因此能够兼容多种语言表达习惯、问题答案多样性、主观随意性等实际情况，有利于提高评测结果的可靠性。附图说明图1为一个实施例中语音交互系统智商水平的评测方法的应用环境图；图2为一实施例的语音交互系统智商水平的评测方法的示意性流程图；图3为另一实施例的语音交互系统智商水平的评测方法的示意性流程图；图4为一实施例的语音交互系统智商水平的评测装置的示意性结构图；图5为一个实施例中计算机设备的内部结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。本申请提供的语音交互系统智商水平的评测方法，可以应用于如图1所示的应用环境中。其中，智能终端102为设有语音交互系统的终端，例如，智能音箱、无人驾驶、智能语音助手等具有语音交互功能的终端。评测终端104用于对智能终端102的性能进行评测，在一实施例中，评测终端104能够输出语音信息，并根据智能终端102对该语音信息的响应情况，对智能终端102的语音交互系统的智商水平进行评测。在其他实施例中，输出语音信息的步骤，也可以由其他第三方终端或者用户执行。在一个实施例中，如图2所示，提供了一种语音交互系统智商水平的评测方法，以该方法应用于图1中的评测终端为例进行说明，包括以下步骤：S110，获取测试问题，所述测试问题为语音问题。其中，测试问题指的是需要向语音交互系统发出的语音信息，例如，“给XXX打电话”、“查询今天的天气”等。S120，获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系本文档来自技高网...

【技术保护点】
1.一种语音交互系统智商水平的评测方法，其特征在于，包括：获取测试问题，所述测试问题为语音问题；获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合；通过所述指令周期数确定所述语音交互系统智商水平的评测结果。

【技术特征摘要】
1.一种语音交互系统智商水平的评测方法，其特征在于，包括：获取测试问题，所述测试问题为语音问题；获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合；通过所述指令周期数确定所述语音交互系统智商水平的评测结果。2.根据权利要求1所述的方法，其特征在于，所述通过所述指令周期数确定所述语音交互系统智商水平的评测结果，包括：通过所述指令周期数确定所述测试问题对应的指令周期成本；通过所述指令周期成本确定所述语音交互系统智商水平的评测结果。3.根据权利要求2所述的方法，其特征在于，所述获取测试问题，包括：获取预设的多个测试问题；所述通过所述指令周期成本确定所述语音交互系统智商水平的评测结果，包括：根据所述多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果得分。4.根据权利要求3所述的方法，其特征在于，还包括：所述根据所述多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果得分，包括：获取所述多个测试问题各自对应的权重；根据所述多个测试问题各自对应的指令周期成本和权重，确定所述语音交互系统智商水平的评测结果。5.根据权利要求4所述的方法，其特征在于，所述获取所述多个测试问题各自对应的权重，包括：获取所述多个测试问题各自对应的类型；获取各类型对应的权重，作为相应测试问题对应的权重。6.根据权利要求2至5任一所述的方法，其特征在于，所述通过所述指令周期数确定所述测试问题对应的指令周期成本，包括：获取预设的周期数限值；通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成本。7.根据权利要求6所述的方法，其特征在于，所述通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成...

【专利技术属性】
技术研发人员：徐鹏飞，黄林轶，黄登甲，刘嘉祁，徐华伟，彭琦，刘群兴，
申请(专利权)人：中国电子产品可靠性与环境试验研究所工业和信息化部电子第五研究所中国赛宝实验室，
类型：发明
国别省市：广东,44