用于全双工语音交互系统的测试方法及系统技术方案

本发明专利技术实施例提供一种用于全双工语音交互系统的测试方法。该方法包括：将和测试场景相关的有效语料集与和测试场景无关的无效语料集混合，确定场景混合语料集；向搭载全双工语音交互系统的待测试语音交互设备播放场景混合语料集内各个语料音频；获取待测试语音交互设备的工作日志，工作日志至少包括第一日志和第二日志；通过统计第二日志中预期不应输出响应决策结果而实际收到响应决策结果的日志条数，得到误响应次数，基于误响应次数与播放的语料音频的总数，确定误响应率。本发明专利技术实施例还提供一种用于全双工语音交互系统的测试系统。本发明专利技术实施例实现了全双工语音交互系统的端到端的测试，准确得出针对于全双工独有特性的指标。性的指标。性的指标。

【技术实现步骤摘要】
用于全双工语音交互系统的测试方法及系统


[0001]本专利技术涉及智能语音领域，尤其涉及一种用于全双工语音交互系统的测试方法及系统。

技术介绍

[0002]为了测试语音交互系统的性能，可以对语音交互链路上各个模块进行独立测试。例如，通过唤醒/信号处理模块，测试唤醒率、唤醒时间、功耗等；通过语音识别模块，测试句错率、字错率；通过语义理解模块，测试准确率、召回率、解析准确率；基于多人主观评价对语音合成模块打分。现有绝大部分的语音交互系统使用半双工交互。在半双工交互中，各个模块之间有绝对有序的依赖关系，整个系统通过串行调用各个模块即可完成交互。在这种情况下，按模块独立测试是能满足要求的。
[0003]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0004]由于模块独立测试，测试指标各异，缺乏对整体语音交互系统的测试方法和评价指标。在全双工系统等多个模块融合决策的复杂系统中，各模块的指标已不能满足评价的需求。例如，对于半双工对话来说，用户每说一句话，半双工语音交互系统都是会进行响应的。而全双工语音交互系统只有有效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于全双工语音交互系统的测试方法，包括：将和测试场景相关的有效语料集与和测试场景无关的无效语料集混合，确定场景混合语料集；向搭载所述全双工语音交互系统的待测试语音交互设备播放所述场景混合语料集内各个语料音频；获取所述待测试语音交互设备的工作日志，所述工作日志至少包括第一日志和第二日志，其中，-所述第一日志记录有针对各个语料音频所识别的有效/无效属性以及对应的语料文本，-所述第二日志记录有针对有各个语料音频的决策结果，所述决策包括响应和丢弃；基于所述第一日志中的无效语料音频的数量、所述第二日志中的丢弃结果数量确定拒识率；通过统计所述第二日志中预期不应输出响应决策结果而实际收到响应决策结果的日志条数，得到误响应次数，基于所述误响应次数与播放的语料音频的总数，确定误响应率。2.根据权利要求1所述的方法，其中，所述工作日志至少包括第三日志；-所述第三日志记录有针对各个语料音频的交互结果，其中，所述交互结果包括：所述语料音频的待播报文本、所述语料音频的设备动作指令；通过所述第一日志中各个语料音频的语料文本确定对应的预期待播报文本以及预期设备动作指令；当所述各个语料音频的交互结果内的所述待播报文本与对应的预期待播报文本相符，并且所述设备动作指令与对应的预期设备动作指令相符时，所述交互结果符合预期；通过统计所述第三日志中符合预期的交互结果的日志条数，得到交互成功次数，基于所述交互成功次数与播放的语料音频的总数，确定交互成功率。3.根据权利要求2所述的方法，其中，所述第三日志记录有针对各个语料音频的交互结果，所述交互结果还包括：所述语料音频的识别结果；基于所述第一日志中各个语料音频的语料文本与所述语料音频的识别结果，确定识别字准率以及识别句准率。4.根据权利要求1所述的方法，其中，所述工作日志至少包括第四日志、第五日志；-所述第四日志记录有针对有各个语料音频结束播放的第一时间戳；-所述第五日志记录有针对有各个语料音频结束播放后确定识别结果的第二时间戳；基于所述第二时间戳与所述第一时间戳的时间差确定所述待测试语音交互设备的识别响应时间。5.根据权利要求4所述的方法，其中，所述工作日志至少包括第六日志；-所述第六日志记录有确定针对各个语料音频的交互结果时刻的第三时间戳；基于所述第三时间...

【专利技术属性】
技术研发人员：石韡斯，樊帅，宋洪博，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：