语音设备的测试方法和装置、存储介质制造方法及图纸

本申请公开了一种语音设备的测试方法和装置、存储介质，涉及智慧家庭技术领域，该语音设备的测试方法包括：在移动终端安装测试应用的情况下，通过测试应用调用移动终端与语音设备连接的识别接口，使用识别接口唤醒语音设备；在通过识别接口成功唤醒语音设备的情况下，测试应用从物联网云端确定语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将测试音频传输至语音设备，得到语音设备反馈的识别结果；比较识别结果与预期结果，以确定语音设备的交互功能是否正常，可以解决现有技术中对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题。且人工识别结果耗时较多等问题。且人工识别结果耗时较多等问题。

【技术实现步骤摘要】
语音设备的测试方法和装置、存储介质


[0001]本申请涉及智慧家庭领域，具体而言，涉及一种语音设备的测试方法和装置、存储介质。

技术介绍

[0002]在现有技术中，手机中的智能语音往往需要支持成千上百的交互语料，来保证能更多的覆盖用户日常交互使用的技能和功能，从而在手机智能语音测试时，往往采用自动化方式来实现成千上百的语料交互。但目前设备的语音交互测试过程中，每次唤醒语音设备，都需要人工输入语料进行交互，当交互结果在云端后台产生后，需要人工在云端后台针对每条语料进行一一核对测试结果，该测试方法无法针对成千上百的测试语料进行全面覆盖测试，且核对测试结果耗时较长。
[0003]针对相关技术中，对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题，尚未提出有效的技术方案。

技术实现思路

[0004]本专利技术实施例提供了一种语音设备的测试方法及装置、存储介质，以至少解决相关技术中，对于语音设备的交互测试覆盖范围有限，且人工识别结果耗时较多等问题。
[0005]根据本专利技术的一个实施例，提供了一种语音设备的测试方法，包括：在移动终端安装测试应用的情况下，通过测试应用调用移动终端与语音设备连接的识别接口，使用识别接口唤醒语音设备；在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从所述物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将测试音频传输至语音设备，得到语音设备反馈的识别结果；比较识别结果与预期结果，以确定语音设备的交互功能是否正常。
[0006]在一个示例性实施例中，比较识别结果与预期结果，以确定语音设备的交互功能是否正常，包括：根据预设维度将识别结果划分为多个维度分别比较；其中，预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；确定测试音频对应的预期结果，其中，预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度；根据至少一个相似度确定语音设备的交互功能是否正常。
[0007]在一个示例性实施例中，比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度，包括：在识别结果与预期结果的比较维度为语料的情况下，确定识别结果对应语料的第一文本与预期结果对应语料的第二文本的差异，并得到第一相似度，其中，第一相似为第一文本与第二文本相同的语料在第一文本中的占比；在识别结果与预期结果的比较维度为语料的分类的情况下，确定识别结果对应第一解析数据与预期结果对应的第二解析数据的差异，并得到第二相似度，其中，第二相似为第一解析数据中除去与第二解析数据中不同的解析数据的剩余数据在第一解析数据中的占比；在识别结果与预期
结果的比较维度为意图的情况下，确定识别结果对应第一意图与预期结果对应的第二意图是否相同，并得到第三相似度；在识别结果与预期结果的比较维度为回复信息的情况下，确定识别结果对应第一回复信息与预期结果对应第二回复信息的差异，并得到第四相似度，其中，第四相似为第一回复信息与第二回复信息相同的语料在第一文本中的占比。
[0008]在一个示例性实施例中，根据至少一个相似度确定语音设备的交互功能是否正常，包括：在确定存在第一比较结果的情况下，确定所述语音设备交互功能正常，其中，所述第一比较结果包括:所述第一相似度大于或等于第一目标相似度、所述第二相似度大于或等于第二目标相似度、所述第三相似度大于或等于第三目标相似度和所述第四相似度大于或等于第四目标相似度中的至少一个。
[0009]在一个示例性实施例中，在确定存在第二比较结果的情况下，确定所述语音设备交互功能非正常，其中，所述第二比较结果包括所述第一相似度小于第一目标相似度、所述第二相似度小于第二目标相似度、所述第三相似度小于第三目标相似度和所述第四相似度小于第四目标相似度中的至少一个。
[0010]在一个示例性实施例中，在第五相似小于预设相似度阈值的情况下，确定语音设备交互功能非正常之后，上述方法还包括：确定第一相似度与第一目标相似度的第一差值；以及确定第二相似度与第二目标相似度的第二差值；以及确定第三相似度与第三目标相似度的第三差值；以及确定第四相似度与第四目标相似度的第四差值；从第一差值、第二差值、第三差值、第四差值中选择出最小值，将最小值指示的维度对应的测试音频在语音设备上重新测试。
[0011]在一个示例性实施例中，确定所述语音设备交互功能非正常之后，所述方法还包括：根据所述第二比较结果从所述第一相似度、所述第二相似度、所述第三相似度、所述第四相似度中确定至少一个异常相似度，所述异常相似度小于对应的目标相似度；根据所述异常相似度确定存在异常的比较维度；根据所述异常的比较维度确定所述语音设备的交互功能非正常对应的目标模块，其中，所述目标模块包括以下至少之一：语音识别模块、语义解析模块、语音交互模块。
[0012]在一个示例性实施例中，比较识别结果与预期结果，以确定语音设备的交互功能是否正常之后，上述方法还包括：在确定语音设备交互功能正常的情况下，将识别结果与语音设备对应的设备标识进行绑定；在测试应用中语音设备对应的测试记录中添加交互测试正常的测试信息。
[0013]在一个示例性实施例中，在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从所述物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频，包括：获取所述物联网云端在预设周期内采集的语料数据；通过预设的数据类型从所述语料数据筛选出用于测试的目标语料数据；对所述目标语料数据进行转换处理，生成用于测试所述语音设备的测试音频。
[0014]根据本专利技术的另一个实施例，提供了一种语音设备的测试装置，包括：唤醒模块，用于在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；确定模块，用于在移动终端已成功连接物联网云端的情况下，从物联网云端确定语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；测试模块，用于将所述测试音频传输至所述语音设备，得到
所述语音设备反馈的识别结果；比较模块，用于比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。
[0015]在一个示例性实施例中，上述比较模块，还用于根据预设维度将识别结果划分为多个维度分别比较；其中，预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；确定测试音频对应的预期结果，其中，预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；比较多个维度中每一个维度的识别结果与预期结果的相似度，得到至少一个相似度；根据至少一个相似度确定语音设备的交互功能是否正常。
[0016]在一个示例性实施例中，上述比较模块，还用于在识别结果与预期结果的比较维度为语料的情况下，确定识别结果对应语料的第一文本与预期结果对应语料的第二文本的差异，并得到第一相似度，其中，第一相似为第一文本与第二文本相同的语料在第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音设备的测试方法，其特征在于，包括：在移动终端安装测试应用的情况下，通过所述测试应用调用所述移动终端与所述语音设备连接的识别接口，使用所述识别接口唤醒所述语音设备；在通过所述识别接口成功唤醒所述语音设备的情况下，所述测试应用从物联网云端确定所述语音设备对应待测试的语料数据，并根据所述语料数据确定测试音频；将所述测试音频传输至所述语音设备，得到所述语音设备反馈的识别结果；比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常。2.根据权利要求1所述的语音设备的测试方法，其特征在于，比较所述识别结果与预期结果，以确定所述语音设备的交互功能是否正常，包括：根据预设维度将所述识别结果划分为多个维度分别比较；其中，所述预设维度包括以下至少之一：语料、语料的分类、交互意图、回复信息；确定所述测试音频对应的预期结果，其中，所述预期结果为物联网云端对完成采集语料数据进行处理得到参考数据；比较所述多个维度中每一个维度的识别结果与所述预期结果的相似度，得到至少一个相似度；根据所述至少一个相似度确定所述语音设备的交互功能是否正常。3.根据权利要求2所述语音设备的测试方法，其特征在于，比较所述多个维度中每一个维度的识别结果与所述预期结果的相似度，得到至少一个相似度，包括以下步骤中的至少一个：在所述识别结果与所述预期结果的比较维度为语料的情况下，确定所述识别结果对应语料的第一文本与所述预期结果对应语料的第二文本的差异，并得到第一相似度，其中，所述第一相似为所述第一文本与第二文本相同的语料在所述第一文本中的占比；在所述识别结果与所述预期结果的比较维度为语料的分类的情况下，确定所述识别结果对应第一解析数据与所述预期结果对应的第二解析数据的差异，并得到第二相似度，其中，所述第二相似为所述第一解析数据中除去与所述第二解析数据中不同的解析数据的剩余数据在所述第一解析数据中的占比；在所述识别结果与所述预期结果的比较维度为意图的情况下，确定所述识别结果对应第一意图与所述预期结果对应的第二意图是否相同，并得到第三相似度；在所述识别结果与所述预期结果的比较维度为回复信息的情况下，确定所述识别结果对应第一回复信息与所述预期结果对应第二回复信息的差异，并得到第四相似度，其中，所述第四相似为所述第一回复信息与第二回复信息相同的语料在所述第一文本中的占比。4.根据权利要求3所述语音设备的测试方法，其特征在于，根据所述至少一个相似度确定所述语音设备的交互功能是否正常，包括：在确定存在第一比较结果的情况下，确定所述语音设备交互功能正常，其中，所述第一比较结果包括:所述第一相似度大于或等于第一目标相似度、所述第二相似度大于或等于第二目标相似度、所述第三相似度大于或等于第三目标相似度和所述第...

【专利技术属性】
技术研发人员：李晶晶，
申请(专利权)人：海尔智家股份有限公司，
类型：发明
国别省市：