一种基于语音交互的智能家电智能化水平测试系统及方法技术方案

本发明专利技术公开了一种基于语音交互的智能家电智能化水平测试系统，包括硬件系统、算法系统和软件系统三大模块；所述硬件系统用于自主导航，依据软件系统提供的测试方案进行指令集播放、录取智能家电状态视频传回软件系统，所述算法系统用于提供语音合成算法、冰箱响应视频音频自动提取算法、冰箱动作识别算法、视频识别算法、语音识别算法，所述软件系统用于用户管理、设置语音指令集管理、测试方案设置及调用相关算法对智能家电的响应视频音频进行自动分析并生成测试报告。测试场景覆盖全面，采用自动化方式进行测试，测试过程可复现，可对不同类型或相同类型的多个产品进行测试结果对比，进而给出不同家电的智能化水平。进而给出不同家电的智能化水平。进而给出不同家电的智能化水平。

【技术实现步骤摘要】
一种基于语音交互的智能家电智能化水平测试系统及方法


[0001]本专利技术涉及智能家电领域，具体涉及一种基于语音交互的智能家电智能化水平测试系统及方法。

技术介绍

[0002]随着人工智能技术的发展，语音交互技术的应用已从智能电视、空调、冰箱扩展到了热水器、扫地机器人、净化器、浴霸等各种家电和家居的品类上，已成为家电智能化发展的必然趋势。但在语音交互功能快速发展的同时，却鲜有人考虑其最终的实现效果，适用于智能家电语音交互效果评价的自动化测试系统少之又少，与当前语音交互技术的发展严重不配，用户普遍反映智能家电的语音交互体验感差。
[0003]目前中国家电研究院及各大厂商仍然采用人工的方法对智能家电的语音交互功能进行测试，然而人工方式存在以下缺陷：第一，由于人为主观性，将会带来例如语音播报内容不一致、语音响度(分贝量)不一致等问题，即缺乏标准性；第二，人工测试无法定量地记录测试过程中的完整信息，且后续不好进行测试效果的复检；第三，面对众多的家电种类和各式各样的家电型号，完成所有的测试工作将要投入大量的人力成本、时间成本，同时还存在着劳动强度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语音交互的智能家电智能化水平测试系统，其特征是：包括硬件系统、算法系统和软件系统三大模块；所述硬件系统用于自主导航，依据软件系统提供的测试方案进行指令集播放、录取智能家电状态视频传回软件系统，包括语音机器人、摄像机、计算机和噪声源；所述语音机器人用来替代人实现对待测家电智能水平的自动化测试工作；所述摄像机设有两个，一个安装在冰箱门上，录制智能冰箱的视频响应情况，另一个固定在地面上录制冰箱的动作响应及冰箱的响应音频，并将录制的视频传回软件系统；所述计算机用作软件系统、算法系统的实现载体和冰箱响应视频、音频及测试结果的存储器，计算机借助无线局域网，通过TCPIP协议与语音机器人进行通讯，向语音机器人工控机发送测试信息并接收语音机器人的测试状态反馈，计算机和所述摄像机通过USB接口有线连接，语音机器人根据工作状态向计算机发送摄像机启停信号，计算机接收信号并完成相应动作；所述算法系统用于提供语音合成算法、冰箱响应视频音频自动提取算法、冰箱动作识别算法、视频识别算法、语音识别算法；所述语音合成算法可根据文本指令自动生成不同性别、不同年龄段、不同地域口音类型的音频文件，调用语音合成算法代替人工录制；所述冰箱响应视频音频自动提取算法对录制的语音机器人播放的音频与冰箱的响应音频视频进行自动切分，首先，对语音指令集进行右对齐操作，每条语音指令均处理成统一时长，对于时长不够的语音指令，左补静音帧；然后，通过实验测得每条语音指令对应的标答时长，对于某一固定点位，音频/视频的组成为：音频/视频总时长＝语音指令1播放时长+语音指令1响应时长+语音指令2播放时长+语音指令2响应时长+
……
；测试过程中记录每个点位语音指令集播放的开始时刻，并根据语音机器人发送的指令集编号分别读取每条指令对应的播放时长及该指令的响应时间,根据语音指令播放开始时刻、语音指令播放时长、冰箱响应时长自动提取冰箱的响应视频音频；所述冰箱语音识别算法、视频识别算法和动作识别算法分别以冰箱的响应音频、响应视频为输入对智能家电的响应进行自动分析，输出冰箱对语音指令的响应，并生成每个测试点位的测试报告及整体测试的测试报告，语音识别算法将提取的冰箱的响应音频作为输入，将音频转换成文本，冰箱对语音指令进行响应时会同步将响应内容显示在冰箱自带的显示屏上，视频识别算法主要对显示屏文字进行检测,先采用基于颜色及像素聚类的方法检测文本区域，再用tesseract算法对文本区域中的文字进行识别，最后输出检测结果；动作识别算法旨在判断冰箱能否按照指令内容打开对应冰箱门，按照一定的步长K从冰箱的响应视频中抽取图像，得到图像集I，利用logistics regression对图像集进行分类，输出冰箱门开关状态。最后，将各个算法的输出分别与冰箱标答进行比对，若单个场景下冰箱对语音指令响应的成功次数≥系统设定的单个场景成功阈值，则判定冰箱对并对该指令的响应为“成功”，否则为“失败”；若成功场景次数/总场景次数≥总体测试成功阈值，则判定冰箱对该指令的总体测试为“成功”，否则为“失败”；所述软件系统用于用户管理、设置语音指令集管理、测试方案设置及调用相关算法对智能家电的响应视频音频进行自动分析并生成测试报告，包括用户模块、家电模块、语音指令模块及测试模块，并将各功能点在用户界面显示；用户管理模块通过个人基本信息添加管理员及子管理员，管理员具有所有权限，子管理员具有除家电类型管理及删除权限外的所有权限，家电模块展示当前系统可以直接进行测试的家电类型，查看对应家电的语音指令集，可新增家电类型及删除已有家电类型；语音指令集模块可直接上传集内集外语音指
令或通过调用语音合成算法将指令文本作为输入生成语音指令；测试模块主要包括测试方案设置、测试结果数据自动处理、测试报告生成，选择家电品类新建测试，在用户界面选择测试点位、手动输入升降杆高度、选择需要测试的语音指令及语音指令声压级、信噪比、口音、性别、语速、噪声种类，并将上述变量传递给语音机器人，在本测试方案中，单个测试点位为一个测试场景，测试人员可在用户界面上人工输入每个场景播放测试集的次数、每个场景成功阈值,即每个场景下成功多少次记为本场景识别成功、每次测试总体成功阈值,即成功场景次数/总场景次数≥N时记为总体“成功”，设置完毕后软件系统向语音机器人发送开始测试指令,测试模块还包括测试数据的自...

【专利技术属性】
技术研发人员：胡清华，焦利敏，朱鹏飞，李红伟，曲宗峰，郑爽，
申请(专利权)人：中国家用电器研究院，
类型：发明
国别省市：