一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调技术

本发明专利技术提供了一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调，通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则通过语音传感器检测语音信息并判断是否为控制指令，若判断语音为控制指令则进行声源定位判断发声位置是否与人物位置重合,若判断为位置重合,则唤醒对应的智能家电。智能家电结合图像识别技术，通过图像识别检测用户的特征信息，并进行声源定位，判别用户控制家电并简化语音控制唤醒及目标指代指令，提升了用户的无感交互体验，语音交互更流程自然。

A vision based wake-up free speech recognition method, computer readable storage medium and air conditioning

【技术实现步骤摘要】
一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调
本专利技术涉及语音唤醒
，具体涉及一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调。
技术介绍
目前随着人工智能领域的迅速发展以及人们对智能监控、智能家居及新型人机交互的需求日益提升。目前市面上的智能语音音箱已经遍地开花，语音交互技术已经较为成熟，语音交互应用于家电产品也逐渐增多，如语音空调。基于图像无感交互技术在家电行业的应用也渐渐地出现，图像技术结合语音控制的控制迎来新的机遇。通常我们控制语音空调（或语音智能设备），每次发出语音控制指令之前都需要进行先唤醒的操作，发出语音唤醒词控制指令，待唤醒后才开始控制指令的识别操作，每次操作都需要唤醒。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于视觉的免唤醒语音识别方法，通过结合图像识别技术进行免唤醒直接语音空调，提升用户的交互体验。为实现上述目的，本专利技术采用如下技术方案：一种基于视觉的免唤醒语音识别方法，通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则通过语音传感器检测语音信息并判断是否为控制指令，若判断语音为控制指令则进行声源定位判断发声位置是否与人物位置重合,若判断为位置重合,则唤醒对应的智能家电。智能家电结合图像识别技术，通过图像识别检测用户的特征信息，并进行声源定位，判别用户控制家电并简化语音控制唤醒及目标指代指令，提升了用户的无感交互体验，语音交互更流程自然。进一步的，所述通过视觉传感器实时检测当前环境的人物人体信息具体为：通过双目摄像头实时检测可视区域人物脸部和头部的动态信息，脸部的动态信息具体包括眼睛状态信息和嘴部动态信息。通过检测的眼睛状态信息和嘴部动态信息可以直观直接反映用户当前的意图，提高判断的准确率，降低误唤醒的几率。进一步的，所述利用神经网络算法分析判断人物是否有意启动对应的智能家电具体为：检测并识别人物头部方向和仰角、脸部的方向和仰角、瞳孔眼珠占位比，通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电；若用户是在注视目标智能家电，则判断人物嘴部是否处于运动发声状态，若人物嘴部处于运动发声状态，则判断人物有意启动目标智能家电。先通过头部和脸部的信息判断是否处于注视智能家电状态，再检测嘴部动作进入唤醒操作，双目摄像头检测到人脸时即刻开启检测嘴部状态，通过循环记忆神经网络匹配算法模型识别嘴部动作，使得设备能够更准确地识别到用户将要控制设备，进入免唤醒，降低误判率。进一步的，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：将获取到的人物脸部图像进行平滑去噪预处理，再进行图像特征提取，将图像信息通过模板分类器处理，与预设正脸图像进行算法比对处理，判断人脸图像偏置角度是否满足上下左右偏置角度在正负y°以内，若满足则确定用户正在注视目标智能家电，其中y为预设角度值。设置的图像偏置角度可以有效解决了图像正脸识别的识别率问题，有效地避免高误识别率问题，提高识别率。进一步的，所述进行声源定位判断发声位置是否与人物位置重合具体为：若检测发声位置与人物位置不重合，则判断检测到的语音是否为语音唤醒词，若判断为语音唤醒词，则唤醒对应的智能家电；若判断不是语音唤醒词，则不唤醒智能家电。通过声源定位和语音唤醒词的结合提供了唤醒的双层保证，避免由于位置的问题导致唤醒失败，提高了正确唤醒的准确率。进一步的，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：若判断人物未注视目标智能家电，则结束唤醒过程。当用户未注视目标智能家电，表明其没有唤醒智能家电的意图，这时候就不用进行下一步的判断，直接结束唤醒，避免造成误唤醒的情况发生。进一步的，所述判断人物嘴部是否处于运动发声状态具体为：若判断人物嘴部处于闭合状态，则结束唤醒过程。在用户注视目标智能家电的基础上，若人物嘴部处于闭合说明用户也没有唤醒智能家电的意图，两步的判断确保了唤醒的精确。进一步的，所述通过语音传感器检测语音信息并判断是否为控制指令具体为：若判断检测到的语音不是控制指令，则结束唤醒过程。对检测到的语音进行精确的分析判断，可以有效提高识别率。一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器调用时实现以上任一项所述的基于视觉的免唤醒语音识别方法。一种空调，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器调用时实现以上任一项所述的基于视觉的免唤醒语音识别方法。本专利技术提供的一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调的有益效果在于：智能家电结合图像识别技术，通过图像识别检测用户的特征信息，并进行声源定位，判别用户控制家电并简化语音控制唤醒及目标指代指令，使得家电能够更准确地识别到用户将要控制家电，进入免唤醒，降低误判率，提升了用户的无感交互体验，语音交互更流畅自然。附图说明图1为本专利技术流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本专利技术的保护范围。实施例1：一种基于视觉的免唤醒语音识别方法。如图1所示，一种基于视觉的免唤醒语音识别方法，应用家电具体为语音空调，具体步骤如下：S1，语音空调配置双目摄像头，双目摄像头能有效避免静态图片，摄像头实时检测可视区域用户脸和头部的动态，识别用户双眼聚焦位置是否对应家电，摄像头迅速检测并识别用户的头部和脸部的方向和仰角、瞳孔眼珠占位比，通过深度学习循环神经网络识别判断用户是否正在注视某一目标家电；具体为将获取到的人物脸部图像进行平滑去噪预处理，再进行图像特征提取，将图像信息通过模板分类器处理，与预设正脸图像进行算法比对处理，判断人脸图像偏置角度是否满足上下左右偏置角度在正负5°以内，若满足则确定用户正在注视目标智能家电；S2,若用户是在注视目标家电，则判断用户嘴巴是否处于运动发声状态；S3，若判断人物未注视目标智能家电，则结束唤醒过程；S4，若嘴巴属于运动发声状态，则采集当前时段声音信息，语音识别模块获取该声音信息是否对应有效的控制指令；S5,若判断人物嘴部处于闭合状态，则结束唤醒过程；S6，当识别到语音控制指令后判断该指令对应的声源位置信息是否与当前目标用户重合；如果重合则可以判断当前音源位置用户注视目标家电发出控制指令，从而实现了对目标免唤醒免目标指定的控制操作；S7，若判断检测到的语音不是控制指令，则结束唤醒过程；S8，若检测发声位置与人物位置不重合，则判断检测到的语音是否为语音唤醒词，若判断为语音唤醒词，则唤醒对应的智能家电；若判断不是语音唤醒词，则不唤醒智能家电。本实施例中，先通过头部本文档来自技高网...

【技术保护点】
1.一种基于视觉的免唤醒语音识别方法，其特征在于,通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则通过语音传感器检测语音信息并判断是否为控制指令，若判断语音为控制指令则进行声源定位判断发声位置是否与人物位置重合,若判断为位置重合,则唤醒对应的智能家电。/n

【技术特征摘要】
1.一种基于视觉的免唤醒语音识别方法，其特征在于,通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则通过语音传感器检测语音信息并判断是否为控制指令，若判断语音为控制指令则进行声源定位判断发声位置是否与人物位置重合,若判断为位置重合,则唤醒对应的智能家电。


2.如权利要求1所述的基于视觉的免唤醒语音识别方法，其特征在于，所述通过视觉传感器实时检测当前环境的人物人体信息具体为：通过双目摄像头实时检测可视区域人物脸部和头部的动态信息，脸部的动态信息具体包括眼睛状态信息和嘴部动态信息。


3.如权利要求2所述的基于视觉的免唤醒语音识别方法，其特征在于，所述利用神经网络算法分析判断人物是否有意启动对应的智能家电具体为：检测并识别人物头部方向和仰角、脸部的方向和仰角、瞳孔眼珠占位比，通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电；若用户是在注视目标智能家电，则判断人物嘴部是否处于运动发声状态，若人物嘴部处于运动发声状态，则判断人物有意启动目标智能家电。


4.如权利要求3所述的基于视觉的免唤醒语音识别方法，其特征在于，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：将获取到的人物脸部图像进行平滑去噪预处理，再进行图像特征提取，将图像信息通过模板分类器处理，与预设正脸图像进行算法比对处理，判断人脸图像偏置角度是否满足上下左右...

【专利技术属性】
技术研发人员：李保水，王子，廖湖锋，王慧君，梁博，郑文成，廖海霖，汪进，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：广东;44