人机交互方法及装置制造方法及图纸

本公开是关于一种人机交互方法及装置。该方法包括：获取环境的声音信号；在确定所述环境的声音信号大于或等于预设值时，通过所述摄像头获取唇部状态信号和语音信号；其中，所述唇部状态信号包括唇动状态和未唇动状态；根据所述唇动状态发生的时刻和所述未唇动状态发生的时刻，从所述语音信号中确定待识别语音信号；对所述待识别语音信号进行识别；在确定所述待识别语音信号与预设信号匹配时，开启对话系统。该技术方案在电子设备处于嘈杂环境中时，可以根据唇部状态信号来对嘈杂环境中获取的语音信号进行断句，准确的获取唤醒词，实现了对电子设备的准确唤醒，提高了用户体验。

Human computer interaction method and device

【技术实现步骤摘要】
人机交互方法及装置
本公开涉及人机交互
，尤其涉及一种人机交互方法及装置。
技术介绍
随着信息技术的不断发展，智能大屏或者带屏的硬件机器人等电子设备已逐渐普及。相关技术中，在唤醒电子设备时，需要用户语音输入唤醒词，电子设备在接收到用户输入的唤醒词与预设唤醒词进行匹配，在确定唤醒词与预设唤醒词匹配时，则主动唤醒电子设备，用户就可以通过语音与电子设备实现人机交互。但上述唤醒电子设备的方法，若电子设备所处环境比较嘈杂，则电子设备接收到的语音信号比较杂乱，无法正确实现唤醒词的断句，从而导致无法唤醒或者误唤醒电子设备，降低了人机交互体验。
技术实现思路
为克服相关技术中存在的问题，本公开实施例提供一种人机交互方法及装置。所述技术方案如下：根据本公开实施例的第一方面，提供一种人机交互方法，应用于具备摄像头的电子设备，所述方法包括：获取环境的声音信号；在确定所述环境的声音信号大于或等于预设值时，通过所述摄像头获取唇部状态信号和语音信号；其中，所述唇部状态信号包括唇动状态和未唇动状态；根据所述唇动状态发生的时刻和所述未唇动状态发生的时刻，从所述语音信号中确定待识别语音信号；对所述待识别语音信号进行识别；在确定所述待识别语音信号与预设信号匹配时，开启对话系统。本公开的实施例提供的技术方案可以包括以下有益效果：在检测到环境的声音信号大于或等于预设值时，获取唇部状态信号和语音信号，其中，唇部状态信号包括唇动状态和未唇动状态，根据发生唇动状态的时刻和未发生唇动状态的时刻从语音信号中确定出待识别语音信号，进而对待识别语音信号进行识别，当待识别语音信号与预设信号匹配时，则确定唤醒成功，开始对话系统进行人机交互。这样，在电子设备处于嘈杂环境中时，可以根据唇部状态信号来对嘈杂环境中获取的语音信号进行断句，准确的获取唤醒词，实现了对电子设备的准确唤醒，提高了用户体验。在一个实施例中，还包括：在确定所述环境的声音信号小于所述预设值时，通过所述摄像头获取目标物的脸部信号；根据所述脸部信号确定所述目标物的停留时间；在确定所述目标物的停留时间大于第一预设时间时，开启所述对话系统。在一个实施例中，在所述开启对话系统之后，还包括：获取所述目标物输入的语音指令信息；对所述语音指令信息进行语义识别，得到语义信息；获取与所述语义信息匹配的语音响应信息；播放所述语音响应信息。在一个实施例中，在所述播放所述语音响应信息之后，还包括：对所述对话系统的轮数进行计数；在确定所述对话系统的轮数小于预设轮数时，继续执行所述获取所述目标物输入的语音指令信息的步骤，直至所述对话系统的轮数等于所述预设轮数。在一个实施例中，在所述获取环境的声音信号之前，还包括：开启所述摄像头。根据本公开实施例的第二方面，提供一种人机交互装置，包括：第一获取模块，用于获取环境的声音信号；第二获取模块，用于在确定所述环境的声音信号大于或等于预设值时，通过所述摄像头获取唇部状态信号和语音信号；其中，所述唇部状态信号包括唇动状态和未唇动状态；第一确定模块，用于根据所述唇动状态发生的时刻和所述未唇动状态发生的时刻，从所述语音信号中确定待识别语音信号；第一识别模块，用于对所述待识别语音信号进行识别；第一开启模块，用于在确定所述待识别语音信号与预设信号匹配时，开启对话系统。本公开的实施例提供的技术方案可以包括以下有益效果：在检测到环境的声音信号大于或等于预设值时，获取唇部状态信号和语音信号，其中，唇部状态信号包括唇动状态和未唇动状态，根据发生唇动状态的时刻和未发生唇动状态的时刻从语音信号中确定出待识别语音信号，进而对待识别语音信号进行识别，当待识别语音信号与预设信号匹配时，则确定唤醒成功，开始对话系统进行人机交互。这样，在电子设备处于嘈杂环境中时，可以根据唇部状态信号来对嘈杂环境中获取的语音信号进行断句，准确的获取唤醒词，实现了对电子设备的准确唤醒，提高了用户体验。在一个实施例中，还包括第三获取模块、第二确定模块和第二开启模块；所述第三获取模块，用于在确定所述环境的声音信号小于所述预设值时，通过所述摄像头获取目标物的脸部信号；所述第二确定模块，用于根据所述脸部信号确定所述目标物的停留时间；所述第二开启模块，用于在确定所述目标物的停留时间大于第一预设时间时，开启所述对话系统。在一个实施例中，还包括第四获取模块、第二识别模块、第五获取模块和播放模块；所述第四获取模块，用于获取所述目标物输入的语音指令信息；所述第二识别模块，用于对所述语音指令信息进行语义识别，得到语义信息；所述第五获取模块，用于获取与所述语义信息匹配的语音响应信息；所述播放模块，用于播放所述语音响应信息。在一个实施例中，还包括计数模块和执行模块；所述计数模块，用于对所述对话系统的轮数进行计数；所述执行模块，用于在确定所述对话系统的轮数小于预设轮数时，继续执行所述获取所述目标物输入的语音指令信息的步骤，直至所述对话系统的轮数等于所述预设轮数。在一个实施例中，还包括第三开启模块；所述第三开启模块，用于开启所述摄像头。根据本公开实施例的第三方面，提供一种人机交互装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：获取环境的声音信号；在确定所述环境的声音信号大于或等于预设值时，通过所述摄像头获取唇部状态信号和语音信号；其中，所述唇部状态信号包括唇动状态和未唇动状态；根据所述唇动状态发生的时刻和所述未唇动状态发生的时刻，从所述语音信号中确定待识别语音信号；对所述待识别语音信号进行识别；在确定所述待识别语音信号与预设信号匹配时，开启对话系统。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是根据一示例性实施例示出的人机交互方法的流程图。图2是根据一示例性实施例示出的人机交互方法的流程图。图3是根据一示例性实施例示出的人机交互方法的流程图。图4是根据一示例性实施例示出的人机交互方法的流程图。图5是根据一示例性实施例示出的人机交互方法的流程图。图6a是根据一示例性实施例示出的人机交互装置的结构示意图。图6b是根据一示例性实施例示出的人机交互装置的结构示意图。图6c是根据一示例性实施例示出的人机交互装置的结构示意图。图6d是根据一示例性实施例示出的人机交互装置的结构示意图。图6e是根据一示例性实施例示出的人机交互装置的结构示意图。图7是根据一示例性实施例示出的人机交本文档来自技高网...

【技术保护点】
1.一种人机交互方法，其特征在于，应用于具备摄像头的电子设备，所述方法包括：/n获取环境的声音信号；/n在确定所述环境的声音信号大于或等于预设值时，通过所述摄像头获取唇部状态信号和语音信号；其中，所述唇部状态信号包括唇动状态和未唇动状态；/n根据所述唇动状态发生的时刻和所述未唇动状态发生的时刻，从所述语音信号中确定待识别语音信号；/n对所述待识别语音信号进行识别；/n在确定所述待识别语音信号与预设信号匹配时，开启对话系统。/n

【技术特征摘要】
1.一种人机交互方法，其特征在于，应用于具备摄像头的电子设备，所述方法包括：
获取环境的声音信号；
在确定所述环境的声音信号大于或等于预设值时，通过所述摄像头获取唇部状态信号和语音信号；其中，所述唇部状态信号包括唇动状态和未唇动状态；
根据所述唇动状态发生的时刻和所述未唇动状态发生的时刻，从所述语音信号中确定待识别语音信号；
对所述待识别语音信号进行识别；
在确定所述待识别语音信号与预设信号匹配时，开启对话系统。


2.根据权利要求1所述的方法，其特征在于，还包括：
在确定所述环境的声音信号小于所述预设值时，通过所述摄像头获取目标物的脸部信号；
根据所述脸部信号确定所述目标物的停留时间；
在确定所述目标物的停留时间大于第一预设时间时，开启所述对话系统。


3.根据权利要求1或2所述的方法，其特征在于，在所述开启对话系统之后，还包括：
获取所述目标物输入的语音指令信息；
对所述语音指令信息进行语义识别，得到语义信息；
获取与所述语义信息匹配的语音响应信息；
播放所述语音响应信息。


4.根据权利要求3所述的方法，其特征在于，在所述播放所述语音响应信息之后，还包括：
对所述对话系统的轮数进行计数；
在确定所述对话系统的轮数小于预设轮数时，继续执行所述获取所述目标物输入的语音指令信息的步骤，直至所述对话系统的轮数等于所述预设轮数。


5.根据权利要求1所述的方法，其特征在于，在所述获取环境的声音信号之前，还包括：
开启所述摄像头。


6.一种人机交互装置，其特征在于，包括：
第一获取模块，用于获取环境的声音信号；
第二获取模块，用于在确定所述环境的声音信号...

【专利技术属性】
技术研发人员：李旭滨，王利平，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：北京;11