一种音频设备的声源定位的方法及音频设备技术

本发明专利技术公开了一种音频设备的声源定位的方法及音频设备。该音频设备包括麦克风阵列和摄像头，该方法包括：获取麦克风阵列拾取的声音信号指令，确定声音信号指令的声源方向；控制摄像头转向声源方向；采集声源方向的场景图像；对场景图像进行人脸识别以确定目标用户。本发明专利技术根据声音信号指令的声源方向，控制摄像头转向声源方向，通过摄像头采集场景图像，并通过对场景图像进行人脸识别确定发出声音信号指令的目标用户，能够进一步提高定位声源方向的准确性，以提高声音信号指令的识别率。

A method of sound source location for audio equipment and audio equipment

【技术实现步骤摘要】
一种音频设备的声源定位的方法及音频设备
本专利技术涉及音频信号识别
技术，尤其涉及一种音频设备的声源定位的方法及音频设备。
技术介绍
音频设备包括智能音箱或者带麦克风或麦克风阵列的摄像头。智能音箱是音箱升级的产物，是用户可以使用语音进行上网的一个工具，近年来，随着智能音箱的不断发展，智能音箱所囊括的内容资源越来越丰富。例如，用户可以使用智能音箱进行点播歌曲、听故事、语音交互等。现有技术中，音频设备通过麦克风阵列拾取声音信号，实现语音交互。但是，在多人场景下，例如小型多人会议，多个用户同时说话，音频设备仅通过麦克风阵列不能准确定位拾取的声音信号的声源方向，不能确定需要进行语音交互的目标用户，影响用户体验。
技术实现思路
本专利技术的一个目的是提供一种基于音频设备的声源定位新技术方案。根据本专利技术的第一方面，提供了一种音频设备的声源定位的方法，所述方法包括：获取所述麦克风阵列拾取的声音信号，确定所述声音信号的声源方向；控制所述摄像头转向所述声源方向；采集所述声源方向的场景图像；对所述场景图像进行人脸识别以确定目标用户。可选地，所述音频设备还包括屏幕，所述方法还包括下列任一或者任意组合：控制所述摄像头转向所述目标用户的方向；控制所述屏幕转向所述目标用户的方向；增强所述目标用户的方向的声音信号。可选地，所述目标用户的方向是指所述目标用户的嘴唇方向。可选地，所述对所述场景图像进行人脸识别以确定目标用户，包括：如果只识别出一个人脸，将所述人脸对应的用户确定为所述目标用户。如果识别出多个人脸，根据所述场景图像对所述多个人脸的嘴唇进行动作识别；如果只识别出一个嘴唇在动的人脸，将所述嘴唇在动的人脸对应的用户确定为所述目标用户。可选地，所述对所述场景图像进行人脸识别以确定目标用户，还包括：如果识别出多个嘴唇在动的人脸，确定所述多个嘴唇在动的人脸与所述声源方向之间的夹角的大小，将所述夹角最小的人脸对应的用户确定为所述目标用户。可选地，所述对所述场景图像进行人脸识别以确定目标用户，还包括：如果未识别出嘴唇在动的人脸，确定所述多个人脸与所述声源方向之间的夹角的大小，将所述夹角最小的人脸对应的用户确定为所述目标用户。可选地，所述对所述场景图像进行人脸识别以确定目标用户，还包括：如果所述夹角最小的人脸为多个，选取位于所述场景图像中最左侧或者最右侧的人脸对应的用户作为所述目标用户。可选地，所述对所述场景图像进行人脸识别以确定目标用户，还包括：如果未识别出人脸，启动所述摄像头的巡航功能以确定所述目标用户或者结束对所述麦克风阵列拾取的声音信号指令的声源定位。根据本专利技术的第二方面，提供了一种音频设备，所述音频设备设置有麦克风阵列和摄像头，所述音频设备还包括：初步定位模块，用于获取所述麦克风阵列拾取的声音信号指令，确定所述声音信号的声源方向；第一转向模块，用于控制所述摄像头转向所述声源方向；图像采集模块，用于采集所述声源方向的场景图像；目标用户确定模块，用于对所述场景图像进行人脸识别以确定目标用户。可选地，所述音频设备还包括屏幕，所述音频设备还包括下列任一或者任意组合：所述第二转向模块，用于控制所述摄像头转向所述目标用户的方向；所述第三转向模块，用于控制所述屏幕转向所述目标用户的方向；所述增强模块，用于增强所述目标用户的方向的声音信号。根据本专利技术的第三方面，提供了一种音频设备，所述音频设备设置有麦克风阵列和摄像头，所述音频设备还包括：存储器，所述存储器用于存储计算机指令；处理器，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如本专利技术第一方面任一项提供的音频设备的声源定位的方法。根据本专利技术的一个实施例，根据声音信号指令的声源方向，控制摄像头转向声源方向，通过摄像头采集场景图像，以通过对场景图像进行人脸识别，可以确定发出声音信号指令的目标用户，能够进一步提高定位声源方向的准确性，以提高声音信号指令的识别率。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1示出了本专利技术实施例提供的音频设备的硬件配置示意图；图2示出了本专利技术第一实施例的音频设备的声源定位的方法的流程示意图；图3示出了本专利技术第一实施例的音频设备的声源定位的方法的场景示意图一；图4示出了本专利技术第一实施例的音频设备的声源定位的方法的场景示意图二；图5示出了本专利技术第一实施例的音频设备的声源定位的方法的场景示意图三；图6示出了本专利技术一个例子的音频设备的声源定位的方法的流程示意图；图7示出了本专利技术第二实施例的音频设备的示意图；图8示出了本专利技术第三实施例的音频设备的示意图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。<硬件配置>图1示出基于音频设备实现的音频设备100的硬件配置的框图。本专利技术实施例涉及的音频设备是能够播放声音的设备，可以具有和用户进行语音交互的能力。音频设备可以通过无线或有线的方式与内容服务器进行交互，实现例如点播歌曲、听故事、语音交互等等。音频设备可以是具有麦克风阵列、摄像头、屏幕的智能音箱、具有麦克风阵列的摄像头、智能播放器等其他智能设备。如图1所示，音频设备100可以包括处理器110、存储器120、接口装置130、通信装置140、显示装置150、输入装置160、扬声器170、麦克风180和摄像头190等等。其中，处理器110可以是中央处理器CPU、微处理器MCU等。存储器120例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置130例如包括USB接口、耳机接口等。通信装置140可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、Li本文档来自技高网...

【技术保护点】
1.一种音频设备的声源定位的方法，其中，所述音频设备包括麦克风阵列和摄像头，所述方法包括：/n获取所述麦克风阵列拾取的声音信号指令，确定所述声音信号指令的声源方向；/n控制所述摄像头转向所述声源方向；/n采集所述声源方向的场景图像；/n对所述场景图像进行人脸识别以确定目标用户。/n

【技术特征摘要】
1.一种音频设备的声源定位的方法，其中，所述音频设备包括麦克风阵列和摄像头，所述方法包括：
获取所述麦克风阵列拾取的声音信号指令，确定所述声音信号指令的声源方向；
控制所述摄像头转向所述声源方向；
采集所述声源方向的场景图像；
对所述场景图像进行人脸识别以确定目标用户。


2.根据权利要求1所述的方法，其中，所述音频设备还包括屏幕，所述方法还包括下列任一或者任意组合：
控制所述摄像头转向所述目标用户的方向；
控制所述屏幕转向所述目标用户的方向；
增强所述目标用户的方向的声音信号。


3.根据权利要求2所述的方法，其中，所述目标用户的方向是指所述目标用户的嘴唇方向。


4.根据权利要求1所述的方法，其中，所述对所述场景图像进行人脸识别以确定目标用户，包括：
如果只识别出一个人脸，将所述人脸对应的用户确定为所述目标用户。
如果识别出多个人脸，根据所述场景图像对所述多个人脸的嘴唇进行动作识别；
如果只识别出一个嘴唇在动的人脸，将所述嘴唇在动的人脸对应的用户确定为所述目标用户。


5.根据权利要求4所述的方法，其中，所述对所述场景图像进行人脸识别以确定目标用户，还包括：
如果识别出多个嘴唇在动的人脸，确定所述多个嘴唇在动的人脸与所述声源方向之间的夹角的大小，将所述夹角最小的人脸对应的用户确定为所述目标用户。


6.根据权利要求4所述的方法，其中，所述对所述场景图像进行人脸识别以确定目标用户，还包括：
如果未识别出嘴唇在动的人脸，确定所述多个人脸与所述声源方向之间的夹角的大小，将所述夹角最小的人脸对应的用户确...

【专利技术属性】
技术研发人员：杨培，陈强，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：山东;37