一种听视觉协同的人形机器人头部定向方法技术

本发明专利技术提供了一种听视觉协同的人形机器人头部定向方法，其特征在于，主要包括如下步骤：首先通过麦克风阵列采集语音信号并记录时间；然后利用人声识别方法识别，统计采集到人声的麦克风数量；接着在人声麦克风数量大于1时根据时间设定候选目标方位；然后转动摄像头并采集视频；又从视频中获取人脸图像帧，利用人脸辨识方法辨识得到人脸辨识结果，并统计人脸数量；继而在人脸数量大于1时计算人脸面积并排序；接下来根据排名设定候选目标人脸；然后利用唇动检测算法实现唇动识别；接着在出现唇动的人脸数量大于1时根据面积设定目标方位；最后转动人形机器人头部实现定向。本发明专利技术能让人形机器人区分人声与其他声音并能准确地与目标人声进行交互。地与目标人声进行交互。地与目标人声进行交互。

【技术实现步骤摘要】
一种听视觉协同的人形机器人头部定向方法


[0001]本专利技术属于智能机器人领域，具体涉及一种听视觉协同的人形机器人头部定向方法。

技术介绍

[0002]人形机器人是一种旨在模仿人类外观和行为的机器人，而随着计算机技术和机械技术的发展，人形机器人的应用已经从工业、农业逐渐发展到服务、医疗、教育、娱乐、生活等领域。上菜机器人、育婴机器人等人形机器人的出现说明人形机器人的应用已经渗透到人们生活中，这也表示人形机器人在各个领域的应用会随着相关技术的发展变得越来越普遍。
[0003]目前，在人形机器人的使用中普遍存在人形机器人头部无法准确地面向发出命令的目标人进行人机交互的问题，从而无法使得目标人获得较高的人机交互体验。因此，如何根据目标人的位置确定人形机器人头部的方向(简称人形机器人的定向)成为后续目标人与人形机器人语音交流首先需要解决的问题。在人形机器人面对目标人时，人形机器人根据目标人的语音等命令作出的反应会令目标人获得较高的交互体验。
[0004]目前，人形机器人的定向方法分为基于听觉以及基于视听协同的两种。两种方法多通过声音定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种听视觉协同的人形机器人头部定向方法，用于为至少包含麦克风阵列、摄像头以及控制部的人形机器人确定目标方位并实现该人形机器人头部的定向，其特征在于，包括如下步骤：步骤S1，通过所述麦克风阵列中的多个麦克风采集所述人形机器人四周的语音信号并记录所有所述麦克风采集到所述语音信号的时间；步骤S2，利用预定的人声识别方法依次对所述麦克风采集到的所述语音信号进行识别得到声音识别结果，同时统计所述声音识别结果为人声的所述麦克风的数量并设定为人声麦克风数量；步骤S3，判断所述人声麦克风数量是否大于1；步骤S4，在所述人声麦克风数量大于1时根据所述时间将最先采集到人声的所述麦克风对应的方位设定为候选目标方位；步骤S5，所述人形机器人通过所述控制部控制所述摄像头转向所述候选目标方位，并利用该摄像头采集所述候选目标方位的视频；步骤S6，从所述视频中依次获取人脸图像帧，并利用预定的人脸辨识方法依次对所述人脸图像帧进行辨识得到包含人脸位置的人脸辨识结果，并统计所述人脸图像帧的人脸数量；步骤S7，判断所述人脸数量是否大于1；步骤S8，在所述人脸数量大于1时依次计算人脸在所述人脸图像帧中的面积并按照从大到小的顺序进行排序得到人脸面积序列；步骤S9，将所述人脸面积序列中排名靠前的预定数量的所述面积对应的所述人脸设定为候选目标人脸；步骤S10，利用预定的唇动检测算法依次对所述候选目标人脸对应的预定数量的连续的所述人脸图像帧进行唇动识别，并将出现唇动的所述候选目标人脸设定为唇动人脸；步骤S11，判断所述唇动人脸的数量是否大于1；步骤S12，在所述唇动人脸的所述数量大于1时将所述面积最大的所述唇动人脸对应的所...

【专利技术属性】
技术研发人员：王守岩，李岩，
申请(专利权)人：复旦大学，
类型：发明
国别省市：