The invention provides a voice interaction method based on face tracking device, including steps: S1: real-time acquisition of images and user's voice; S2: judging whether face targets are included in image data; S3: judging whether face targets are located at the center of image data; if face targets are located at the center of image data, jump to 6; otherwise Position deviation; S4: Make the face target located in the center of image data; S5: control camera to shoot; S6: Automatically judge the user's gender and age range according to face image and voice data; S7: control the preset voice response corresponding to speaker broadcasting; S8: adjust the opening and closing of each microphone according to position deviation, and return. The present invention is based on a voice interaction method of face tracking device, which can realize the voice orientation function of real-time target tracking, has strong flexibility and good interaction effect.
【技术实现步骤摘要】
基于人脸追踪装置的语音交互方法
本专利技术涉及语音交互领域,尤其涉及一种基于人脸追踪装置的语音交互方法。
技术介绍
目前尚缺乏一种可实现对目标实时跟进、灵活性强、且可对目标进行自动追踪的语音交互方法。
技术实现思路
针对上述现有技术中的不足,本专利技术提供一种基于人脸追踪装置的语音交互方法,可实现目标的实时跟进的语音的定向功能,灵活性强,交互效果好。为了实现上述目的,本专利技术提供一种基于人脸追踪装置的语音交互方法,包括步骤:S1:通过一追踪语音交互装置的一摄像头实时采集图像,获得图像数据;同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音,获得语音数据;所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器,所述麦克风阵列包括多个麦克风,所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器;所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上,所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定;S2:所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标,如包括所述人脸目标继续后续步骤,否则返回步骤S1;S3:利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置;如所述人脸目标位于所述中心位置,跳至步骤S6;否则,所述控制器计算获得所述人脸目标与所述中心位置的位置偏差,并继续后续步骤;S4:所述控制器根据所述位置偏差控制两所述舵机的旋转角度,使得所述人脸目标位于所述图像数据的中心位置;S5:所述控制器控制所述摄像头进行拍摄, ...
【技术保护点】
1.一种基于人脸追踪装置的语音交互方法,包括步骤:S1:通过一追踪语音交互装置的一摄像头实时采集图像,获得图像数据;同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音,获得语音数据;所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器,所述麦克风阵列包括多个麦克风,所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器;所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上,所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定;S2:所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标,如包括所述人脸目标继续后续步骤,否则返回步骤S1;S3:利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置;如所述人脸目标位于所述中心位置,跳至步骤S6;否则,所述控制器计算获得所述人脸目标与所述中心位置的位置偏差,并继续后续步骤;S4:所述控制器根据所述位置偏差控制两所述舵机的旋转角度,使得所述人脸目标位于所述图像数据的中心位置;S5:所述控制器控制所述摄像头进行拍摄 ...
【技术特征摘要】
1.一种基于人脸追踪装置的语音交互方法,包括步骤:S1:通过一追踪语音交互装置的一摄像头实时采集图像,获得图像数据;同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音,获得语音数据;所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器,所述麦克风阵列包括多个麦克风,所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器;所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上,所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定;S2:所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标,如包括所述人脸目标继续后续步骤,否则返回步骤S1;S3:利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置;如所述人脸目标位于所述中心位置,跳至步骤S6;否则,所述控制器计算获得所述人脸目标与所述中心位置的位置偏差,并继续后续步骤;S4:所述控制器根据所述位置偏差控制两所述舵机的旋转角度,使得所述人脸目标位于所述图像数据的中心位置;S5:所述控制器控制所述摄像头进行拍摄,获得人脸图像;S6:所述控制器根据所述人脸图像和所述语音数据自动判断所述用户的性别和年龄区间,获得性别特征数据和年龄特征数据;S7:所述控制器根据所述性别特征数据、所述年龄特征数据和所述位置偏差控制所述扬声器播报对应的预设语音应答;S8:所述控制器根据所述位置偏差调整各所述麦克风的开闭,返回步骤S1。2.根据权利要求1所述的基于人脸追踪装置的语音交互方法,其特征在于,所述S5步骤前还包括步骤S9:通过所述测...
【专利技术属性】
技术研发人员:严彪,王森,李浩澜,徐其慧,张瀚夫,梁梓晨,严鹏飞,
申请(专利权)人:同济大学,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。