基于人脸追踪装置的语音交互方法制造方法及图纸

本发明专利技术提供一种基于人脸追踪装置的语音交互方法，包括步骤：S1：实时采集图像和用户的语音；S2：判断图像数据内是否包括人脸目标；S3：判断人脸目标是否位于图像数据的中心位置；如人脸目标位于中心位置，跳至步骤S6；否则，计算获得人脸目标与中心位置的位置偏差；S4：使得人脸目标位于图像数据的中心位置；S5：控制摄像头进行拍摄；S6：根据人脸图像和语音数据自动判断用户的性别和年龄区间；S7：控制扬声器播报对应的预设语音应答；S8：根据位置偏差调整各麦克风的开闭，返回步骤S1。本发明专利技术的一种基于人脸追踪装置的语音交互方法，可实现目标的实时跟进的语音的定向功能，灵活性强，交互效果好。

Speech Interaction Method Based on Face Tracking Device

The invention provides a voice interaction method based on face tracking device, including steps: S1: real-time acquisition of images and user's voice; S2: judging whether face targets are included in image data; S3: judging whether face targets are located at the center of image data; if face targets are located at the center of image data, jump to 6; otherwise Position deviation; S4: Make the face target located in the center of image data; S5: control camera to shoot; S6: Automatically judge the user's gender and age range according to face image and voice data; S7: control the preset voice response corresponding to speaker broadcasting; S8: adjust the opening and closing of each microphone according to position deviation, and return. The present invention is based on a voice interaction method of face tracking device, which can realize the voice orientation function of real-time target tracking, has strong flexibility and good interaction effect.

【技术实现步骤摘要】
基于人脸追踪装置的语音交互方法
本专利技术涉及语音交互领域，尤其涉及一种基于人脸追踪装置的语音交互方法。
技术介绍
目前尚缺乏一种可实现对目标实时跟进、灵活性强、且可对目标进行自动追踪的语音交互方法。
技术实现思路
针对上述现有技术中的不足，本专利技术提供一种基于人脸追踪装置的语音交互方法，可实现目标的实时跟进的语音的定向功能，灵活性强，交互效果好。为了实现上述目的，本专利技术提供一种基于人脸追踪装置的语音交互方法，包括步骤：S1：通过一追踪语音交互装置的一摄像头实时采集图像，获得图像数据；同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音，获得语音数据；所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器，所述麦克风阵列包括多个麦克风，所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器；所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上，所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定；S2：所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标，如包括所述人脸目标继续后续步骤，否则返回步骤S1；S3：利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置；如所述人脸目标位于所述中心位置，跳至步骤S6；否则，所述控制器计算获得所述人脸目标与所述中心位置的位置偏差，并继续后续步骤；S4：所述控制器根据所述位置偏差控制两所述舵机的旋转角度，使得所述人脸目标位于所述图像数据的中心位置；S5：所述控制器控制所述摄像头进行拍摄，获得人脸图像；S6：所述控制器根据所述人脸图像和所述语音数据自动判断所述用户的性别和年龄区间，获得性别特征数据和年龄特征数据；S7：所述控制器根据所述性别特征数据、年龄特征数据和所述位置偏差控制所述扬声器播报对应的预设语音应答；S8：所述控制器根据所述位置偏差调整各所述麦克风的开闭，返回步骤S1。优选地，所述S5步骤前还包括步骤S9：通过所述测距传感器测量所述人脸目标与所述追踪摄像装置的距离，判断所述距离是否在一预设距离范围内，获得一判断结果，所述控制器根据所述判断结果控制调节所述行进装置。优选地，所述测距传感器采用相位式测距传感器，所述S9步骤进一步包括步骤：S91：所述测距传感器测量所述人脸目标与所述追踪摄像装置的距离，并向一上位机发送当前所述人脸目标的状态信息和所述数据；S92：判断所述距离是否在所述预设距离范围内，获得所述判断结果，所述判断结果包括所述距离小于所述预设距离范围、所述距离在所述预设距离范围内和所述距离大于所述预设距离范围；S93：所述控制器根据所述判断结果和所述行进装置的当前行进方向调节所述行进装置的移动速度，使得当前所述人脸目标与所述追踪摄像装置的距离位于所述预设距离范围内。优选地，所述S1步骤前还包括：所述摄像头的初始化步骤。优选地，所述利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置步骤进一步包括步骤：利用所述人脸识别算法分割所述图像数据并标记特征点；根据所述特征点确定所述人脸目标的一中心坐标并存储；根据所述中心坐标判断所述人脸目标是否位于所述图像数据的中心位置。优选地，还包括步骤：所述控制器通过分析所述语音数据对所述用户进行定位。优选地，所述控制器包括树莓派、电脑、工业电脑，平板和嵌入式硬件。本专利技术由于采用了以上技术方案，使其具有以下有益效果：本专利技术的一种基于人脸追踪装置的语音交互方法，可通过对用户的定位实现语音的定向功能，追踪语音交互装置包括多个麦克风，并跟随追踪语音交互装置进行移动，可实现音源的定位，结合图像识别技术，可反馈用户的性别和年龄区间等相关信息，进而获得更好的交互效果。将测距传感器和舵机结合在一起，通过调整舵机的角度改变摄像头的位置，结合测距传感器的距离判定控制行进装置的移动速率，实现目标的实时跟进，平台灵活性强。通过调整舵机的方向让摄像头在不改变行进装置的预设导航路线的前提下实时跟进目标对象。同时，根据测距摄像头反馈的目标距离调整行进装置的电机，以调整行进装置的移动速度，保证行进装置和目标对象始终保持在合适的距离范围内。附图说明图1为本专利技术实施例的基于人脸追踪装置的语音交互方法的流程图。具体实施方式下面根据附图1，给出本专利技术的较佳实施例，并予以详细描述，使能更好地理解本专利技术的功能、特点。请参阅图1，本专利技术实施例的一种基于人脸追踪装置的语音交互方法，包括步骤：S1：通过一追踪语音交互装置的一摄像头实时采集图像，获得图像数据；同时追踪语音交互装置的一麦克风阵列采集一用户的语音，获得语音数据；追踪摄像装置包括摄像头、两舵机、一测距传感器、一控制器、一行进装置、麦克风阵列和一扬声器，麦克风阵列包括多个麦克风，摄像头、舵机、测距传感器、行进装置、麦克风和扬声器连接控制器；摄像头通过两舵机可沿一第一平面和一第二平面转动地固定于行进装置上，测距传感器、麦克风和扬声器与行进装置固定。本实施例中，控制器包括各类运行linux或安卓系统的硬件设备，包括电脑，工业电脑，平板，嵌入式硬件等。S2：控制器处理图像数据并判断图像数据内是否包括一人脸目标，如包括人脸目标继续后续步骤，否则返回步骤S1。S3：利用人脸识别算法判断人脸目标是否位于图像数据的中心位置；如人脸目标位于中心位置，跳至步骤S6；否则，控制器计算获得人脸目标与中心位置的位置偏差，并继续后续步骤。其中，利用人脸识别算法判断人脸目标是否位于图像数据的中心位置步骤进一步包括步骤：利用人脸识别算法分割图像数据并标记特征点；根据特征点确定人脸目标的一中心坐标并存储；根据中心坐标判断人脸目标是否位于图像数据的中心位置。人脸识别算法包括使用opencv及tensorflow开源技术的的人脸识别训练模型、以及各类获得正当授权或使用权的商用识别算法或api，如arcsoft、百度、科大讯飞等的商用api。S4：控制器根据位置偏差控制两舵机的旋转角度，使得人脸目标位于图像数据的中心位置。S5：控制器控制摄像头进行拍摄，获得人脸图像。S6：控制器根据人脸图像和语音数据自动判断用户的性别和年龄区间，获得性别特征数据和年龄特征数据。S7：控制器根据性别特征数据、年龄特征数据和位置偏差控制扬声器播报对应的预设语音应答。S8：控制器根据位置偏差调整各麦克风的开闭，返回步骤S1。其中，S5步骤前还包括步骤S9：通过测距传感器测量人脸目标与追踪摄像装置的距离，判断距离是否在一预设距离范围内，获得一判断结果，控制器根据判断结果控制调节行进装置。本实施例中，测距传感器采用相位式测距传感器，S9步骤进一步包括步骤：S91：测距传感器测量人脸目标与追踪摄像装置的距离，并向一上位机发送当前人脸目标的状态信息和数据；S92：判断距离是否在预设距离范围内，获得判断结果，判断结果包括距离小于预设距离范围、距离在预设距离范围内和距离大于预设距离范围；S93：控制器根据判断结果和行进装置的当前行进方向调节行进装置的移动速度，使得当前人脸目标与追踪摄像装置的距离位于预设距离范围内。另外，S1步骤前还包括：摄像头的初始化步骤。本实施例中，还包括步骤：控制器通过分析语音数据对用户进行定位。本专利技术实施例的一种基本文档来自技高网...

【技术保护点】
1.一种基于人脸追踪装置的语音交互方法，包括步骤：S1：通过一追踪语音交互装置的一摄像头实时采集图像，获得图像数据；同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音，获得语音数据；所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器，所述麦克风阵列包括多个麦克风，所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器；所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上，所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定；S2：所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标，如包括所述人脸目标继续后续步骤，否则返回步骤S1；S3：利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置；如所述人脸目标位于所述中心位置，跳至步骤S6；否则，所述控制器计算获得所述人脸目标与所述中心位置的位置偏差，并继续后续步骤；S4：所述控制器根据所述位置偏差控制两所述舵机的旋转角度，使得所述人脸目标位于所述图像数据的中心位置；S5：所述控制器控制所述摄像头进行拍摄，获得人脸图像；S6：所述控制器根据所述人脸图像和所述语音数据自动判断所述用户的性别和年龄区间，获得性别特征数据和年龄特征数据；S7：所述控制器根据所述性别特征数据、所述年龄特征数据和所述位置偏差控制所述扬声器播报对应的预设语音应答；S8：所述控制器根据所述位置偏差调整各所述麦克风的开闭，返回步骤S1。...

【技术特征摘要】
1.一种基于人脸追踪装置的语音交互方法，包括步骤：S1：通过一追踪语音交互装置的一摄像头实时采集图像，获得图像数据；同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音，获得语音数据；所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器，所述麦克风阵列包括多个麦克风，所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器；所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上，所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定；S2：所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标，如包括所述人脸目标继续后续步骤，否则返回步骤S1；S3：利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置；如所述人脸目标位于所述中心位置，跳至步骤S6；否则，所述控制器计算获得所述人脸目标与所述中心位置的位置偏差，并继续后续步骤；S4：所述控制器根据所述位置偏差控制两所述舵机的旋转角度，使得所述人脸目标位于所述图像数据的中心位置；S5：所述控制器控制所述摄像头进行拍摄，获得人脸图像；S6：所述控制器根据所述人脸图像和所述语音数据自动判断所述用户的性别和年龄区间，获得性别特征数据和年龄特征数据；S7：所述控制器根据所述性别特征数据、所述年龄特征数据和所述位置偏差控制所述扬声器播报对应的预设语音应答；S8：所述控制器根据所述位置偏差调整各所述麦克风的开闭，返回步骤S1。2.根据权利要求1所述的基于人脸追踪装置的语音交互方法，其特征在于，所述S5步骤前还包括步骤S9：通过所述测...

【专利技术属性】
技术研发人员：严彪，王森，李浩澜，徐其慧，张瀚夫，梁梓晨，严鹏飞，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31