基于无人机的人脸跟踪系统及方法技术方案

本发明专利技术涉及计算机视觉技术和无人机技术，其公开了一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。该方法包括以下步骤：a.无人机上的相机进行图像采集；b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；c.建立虚拟相机坐标系；d.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；f.对稳像后的图像进行实时追踪。本发明专利技术适用于人脸图像准确追踪。

Face tracking system and method based on unmanned aerial vehicle

The invention relates to computer vision and unmanned aerial vehicle technology, which discloses a face tracking system and method based on unmanned aerial vehicle (UAV), and tracking the face in real time and accurately when the picture is jitter. The method includes the following steps: the camera on the A. UAV carries out image acquisition; B. determines the target face in the image, and selects the appropriate target frame from the pre made target frame to normalize the target face, and selects the target face; C. establishes the virtual camera coordinate system; D. obtains the physical camera coordinate system based on the IMU data of the UAV. The conversion matrix to the virtual camera coordinate system; e rendering the target face image in the virtual camera based on the transformation matrix to obtain the image of the image; F. tracking the image after the image in real time. The invention is suitable for accurate tracking of face images.

【技术实现步骤摘要】
基于无人机的人脸跟踪系统及方法
本专利技术涉及计算机视觉技术和无人机技术，具体涉及一种基于无人机的人脸跟踪系统及方法。
技术介绍
人脸跟踪是在视频或图像序列中确定人脸的运动轨迹即大小变化的过程。现今，利用无人机进行跟拍娱乐已经成为一种潮流，无人机已经逐渐普及到人们生活中，因此，基于无人机的计算机视觉研究非常有意义。传统技术中的人脸跟踪方法主要是基于图像的检测跟踪方法，仅仅是在视频帧中找出目标，并不对相机位置进行调整，因而相机拍摄出的目标并不能处在图像中的有利位置，使得跟踪效果和视觉效果并不是很好，因此，这样的方法不适用于大幅度运动的航拍跟踪场景中；专利公开号为CN105447459，名称为《一种无人机自动检测目标及跟踪方法》的专利申请方案中的人脸跟踪方法在识别人脸的基础上，根据目标跟踪框位置调整无人机位置，能够较好地进行目标跟踪，并通过使用无人机自带的防抖摄像头进行图像去抖动，使得检测精度相对较高；但是，在无人机大幅度抖动或是目标大幅度运动造成的图像不清晰的情况下，防抖摄像头仍然无法保证所拍摄的图像清晰度，从而降低了跟踪的准确性。
技术实现思路
本专利技术所要解决的技术问题是：提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。本专利技术解决上述技术问题所采用的方案是：基于无人机的人脸跟踪系统，包括：图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。作为进一步优化，所述目标框制作模块，用于制作大小不同的多个目标框。作为进一步优化，该系统还包括：无人机飞控模块，用于根据IMU数据获取模块获取的无人机的IMU数据调整无人机的飞行姿态，对目标人脸进行实时追踪。此外，本专利技术还提供了一种基于无人机的人脸跟踪方法，其包括以下步骤：a.无人机上的相机进行图像采集；b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；c.建立虚拟相机坐标系；d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；f.对稳像后的图像进行实时追踪。作为进一步优化，步骤c中，所述建立虚拟相机坐标系的方法为：以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。作为进一步优化，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。作为进一步优化，步骤e具体包括：e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；e2.将图像坐标系中的图像投影到虚拟图像中；e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；e6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中。作为进一步优化，步骤e3中，虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，为P在虚拟相机坐标系中的归一化位置，步骤e4中，求取世界坐标系图像区域的方法为：计算虚拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：SW＝RW-C1SC1其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；步骤e5中，求取相机坐标系图像区域的方法为：计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：SC＝RSW；步骤e6中，求取稳像图像区域的方法为:计算区域SC对应在图像坐标系中的位置SI：其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点为点P(x,y)在相机坐标系中对应的点；为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。作为进一步优化，步骤e6中，所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果则I(x,y)＝I(x*,y*)，符号表示满足映射关系。作为进一步优化，步骤f中，所述对稳像后的图像进行实时追踪，具体包括：实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。作为进一步优化，所述飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，具体包括：如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。本专利技术的有益效果是：通过对采集的目标人脸图像进行电子稳像处理，提高图像清晰度，然后根据相机IMU数据对无人机的姿态进行调整，从而实现在画面发生抖动的情况下能够实时精确跟踪人脸。附图说明图1为本专利技术实施例中的基于无人机的人脸跟踪系统结构框图；图2为本专利技术实施例中的基于无人机的人脸跟踪方法流程图；图3为实现电子稳像的流程图。具体实施方式本专利技术旨在提出一种基于无人机的人脸跟踪系统及方法，在本文档来自技高网...

【技术保护点】
1.基于无人机的人脸跟踪系统，其特征在于，包括：图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。

【技术特征摘要】
1.基于无人机的人脸跟踪系统，其特征在于，包括：图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。2.如权利要求1所述基于无人机的人脸跟踪系统，其特征在于，该系统还包括：无人机飞控模块，用于根据IMU数据获取模块获取的无人机的IMU数据调整无人机的飞行姿态，对目标人脸进行实时追踪。3.基于无人机的人脸跟踪方法，其特征在于，包括以下步骤：a.无人机上的相机进行图像采集；b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；c.建立虚拟相机坐标系；d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；f.对稳像后的图像进行实时追踪。4.如权利要求3所述的基于无人机的人脸跟踪方法，其特征在于，步骤c中，所述建立虚拟相机坐标系的方法为：以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。5.如权利要求3所述的基于无人机的人脸跟踪方法，其特征在于，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。6.如权利要求5所述的基于无人机的人脸跟踪方法，其特征在于，步骤e具体包括：e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；e2.将图像坐标系中的图像投影到虚拟图像中；e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；e6.计算相机坐标系图像区域在图像坐标系中的对应位...

【专利技术属性】
技术研发人员：周彬，徐朋飞，陈志超，周剑，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51