人脸跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种人脸跟踪方法及装置，该人脸跟踪方法包括：获取红外图像和可见光图像；检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在可见光图像中的对应点的对应坐标；获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点相对所述可见光图像的中心点的水平夹角和垂直夹角；以及基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。该人脸跟踪方法可以实现对目标对象人脸的自动跟踪对准，提高目标对象的对准效率和用户体验。该装置具有类似的优点。

Face tracking method and device

The invention discloses a face tracking method and device, including the face tracking method: obtain infrared image and visible image; coordinate face region detection of the infrared image of the target object and obtain the face region of the infrared image of the center point; according to the coordinates of the center point of the face region in infrared image the corresponding coordinate acquisition center face region of the infrared image of the corresponding points in the visible light image in the center of the face region; get the infrared image of the horizontal angle at the center point of the corresponding point of the visible image relative to the visible light image and vertical angle; and based on the horizontal angle and the vertical angle control head rotation, in the face of the target tracking. The face tracking method can realize the automatic tracking and alignment of the object's face, and improve the alignment efficiency and user experience. The device has similar advantages.

【技术实现步骤摘要】

本专利技术涉及图像识别
，尤其涉及一种可以自动跟踪人脸方位的人脸跟踪方法及装置。
技术介绍
随着经济和信息技术的发展，门禁、安防、反恐等领域多种监控需求的出现，对监控装置的智能化提出了更高的要求，而计算机视频图像技术的不断发展以及各种控制处理及通信等技术的发展为监控装置的智能化提供了条件。将人工智能引入监控领域也成为趋势，特别是人脸识别的监控系统对身份识别、安防维稳等领域都有极大的市场需求，预估至少会形成千亿人民币级别的产业链。如何设计一套优质合理的人脸识别系统对该产业的早日实现无疑有着巨大的推动力。目前的可以进行人脸识别的监控装置普遍需要被识别对象主动走到相机面前进行正面对准，用户体验较差，因为一方面不是所有被识别对象都愿意对准，另一方面，被识别对象主动对准时间较慢。因此，需要提供一种人脸跟踪方法及装置，以至少部分地解决上面提到的问题。
技术实现思路
在
技术实现思路
部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本专利技术的
技术实现思路
部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。为了至少部分地解决上述问题，本专利技术提供了一种人脸跟踪方法，包括：获取红外图像和可见光图像，所述红外图像和所述可见光图像分别通过红外图像传感器和可见光图像传感器采集；检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点的坐标在所述可见光图像中的对应点的对应坐标；获取所述红外图像中人脸区域的中心点在所述可见光图像中的所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角；以及基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。示例性地，所述检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标包括：获取所述红外图像传感器感应到的热辐射点在所述红外图像中的坐标；将所述红外图像中所述热辐射点的坐标对应的像素值标记为1，并将像素值为1的区域作为所述红外图像中的目标对象区域；提取所述目标对象区域中的预定区域作为所述红外图像中人脸区域；以及获取所述红外图像中人脸区域的中心点的坐标值，作为所述红外图像中人脸区域的中心点的坐标。示例性地，所述获取所述红外图像中人脸区域的中心点的坐标值，作为红外图像中所述人脸区域的中心点的坐标包括：截取所述红外图像中人脸区域的外切矩形，并以所述外切矩形的中心点的坐标作为所述红外图像中人脸区域的中心点的坐标。示例性地，根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标包括：基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的所述对应点的对应坐标。示例性地，所述方法还包括基于包括第一参照物的红外图像和包括所述第一参照物的可见光图像获取所述坐标变换关系，其中所述获取所述坐标变换关系的步骤包括：通过所述可见光图像传感器和所述红外图像传感器分别获取所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像，其中，所述第一参照物置于所述可见光图像传感器和所述红外图像传感器的视角范围内，并且所述第一参照物上标记有至少一个参照点；分别在所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像中获取所述至少一个参照点的坐标；以及通过所述包括所述第一参照物的可见光图像中的所述至少一个参照点的坐标和所述包括所述第一参照物的红外图像中的所述至少一个参照点的坐标获取所述坐标变换关系。根据本专利技术的另一个方面，还提供了一种人脸跟踪装置，其包括：图像获取模块，所述图像获取模块用于获取红外图像和可见光图像；红外图像人脸中心点坐标获取模块，所述红外图像人脸中心点坐标获取模块用于检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；可见光图像对应坐标获取模块，所述可见光图像对应坐标获取模块用于根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在可见光图像中的对应点的对应坐标；角度检测模块，所述角度检测模块用于获取所述红外图像中人脸区域的中心点坐标在所述可见光图像中的对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点的连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点的连线相对所述可见光图像的垂直方向的夹角；以及云台转动控制模块，所述云台转动控制模块基于所述水平夹角和所述垂直夹角控制云台进行转动，以对目标对象的人脸进行跟踪。示例性地，所述人脸跟踪装置还包括：红外图像传感器，所述红外图像传感器用于获取所述红外图像；以及可见光图像传感器，所述可见光图像传感器用于获取所述可见光图像。示例性地，所述红外图像人脸中心点坐标获取模块包括：坐标获取子模块，所述坐标获取子模块用于获取所述红外图像传感器感应到的热辐射点在所述红外图像中的坐标；像素标记子模块，所述像素标记子模块用于将所述红外图像中所述热辐射点的坐标对应的像素值标记为1，并将像素值为1的区域作为所述红外图像中的目标对象区域；人脸区域提取子模块，所述人脸区域提取子模块用于提取所述目标对象区域中的预定区域作为所述红外图像中的人脸区域；以及红外图像人脸中心点坐标计算子模块，所述红外图像人脸中心点坐标计算子模块用于获取所述红外图像中人脸区域的中心点的坐标值，作为所述红外图像中人脸区域的中心点的坐标。示例性地，所述红外图像人脸中心点坐标计算子模块包括截取单元，所述截取单元用于截取所述红外图像中人脸区域的外切矩形，并以所述外切矩形的中心点的坐标作为所述红外图像中人脸区域的中心点的坐标。示例性地，可见光图像对应坐标获取模块基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的所述对应点的对应坐标。示例性地，所述人脸跟踪装置还包括：坐标变换关系获取模块，所述坐标变换关系获取模块用于基于包括第一参照物的红外图像和包括所述第一参照物的可见光图像获取所述坐标变换关系，其中所述坐标变换关系获取模块包括：参照物图像获取子模块，所述参照物图像获取子模块用于通过所述可见光图像传感器和所述红外图像传感器分别获取所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像，其中，所述第一参照物置于所述可见光图像传感器和所述红外图像传感器的视角范围内，并且所述第一参照物上标记有至少一个参照点；参照点坐标获取子模块，所述参照点坐标获取子模块用于在所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像中分别获取所述至少一个参照点的坐标；以及坐标变换关系获取子模块，所述坐标变换关系获取子模块用于通过所述包括所述第一参照物的可见光图像中的所述至少一个参照点的坐标和所述包括所述第一参照物的红外图像中的所述至少一个参照点的坐标获本文档来自技高网...

【技术保护点】
一种人脸跟踪方法，其特征在于，包括：获取红外图像和可见光图像，所述红外图像和所述可见光图像分别通过红外图像传感器和可见光图像传感器采集；检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标；获取所述红外图像中人脸区域的中心点在所述可见光图像中的所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角；以及基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。

【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，包括：获取红外图像和可见光图像，所述红外图像和所述可见光图像分别通过红外图像传感器和可见光图像传感器采集；检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标；获取所述红外图像中人脸区域的中心点在所述可见光图像中的所述对应点相对所述可见光图像的中心点的水平夹角和垂直夹角，所述水平夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的水平方向的夹角，所述垂直夹角为所述对应点与所述可见光图像的中心点连线相对所述可见光图像的垂直方向的夹角；以及基于所述水平夹角和所述垂直夹角控制云台转动，以对目标对象的人脸进行跟踪。2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标包括：获取所述红外图像传感器感应到的热辐射点在所述红外图像中的坐标；将所述红外图像中所述热辐射点的坐标对应的像素值标记为1，并将像素值为1的区域作为所述红外图像中的目标对象区域；提取所述目标对象区域中的预定区域作为所述红外图像中人脸区域；以及获取所述红外图像中人脸区域的中心点的坐标值，作为所述红外图像中人脸区域的中心点的坐标。3.根据权利要求2所述的人脸跟踪方法，其特征在于，所述获取所述红外图像中人脸区域的中心点的坐标值，作为所述红外图像中人脸区域的中心点的坐标包括：截取所述红外图像中人脸区域的外切矩形，并以所述外切矩形的中心点的坐标作为所述红外图像中人脸区域的中心点的坐标。4.根据权利要求1所述的人脸检测方法，其特征在于，根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的对应点的对应坐标包括：基于坐标变换关系，将所述红外图像中人脸区域的中心点的坐标变换为所述可见光图像中的所述对应点的对应坐标。5.根据权利要求4所述的人脸跟踪方法，其特征在于，所述方法还包括：基于包括第一参照物的红外图像和包括所述第一参照物的可见光图像获取所述坐标变换关系，其中所述获取所述坐标变换关系的步骤包括：通过所述可见光图像传感器和所述红外图像传感器分别获取所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像，其中，所述第一参照物置于所述可见光图像传感器和所述红外图像传感器的视角范围内，并且所述第一参照物上标记有至少一个参照点；分别在所述包括所述第一参照物的可见光图像和所述包括所述第一参照物的红外图像中获取所述至少一个参照点的坐标；以及通过所述包括所述第一参照物的可见光图像中的所述至少一个参照点的坐标和所述包括所述第一参照物的红外图像中的所述至少一个参照点的坐标，获取所述坐标变换关系。6.一种人脸跟踪装置，其特征在于，包括：图像获取模块，所述图像获取模块用于获取红外图像和可见光图像；红外图像人脸中心点坐标获取模块，所述红外图像人脸中心点坐标获取模块用于检测所述红外图像中的目标对象的人脸区域并获取所述红外图像中人脸区域的中心点的坐标；可见光图像对应坐标获取模块，所述可见光图像对应坐标获取模块用于根据所述红外图像中人脸区域的中心点的坐标，获取所述红外图像中人脸区域的中心点在所述可见光图像中的...

【专利技术属性】
技术研发人员：卢宏刚，
申请(专利权)人：北京旷视科技有限公司，北京小孔科技有限公司，
类型：发明
国别省市：北京;11