一种人脸三维扫描系统的相机自动跟踪方法技术方案

本发明专利技术提供了一种人脸三维扫描系统的相机自动跟踪方法，包括以下步骤：S100：启动对人脸的三维扫描设备；S200：三维扫描设备以一定帧率进行人体面部的图像的连续采集并缓存；针对采集到的每一帧图像，执行人脸检测算法，该帧图像否存在人脸时执行步骤S300；S300：计算并判断人脸在图像中的位置是否符合相机扫描要求，当人脸在图像中位置满足扫描要求后，表示当前人脸处于扫描位置；如相机正在跟踪人脸或者人脸位置不符合扫描要求，则执行步骤S400；S400：三维扫描设备开始连续记录当前人脸的位置，人脸的位置稳定时跳转到步骤S500；S500：三维扫描设备执行自动跟踪算法进行人脸的自动跟踪扫描。的自动跟踪扫描。的自动跟踪扫描。

【技术实现步骤摘要】
一种人脸三维扫描系统的相机自动跟踪方法


[0001]本专利技术涉及面部扫描
，尤其涉及一种人脸三维扫描系统的相机自动跟踪方法。

技术介绍

[0002]逼真的三维人脸模型在医疗、电影或者游戏人物建模等领域有着广泛的应用。目前主流的三维人脸数据采集方法主要是通过结构光三维重建系统采集人脸深度数据和纹理信息，然后经过一系列数据处理最终生成三维人脸模型。结构光三维重建系统的硬件主要由投影模块和成像模块组成，且两个模块结合形成3D相机，以下简称相机。投影模块投射规则的编码图案到待测物体的表面，形成漫反射，投影的图案随着物体表面轮廓发生变化而变化，同时采用成像模块采集被测物体表面图案。
[0003]根据光的直线传播原理，光线无法到达的位置将无法进行三维扫描，且用于三维扫描的相机镜头通常为定焦镜头，无法进行自动或手动变焦，因此合适的扫描位置和姿态非常重要。在人脸三维扫描系统中，通常需要人脸正对相机进行扫描，为满足此需求，可通过拍摄者手动调整相机角度和高度或被拍摄者调整自身坐姿或座椅高度来实现。但无论采用哪种方式，都很难做到精确调整，需要经过多次调整和确认，导致扫描的灵活性较差。三维扫描时，除了避免模型产生缺陷，用户的整体形象也非常重要。对于传统的人像摄影，通常是由摄影师凭借个人经验决定拍摄方位和角度，由于个人经验的差异将导致人像效果褒贬不一，三维扫描也是如此。如果能够设计一些跟踪规则，让相机在自动跟踪之前，通过用户人脸特征匹配，实现个性化扫描，能有效提升用户的体验。

技术实现思路

[0004]有鉴于此，本专利技术提出了一种能检测用户脸部位置及脸部姿态、提示用户及时调整姿态的人脸三维扫描系统的相机自动跟踪方法。
[0005]本专利技术的技术方案是这样实现的：本专利技术提供了一种人脸三维扫描系统的相机自动跟踪方法，包括如下步骤：
[0006]S100；启动对人脸的三维扫描设备，该设备具有拍摄人体面部的相机；
[0007]S200：三维扫描设备以一定帧率进行人体面部的图像的连续采集并缓存；针对采集到的每一帧图像，执行人脸检测算法，判断该帧图像中是否存在人脸，如果存在人脸，则执行步骤S300；如果该帧图像中不存在人脸，则清空已缓存的该帧图像，三维扫描设备提示人体调整姿态并重新进行人体面部的图像采集并缓存；
[0008]S300：判断人脸在图像中的位置是否符合相机扫描要求，当人脸在图像中位置满足扫描要求后，表示当前人脸处于扫描位置；查询相机是否正在跟踪人脸，如相机未在跟踪人脸，则立即开始人脸扫描；如相机正在跟踪人脸，或者人脸位置不符合扫描要求，则执行步骤S400；
[0009]S400：三维扫描设备开始连续记录当前人脸的位置，并计算若干个人脸位置的方
差，当方差小于人脸位置阈值时，说明人脸的位置稳定，跳转到步骤S500；如果方差大于人脸位置阈值时，表示人脸的位置不稳定，清空已缓存的人脸位置不符合相机扫描要求的各帧图像，返回重新执行步骤S200；
[0010]S500：三维扫描设备执行自动跟踪算法进行人脸的自动跟踪扫描，对相机的位置或者用户姿势的双向调整，使得相机能够获得合格的人脸姿态，获得合格的人脸姿态后，停止执行自动跟踪算法，返回重新执行步骤S200—S300，开始人脸扫描。
[0011]在以上技术方案的基础上，优选的，所述人脸在图像中的位置是否符合相机扫描要求，是指人脸位置距离相机采集的图像横向方向边距不超过图像总体宽度的1/5，且人脸位置距离图像纵向方向边距不超过图像总体高度的1/5。
[0012]进一步优选的，所述三维扫描设备执行自动跟踪算法包括如下步骤：
[0013]S501：在获取的缓存图像中预设矩形的人脸ROI区域A，区域A每个顶点的坐标为(x
Ai
,y
Ai
)；令每一张缓存的图像的实际人脸ROI区域为B，区域B每个顶点的坐标为(x
Bi
,y
Bi
)；计算预设矩形的人脸ROI区域A与每一张缓存的图像的实际人脸ROI区域B之间的均方根误差RMSE
ROI
：设定人脸区域均方根误差阈值，如果RMSE
ROI
超过该均方根误差阈值，计算图像的实际人脸ROI区域为B与预设人脸ROI区域A的方向向量v1＝(x
A0
,y
A0
,0)
‑
(x
B0
,y
B0
,0)，其中x
A0
,y
A0
为预设人脸ROI区域A的一个顶点的坐标值，x
B0
,y
B0
为实际人脸ROI区域为B对应的顶点的坐标值，由三维扫描设备驱动相机按照方向向量v1的方向来调整相机姿态，重复执行以上步骤；如果RMSE
ROI
不超过均方根误差阈值，则跳转到步骤S502；
[0014]S502：进行人脸姿态估计，对人脸图像进行特征点检测，根据不同人体的脸型，提取人脸的特征点，并设定人脸图像的跟踪规则；提取人脸图像中额头、眼部、鼻部、口部以及下巴处对应的特征点的坐标，令这些特征点的在像素坐标系的坐标为(x1,y1)、(x2,y2)、
…
、(x
n
,y
n
)；将上述特征点映射到三维模型，提取对应的三维坐标(u1,v1,w1)、(u2,v2,w2)、
…
、(u
n
,v
n
,w
n
)；根据相机成像模型中世界坐标系下的坐标(U,V,W到相机坐标系的坐标(X,Y,Z的变换关系：和像素坐标系与世界坐标系的关系通过一组已知的特征点坐标(x1,y1)、(x2,y2)、
…
、(x
n
,y
n
)及其对应的三维坐标(u1,v1,w1)、(u2,v2,w2)、
…
、(u
n
,v
n
,w
n
)，采用PNP算法求解变换矩阵M＝[R t]；其中为旋转矩阵，为平移矩阵；f
x
、f
y
、c
x
和c
y
为相机内参；并判断人脸的姿态是否合格：如果人脸姿态合格，则转入步骤S503；如果人脸姿态不合格，则提示人体调整姿势，重新执
行步骤S200—S502，直到人脸姿态合格；
[0015]步骤S503：在世界坐标系中预设一人脸姿态；人脸姿态合格后，以变换矩阵M构建空间变换矩阵，对边长为1且位于世界坐标原点的立方体三角网格进行空间变换得到人脸的OBB包围盒Q；预设一OBB包围盒P；计算OBB包围盒Q与预设OBB包围盒P的均方根误差RMSE
OBB
，令OBB包围盒Q的各顶点坐标为(x
Q
,y
Q
,z
Q
，预设OBB包围盒P的各顶点坐标为(x
P
,y
P...

【技术保护点】

【技术特征摘要】
1.一种人脸三维扫描系统的相机自动跟踪方法，其特征在于：包括如下步骤：S100；启动对人脸的三维扫描设备，该设备具有拍摄人体面部的相机；S200：三维扫描设备以一定帧率进行人体面部的图像的连续采集并缓存；针对采集到的每一帧图像，执行人脸检测算法，判断该帧图像中是否存在人脸，如果存在人脸，则执行步骤S300；如果该帧图像中不存在人脸，则清空已缓存的该帧图像，三维扫描设备提示人体调整姿态并重新进行人体面部的图像采集并缓存；S300：判断人脸在图像中的位置是否符合相机扫描要求，当人脸在图像中位置满足扫描要求后，表示当前人脸处于扫描位置；查询相机是否正在跟踪人脸，如相机未在跟踪人脸，则立即开始人脸扫描；如相机正在跟踪人脸，或者人脸位置不符合扫描要求，则执行步骤S400；S400：三维扫描设备开始连续记录当前人脸的位置，并计算若干个人脸位置的方差，当方差小于人脸位置阈值时，说明人脸的位置稳定，跳转到步骤S500；如果方差大于人脸位置阈值时，表示人脸的位置不稳定，清空已缓存的人脸位置不符合相机扫描要求的各帧图像，返回重新执行步骤S200；S500：三维扫描设备执行自动跟踪算法进行人脸的自动跟踪扫描，对相机的位置或者用户姿势的双向调整，使得相机能够获得合格的人脸姿态，获得合格的人脸姿态后，停止执行自动跟踪算法，返回重新执行步骤S200—S300，开始人脸扫描。2.根据权利要求1所述的一种人脸三维扫描系统的相机自动跟踪方法，其特征在于：所述人脸在图像中位置满足扫描要求，是指人脸位置距离相机采集的图像横向方向边距不超过图像总体宽度的1/5，且人脸位置距离图像纵向方向边距不超过图像总体高度的1/5。3.根据权利要求2所述的一种人脸三维扫描系统的相机自动跟踪方法，其特征在于：所述三维扫描设备执行自动跟踪算法包括如下步骤：S501：在获取的缓存图像中预设矩形的人脸ROI区域A，区域A每个顶点的坐标为(x
Ai
,y
Ai
)；令每一张缓存的图像的实际人脸ROI区域为B，区域B每个顶点的坐标为(x
Bi
,y
Bi
)；计算预设矩形的人脸ROI区域A与每一张缓存的图像的实际人脸ROI区域B之间的均方根误差RMSE
ROI
：设定人脸区域均方根误差阈值，如果RMSE
ROI
超过该均方根误差阈值，计算图像的实际人脸ROI区域为B与预设人脸ROI区域A的方向向量v1＝(x
A0
,y
A0
,0)
‑
(x
B0
,y
B0
,0)，其中x
A0
,y
A0
为预设人脸ROI区域A的一个顶点的坐标值，x
B0
,y
B0
为实际人脸ROI区域为B对应的顶点的坐标值，由三维扫描设备驱动相机按照方向向量v1的方向来调整相机姿态，重复执行以上步骤；如果RMSE
ROI
不超过均方根误差阈值，则跳转到步骤S502；S502：进行人脸姿态估计，对人脸图像进行特征点检测，根据不同人体的脸型，提取人脸的特征点，并设定人脸图像的跟踪规则；提取人脸图像中额头、眼部、鼻部、口部以及下巴处对应的特征点的坐标，令这些特征点的在像素坐标系的坐标为(x1,y1)、(x2,y2)、
…
、(x
n
,y
n
)；将上述特征点映射到三维模型，提取对应的三维坐标(u1,v1,w1)、(u2,v2,w2)、
…
、(u
n
,v
n
,w
n
)；根据相机成像模型中世界坐标系下的坐标(U,V,W到相机坐标系的坐标(X,Y,Z的变
换关系：和像素坐标系与世界坐标系的关系通过一组已知的特征点坐标(x1,y1)、(x2,y2)、
…
、(x
n
,y
n
)及其对应的三维坐标(u1,v1,w1)、(u2,v2,w2)、
…
、(u
n
,v
n
,w
n
)，采用PNP算法求解变换矩阵M＝[R t]；其中为旋转矩阵，为平移矩阵；f
x
、f
y
、c
x
和c
y
为相机内参；并判断人脸的姿态是否合格...

【专利技术属性】
技术研发人员：刘洋汉，
申请(专利权)人：武汉易维晟医疗科技有限公司，
类型：发明
国别省市：