4D制造技术

本发明专利技术提供了一种

【技术实现步骤摘要】
4D人脸数据采集方法及装置


[0001]本专利技术涉及人脸采集
，尤其涉及一种
4D
人脸数据采集方法及装置
。

技术介绍

[0002]为了获取人脸的全脸表面三维数据模型，需要三维扫描装置进行人脸三维扫描，现有的动态
4D
人脸采集技术，主要有两个实现思路
。
一个是静态三维扫描，然后借助一些人工智能的方法，将静态的三维模型进行仿生牵引和形变，模拟出动态的效果
。
另一个思路是进行多次的静态三维扫描，每次扫描获取一个三维模型，多次扫描之后，将获取的多组三维数字模型在第三方的软件中进行匹配对齐，然后按照时间先后进行序列展示
。
[0003]仿生牵引静态三维模型，模拟动态效果，只有静态采集的那一次原始的模型才是患者准确的三维数据，虽然有动态的效果，但是形变产生的数据已经不准确，仿生的逼真仅仅依靠人工智能算法的预估，无法为医生提供精准的数据，在临床上参考的意义不大
。
[0004]不同表情的多次静态采集方法，最终序列中的每一个三维模型都来源于采集的原始数据，准确性高，但是采集过程繁琐而难以操作，具体来说，每次静态扫描，都要求被扫描目标保持一个僵硬的表情，等扫描和三维重建进行完之后再换另外一个僵硬表情，为了后续三维模型序列的连贯性，要求目标每次表情的变化幅度足够小，而且每个表情都需要保持一小段时间
。
这对于没有收过专业训练的普通求诊患者，几乎无法做到
。
[0005]因此，现有技术还有待于改进和发展
。

技术实现思路

[0006]本专利技术提供了一种
4D
人脸数据采集方法及装置，本专利技术的主要目的在于解决现有技术所存在
技术介绍
中所提到的技术问题
。
[0007]本专利技术第一方面提供了一种
4D
人脸数据采集方法，包括以下步骤：
[0008]提供
4D
人脸数据采集装置，所述
4D
人脸数据采集装置包括3组三维采集模组，以俯视角度来看，3组所述三维采集模组呈品字形分布，每组所述三维采集模组均包括结构光单元和相机单元，3组所述三维采集模组的所述结构光单元的光波频段不同；
[0009]利用所述
4D
人脸数据采集装置的3组所述三维采集模组同时对人脸正面进行三维动态扫描和拍照，获得时间尺度下动态变化的多组人脸三维点云数据和多组人脸贴图数据；
[0010]对每组所述人脸三维点云数据进行网格化处理，获得人脸网格化数据；
[0011]对每组所述人脸网格化数据进行对应所述人脸贴图数据的贴图处理，获得三维人脸模型；
[0012]将获得的多组所述三维人脸模型基于时间尺度组成动态序列，获得
4D
人脸模型
。
[0013]在本专利技术第一方面一种可选的实施方式中，所述对每组所述人脸网格化数据进行对应所述人脸贴图数据的贴图处理，获得三维人脸模型之后，所述将获得的多组所述三维人脸模型基于时间尺度组成动态序列，获得
4D
人脸模型之前还包括：
[0014]在三维空间中，利用人脸识别的空间关键点信息，调整时间尺度上第一组所述三维人脸模型的空间位姿，获取得到旋转平移矩阵，并将所述旋转平移矩阵应用到后续的各组所述三维人脸模型上
。
[0015]在本专利技术第一方面一种可选的实施方式中，所述在三维空间中，利用人脸识别的空间关键点信息，调整时间尺度上第一组所述三维人脸模型的空间位姿，获取得到旋转平移矩阵，并将所述旋转平移矩阵应用到后续的各组所述三维人脸模型上包括：
[0016]以时间尺度上第一组所述三维人脸模型的质心为世界坐标系的坐标原点；
[0017]以左右两耳屏点到各自对应的眼下框点组成的不共线的两个空间向量构成
XY
平面；
[0018]以
XY
平面指向头顶的法向为
Z
轴，以左耳屏点到右耳屏点为
X
轴；
[0019]以笛卡尔右手坐标系为参考，分别垂直于
X
轴和
Z
轴，并从所述坐标原点指向鼻尖点的方向为
Y
轴；
[0020]利用所述三维人脸模型上关键点的模型坐标，分别计算三个轴和坐标原点的关系式，得到所述三维人脸模型变化到所述世界坐标系的旋转平移矩阵
。
[0021]在本专利技术第一方面一种可选的实施方式中，所述对每组所述人脸三维点云数据进行网格化处理，获得人脸网格化数据之前包括：
[0022]对每组所述人脸三维点云数据进行去除离群点处理；
[0023]以及，对去离群点后剩余所述人脸三维点云数据进行平滑
。
[0024]在本专利技术第一方面一种可选的实施方式中，所述对每组所述人脸三维点云数据进行去除离群点处理包括：
[0025]在三维空间中，以所述人脸三维点云数据中的每个点为中心，统计三维空间内距离每个点为
r1的范围内所存在的其他点的个数；
[0026]对于每个点，若半径
r1的空间范围内所存在的其他点的个数小于预设的经验阈值，则判定这个点就为离群点，需要在所述人脸三维点云数据中去除
。
[0027]在本专利技术第一方面一种可选的实施方式中，所述对去离群点后剩余所述人脸三维点云数据进行平滑包括：
[0028]对于所述人脸三维点云数据中的每个点，在三维空间中，以所述人脸三维点云数据中的每个点为中心，划定一个半径
r2的平滑处理区域；
[0029]对每个所述平滑处理区域内的所有点进行各方向的组成线性队列判断，找出偏离队列的点；
[0030]对偏离队列的点进行位移补偿，以使得所述人脸三维点云数据中的所有点平滑过渡
。
[0031]在本专利技术第一方面一种可选的实施方式中，所述对每组所述人脸三维点云数据进行网格化处理，获得人脸网格化数据包括：
[0032]将所述人脸三维点云数据中的的每三个点组成一个三角形；
[0033]将获得的若干三角形以公共点或者公共边的方式整齐排列连接，组成网状的连续面，以获得人脸网格化数据
。
[0034]在本专利技术第一方面一种可选的实施方式中，所述对每组所述人脸网格化数据进行对应所述人脸贴图数据的贴图处理，获得三维人脸模型包括：
[0035]按照相机坐标的排列方式，将所述人脸贴图数据和所述人脸网格化数据初步对齐，然后进行重投影；
[0036]获取所述人脸网格化数据中每一个点在所述人脸贴图数据上的对应坐标，并将获得的对应坐标集按照所述人脸网格化数据中的三角形进行分组；
[0037]遍历所述人脸网格化数据中的所有三角形，将分组得到的各组对应坐标重新映射到三角形的三个顶点；
[0038]对于三角形的内部区域则按照线形拉伸或者压缩的方式调整区域纹理，完成所述人脸网格化数据的纹理贴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
4D
人脸数据采集方法，其特征在于，包括以下步骤：提供
4D
人脸数据采集装置，所述
4D
人脸数据采集装置包括3组三维采集模组，3组所述三维采集模组呈品字形分布，每组所述三维采集模组均包括结构光单元和相机单元，3组所述三维采集模组的所述结构光单元的光波频段不同；利用所述
4D
人脸数据采集装置的3组所述三维采集模组同时对人脸正面进行三维动态扫描和拍照，获得时间尺度下动态变化的多组人脸三维点云数据和多组人脸贴图数据；对每组所述人脸三维点云数据进行网格化处理，获得人脸网格化数据；对每组所述人脸网格化数据进行对应所述人脸贴图数据的贴图处理，获得三维人脸模型；将获得的多组所述三维人脸模型基于时间尺度组成动态序列，获得
4D
人脸模型
。2.
根据权利要求1所述的
4D
人脸数据采集方法，其特征在于，所述对每组所述人脸网格化数据进行对应所述人脸贴图数据的贴图处理，获得三维人脸模型之后，所述将获得的多组所述三维人脸模型基于时间尺度组成动态序列，获得
4D
人脸模型之前还包括：在三维空间中，利用人脸识别的空间关键点信息，调整时间尺度上第一组所述三维人脸模型的空间位姿，获取得到旋转平移矩阵，并将所述旋转平移矩阵应用到后续的各组所述三维人脸模型上
。3.
根据权利要求2所述的
4D
人脸数据采集方法，其特征在于，所述在三维空间中，利用人脸识别的空间关键点信息，调整时间尺度上第一组所述三维人脸模型的空间位姿，获取得到旋转平移矩阵，并将所述旋转平移矩阵应用到后续的各组所述三维人脸模型上包括：以时间尺度上第一组所述三维人脸模型的质心为世界坐标系的坐标原点；以左右两耳屏点到各自对应的眼下框点组成的不共线的两个空间向量构成
XY
平面；以
XY
平面指向头顶的法向为
Z
轴，以左耳屏点到右耳屏点为
X
轴；以笛卡尔右手坐标系为参考，分别垂直于
X
轴和
Z
轴，并从所述坐标原点指向鼻尖点的方向为
Y
轴；利用所述三维人脸模型上关键点的模型坐标，分别计算三个轴和坐标原点的关系式，得到所述三维人脸模型变化到所述世界坐标系的旋转平移矩阵
。4.
根据权利要求1所述的
4D
人脸数据采集方法，其特征在于，所述对每组所述人脸三维点云数据进行网格化处理，获得人脸网格化数据之前包括：对每组所述人脸三维点云数据进行去除离群点处理；以及，对去离群点后剩余所述人脸三维点云数据进行平滑
。5.
根据权利要求4所述的
4D
人脸数据采集方法，其特征在于，所述对每组所述人脸三维点云数据进行去除离群点处理包括：在三维空间中，以所述人脸三维点云数据中的每个点为中心，统计三维空间内距离每个点为
r1的范围内所存在的其他点的个数；对于每个点，若半径
r1的空间范围内所存在的其他点...

【专利技术属性】
技术研发人员：苏全新，谢双云，薛文荣，
申请(专利权)人：深圳中科智美科技有限公司，
类型：发明
国别省市：