由多幅图像重构人脸实时三维数据的方法技术

本发明专利技术公开了一种由多幅图像重构人脸实时三维数据的方法，包括以下步骤：搭建包括8个相机的拍照系统；多相机标定；图像匹配，包括：图像分组，计算第i组图像的全局匹配点，计算第i组图像的精确匹配点；由匹配点及相机的投影矩阵计算人脸三维坐标：物点在第i组的3幅图像上成像，3条投影线的交点即为该物点，以此完成人脸实时三维数据的重构。本发明专利技术所得到的人脸数据是全局的，稠密的、实时的，可直接使用，可广泛应用于动画产业、计算机3D游戏、人机交互、身份识别、医学虚拟手术、可视电话、人脸识别、人脸表情、年龄模拟、影视广告制作、计算机认知等领域。

【技术实现步骤摘要】
由多幅图像重构人脸实时三维数据的方法
本专利技术涉及一种人脸三维重构方法，具体涉及一种由多幅图像重构人脸实时三维数据的方法。
技术介绍
现有的人脸三维重构方法主要有弹性网格变形法和结构光扫描方法，这两种传统方法的技术方案和缺陷在于：(1)弹性网格变形法：将从连续的视频图像序列中提取的信息作为动画系统的控制输入，跟踪表演者面部的各个特征点并将纹理映射到多边形模型上；具体做法为将反光球粘贴在人脸上跟踪人脸的运动，由脸部的几个关键点，通过数学建模的方法得到人脸的三维数据。这种方法的缺陷在于：缺乏脸部肌肉连续变化的真实感和纹理特征；在人脸上做标记，会让人产生不适，对标记的依赖性限制了从标记位置获取几何信息的范围；而且这种方法属于数学建模的方式，得到的三维数据并不是人脸真实的三维数据。(2)光学扫描方法：采用光学扫描的方法获取人脸数据，扫描方法包括结构光扫描和激光扫描，这种方法建模精度高，可以获得和真实人脸数据。这种方法的缺陷在于：需要特殊的设备，且不管是结构光扫描还是激光扫描，获取某时刻人脸数据都需要一个过程，具体为向空间投射用于将视场划分的编码结构光需要一定的时间，也就是说，当人脸表情变化本文档来自技高网...

【技术保护点】
一种由多幅图像重构人脸实时三维数据的方法，其特征在于：包括以下步骤：(1)搭建拍照系统：将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围，其中，1、2号相机用于拍摄左边脸部；3号相机用于拍摄左边脸部和正面脸部的过渡部位；4、5号相机用于拍摄正面脸部；6号相机用于拍摄正面脸部和右边脸部的过渡部位；7、8号相机用于拍摄右边脸部；8个相机的信号输出端与处理器的信号输入端对应连接，处理器用于对获取的图像进行数据处理；(2)多相机标定：即对8个相机的内外参数进行标定，包括以下步骤：①相机分组：1、2、3号相机为一组，记为C1，4、5、6号相机为一组，记为C2，7、8号相机为一组，记为C...

【技术特征摘要】
1.一种由多幅图像重构人脸实时三维数据的方法，其特征在于：包括以下步骤：(1)搭建拍照系统：将8个编号依次为1、2、3、4、5、6、7、8的相机分布于人脸周围，其中，1、2号相机用于拍摄左边脸部；3号相机用于拍摄左边脸部和正面脸部的过渡部位；4、5号相机用于拍摄正面脸部；6号相机用于拍摄正面脸部和右边脸部的过渡部位；7、8号相机用于拍摄右边脸部；8个相机的信号输出端与处理器的信号输入端对应连接，处理器用于对获取的图像进行数据处理；(2)多相机标定：即对8个相机的内外参数进行标定，包括以下步骤：①相机分组：1、2、3号相机为一组，记为C1，4、5、6号相机为一组，记为C2，7、8号相机为一组，记为C3；②定义8个相机视场范围为有效视场；③在1、2、3号相机前随机位置放置标定板，1、2、3号相机同时采集视场中标定板图像；⑤步骤③重复7次，得到7组图像，根据平板标定算法，计算1、2、3号相机的内外参数，由内外参数求得投影矩阵分别为P1、P2、P3，外参数所在的世界坐标系为O1x1y1z1；⑤在4、5、6号相机前随机位置摆放标定板，按照步骤③、④的方法，得到4、5、6号相机的内外参数，外参数所在的世界坐标系为O2x2y2z2；⑥在7、8号相机前随机位置摆放标定板，按照步骤③、④的方法，得到7、8号相机的内外参数，外参数所在的世界坐标系为O3x3y3z3；⑦在有效视场内，放置若干同心圆标记圆，通过三个以上的公共同心圆，将坐标系O1x1y1z1、O2x2y2z2、O3x3y3z3转换到统一的一个坐标系Oxyz下，完成相机标定；(3)图像匹配：包括以下步骤：A、图像分组：将由8个相机获取的8幅图像分为4组，每组包含三幅图像，具体为：1、2、3号相机对应图像为第1组图像；3、4、5号相机对应图像为第2组图像；5、6、7号相机对应图像为第3组图像；6、7、8号相机对应图像为第4组图像；下面对每一组图像中的三幅图像进行匹配；B、计算第i组图像的全局匹配点，其中i＝1～4，第i组图像共包含三幅图像，分别定义为左、中、右图像，左、中图像组合为一组Clo1；中、右图像组合为一组Clo2；对Clo1、Clo2分别计算全局匹配点，包括以下步骤：a、计算Clo1中两幅图像的光流；b、将光流值转化为匹配值，即完成对Clo1中两幅图像的全局匹配点计算；c、按步骤a、b计算Clo2中两幅图像的光流；C、计算第i组图像的精确匹配点；(4)由匹配点及相机的投影矩阵计算人脸三维坐标：物点在第i组的3幅图像上成像，3条投影线的交点即为该物点，以此完成人脸实时三维数据的重构；所述步骤a包括以下步骤：I、计算两幅图像的初始匹配点：定义变量如下：假定两幅图像I1,I2，空间某点P在两幅图像上的成像点分别为p1，q1，其中p1点的坐标为(i,j)，灰度值为I1(i,j)，q1点的坐标为(i+u,j+v)，灰度值为I2(i+u,j+v)，(u,v)称为p1点的光流值，假定空间同一点在不同像面上的灰度值相等，即满足如下的等式：E＝λEdata(u,v)+Esmooth(u,v)其中，Edata(u,v)＝r(u,v)2＝||I1(i,j)-I2(i+u,j+v)||2，

【专利技术属性】
技术研发人员：袁建英，易丹，金峤，谢小锋，
申请(专利权)人：成都元天益三维科技有限公司，
类型：发明
国别省市：四川;51