人脸三维重建方法、装置、电子设备及可读存储介质制造方法及图纸

本说明书实施例公开了一种人脸三维重建方法，获取多帧人脸图像，针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据；根据每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集进行三维重建，得到重建三维人脸图像。

【技术实现步骤摘要】
人脸三维重建方法、装置、电子设备及可读存储介质
本说明书实施例涉及人脸图像处理
，尤其涉及一种人脸三维重建方法、装置、电子设备及可读存储介质。
技术介绍
随着人脸识别技术的飞速发展，人脸识别技术越来越多的应用在人们的日常生活中，人脸识别技术应用在例如车站的刷脸进站，超市的刷脸付钱和手机APP的刷脸登录等场景中。目前在刷脸应用场景中，在传统2D数据基础上，配合使用3D摄像头对人脸进行识别会提高人脸识别的效果，但是由于硬件和环境限制，单帧采集到的3D数据往往质量很差，因此需要采集多帧3D数据，并进行3D人脸的重建，重建后的效果才能满足识别要求，而重建过程需要对采集的3D人脸数据进行大量的运算。
技术实现思路
本说明书实施例提供了一种人脸三维重建方法、装置、电子设备及可读存储介质，能够在确保三维人脸重建的准确度基础上提高重建效率。本说明书实施例第一方面提供了一种人脸三维重建方法，包括：获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；针对所述多帧人脸图像中的本文档来自技高网...

【技术保护点】
1.一种人脸三维重建方法，包括：/n获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；/n针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；/n从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像...

【技术特征摘要】
1.一种人脸三维重建方法，包括：
获取多帧人脸图像，其中，所述多帧人脸图像中每帧人脸图像包括二维人脸数据和三维人脸数据；
针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集；
从所述多帧人脸图像中选取一帧人脸图像作为目标人脸图像，针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，其中，所述剩余帧人脸图像为所述多帧人脸图像中除所述目标人脸图像之外的所有人脸图像；
根据所述剩余帧人脸图像中每帧人脸图像的配准数据和所述目标人脸图像的三维关键点集，对所述目标人脸图像进行三维重建，得到重建三维人脸图像。


2.如权利要求1所述的重建方法，所述针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集进行三维映射，并根据三维映射得到的三维关键点集进行采样，得到该帧人脸图像的三维采样点集，包括：
针对所述多帧人脸图像中的每帧人脸图像，对该帧人脸图像中的二维人脸数据进行关键点检测，得到该帧人脸图像的二维关键点集；将该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集；根据该帧人脸图像中的三维关键点集，对该帧人脸图像中的三维人脸数据进行采样，得到该帧人脸图像的三维采样点集。


3.如权利要求2所述的重建方法，所述针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像的二维关键点集映射到该帧人脸图像中的三维人脸数据中，得到该帧人脸图像的三维关键点集，包括：
针对所述多帧人脸图像中的每帧人脸图像，将该帧人脸图像中的二维人脸数据和三维人脸数据进行特征匹配，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的二维关键点集，得到该帧人脸图像的三维关键点集。


4.如权利要求3所述的重建方法，所述针对所述多帧人脸图像中的每帧人脸图像，根据该帧人脸图像中的三维关键点集，对该帧人脸图像中的三维人脸数据进行采样，得到该帧人脸图像的三维采样点集，包括：
针对每帧人脸图像，根据该帧人脸图像的三维关键点集，从该帧人脸图像的三维人脸数据中确定出该帧人脸图像的采样区域，在该帧人脸图像中的采样区域中进行采样，得到该帧人脸图像的三维采样点集。


5.如权利要求1所述的重建方法，所述针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据进行坐标转换，并对坐标转换后的三维采样点集进行配准，得到该帧人脸图像的配准数据，包括：
针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据，将该帧人脸图像的三维人脸数据进行坐标转换，得到该帧人脸图像的转换三维人脸数据；对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据。


6.如权利要求5所述的重建方法，所述针对剩余帧人脸图像中的每帧人脸图像，根据该帧人脸图像的三维采样点集和所述目标人脸图像的目标三维人脸数据，将该帧人脸图像的三维人脸数据进行坐标转换，得到该帧人脸图像的转换三维人脸数据，包括：
针对所述剩余帧人脸图像中的每帧人脸图像，使用配准算法对该帧人脸图像的三维采样点集和所述目标三维人脸数据进行配准，得到该帧人脸图像的转换矩阵；根据该帧人脸图像的转换矩阵和该帧人脸图像的三维人脸数据，得到该帧人脸图像的转换三维人脸数据。


7.权利要求6所述的重建方法，所述针对所述剩余帧人脸图像中的每帧人脸图像，对该帧人脸图像的转换三维人脸数据和所述目标三维人脸数据进行配准，得到该帧人脸图像的配准数据，包括：
针对所述剩余帧人脸图像中的每帧人脸图像，将该帧人脸图像的转换三维人脸数据进行采样，得到该帧人脸图像的配准采样点集；将所述目标三维人脸数据映射到目标二维图像中，其中，所述目标二维图像包括多个二维单元格中；采用配准算法将该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人脸图像的配准数据。


8.权利要求7所述的重建方法，所述针对所述剩余帧人脸图像中的每帧人脸图像，采用配准算法将该帧人脸图像的配准采样点集和所述目标二维图像进行配准，得到该帧人...

【专利技术属性】
技术研发人员：贾贝，陈锦伟，马晨光，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33