图像处理、AR显示与直播方法、设备及存储介质技术

本申请实施例提供一种图像处理、AR显示与直播方法、设备及存储介质。在本申请实施例中，基于先验3D人脸模型对2D图像进行三维重建，在三维重建过程中，结合2D人脸图像到重建出的3D人脸模型的位置映射关系进行人脸姿态估计，获取2D人脸姿态数据，在将三维重建出的3D人脸模型投影到2D人脸图像时，利用该2D人脸姿态数据对目标3D人脸模型执行向2D人脸图像的透视投影处理，充分考虑2D人脸的姿态数据，使得3D人脸模型投影到2D图像的效果更贴合更真实，为高精度需求的应用提供更多的可能。精度需求的应用提供更多的可能。精度需求的应用提供更多的可能。

【技术实现步骤摘要】
图像处理、AR显示与直播方法、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像处理、AR显示与直播方法、设备及存储介质。

技术介绍

[0002]基于视觉的三维人脸重建及姿态估计在增强现实(Augmented Reality，AR)实时直播的3D头像创建、人脸动画生成、AR化妆或AR试戴等应用场景中有着重要的应用价值。例如，在AR化妆场景中，需要将一些美妆特效(如，腮红、口红等)添加到重建的三维人脸模型上，然后将添加美妆特效的三维人脸模型投影到二维人脸图像进行呈现。又例如，在AR试戴场景中，需要将试戴产品(如，太阳镜、耳环等)添加到重建的三维人脸模型上，然后将添加试戴产品的三维人脸模型投影到二维人脸图像进行呈现。其中，在将三维人脸模型投影到二维人脸图像时，经常出现重建的三维人脸模型和二维人脸图像不贴合的问题，例如，在AR化妆场景中出现的妆容扭曲或悬浮等问题，使得重建三维人脸模型的应用受到限制。

技术实现思路

[0003]本申请的多个方面提供一种图像处理、AR显示与直播方法、设备及存储介质，使得3D人脸模型投影到2D图像的效果更贴合更真实，为高精度需求的应用提供更多的可能。
[0004]本申请实施例提供一种图像处理方法，包括：基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型；在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；根据2D人脸的姿态数据针对目标3D人脸模型执行向2D人脸图像的透视投影处理。
[0005]本申请实施例还提供一种AR显示方法，适用于AR显示设备，AR显示设备带有摄像头，方法包括：AR显示设备利用摄像头采集使用者的2D人脸图像，并在其显示屏幕上显示2D人脸图像；基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型，并在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；以及在目标3D人脸模型上添加目标对象；根据2D人脸的姿态数据，针对添加目标对象后的目标3D人脸模型执行向2D人脸图像的透视投影处理，并在显示屏幕上显示带有目标对象的2D人脸图像。
[0006]本申请实施例还提供一种直播方法，包括：利用摄像头采集主播端的初始直播视频，初始直播视频中包含2D人脸图像；基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型，并在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；以及在3D目标人脸模型上添加直播动效或产品；根据2D人脸的姿态数据针对添加直播动效或产品后的目标3D人脸模型执行向2D人脸图像的透视投影处理，以得到目标直播视频，并将目标直播视频发送给播放终端，目标直播视频中包含带有直播动效或产品的2D人脸图像。
[0007]本申请实施例还提供一种图像处理装置，包括：三维重建模块，用于基于先验3D人
脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型；姿态估计模块，用于在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；透视投影模块，用于根据2D人脸的姿态数据针对目标3D人脸模型执行向2D人脸图像的透视投影处理。
[0008]本申请实施例还提供一种图像处理设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型；在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；根据2D人脸的姿态数据针对目标3D人脸模型执行向2D人脸图像的透视投影处理。
[0009]本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例提供的图像处理方法、AR显示方法以及直播方法中的步骤。
[0010]本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器实现本申请实施例提供的图像处理方法、AR显示方法以及直播方法中的步骤。
[0011]在本申请实施例中，基于先验3D人脸模型对2D图像进行三维重建，在三维重建过程中，结合2D人脸图像到重建出的3D人脸模型的位置映射关系进行人脸姿态估计，获取2D人脸姿态数据，在将三维重建出的3D人脸模型投影到2D人脸图像时，利用该2D人脸姿态数据对目标3D人脸模型执行向2D人脸图像的透视投影处理，充分考虑2D人脸的姿态数据，使得3D人脸模型投影到2D图像的效果更贴合更真实，为高精度需求的应用提供更多的可能。
附图说明
[0012]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0013]图1为本申请示例性实施例提供的一种图像处理方法的流程示意图；
[0014]图2为本申请示例性实施例提供的一种用于生成先验3D人脸模型的神经网络模型结构示意图；
[0015]图3a为本申请示例性实施例提供的一种基于神经网络模型进行人脸图像处理的架构图；
[0016]图3b为本申请示例性实施例提供的一种基于神经网络模型进行三维重建的架构图；
[0017]图3c为本申请示例性实施例提供的另一种基于神经网络模型进行三维重建和人脸姿态估计的架构图；
[0018]图3d为本申请示例性实施例提供的一种第一神经网络模型的架构图及其进行特征提取的过程；
[0019]图3e为本申请示例性实施例提供的一种第二神经网络模型的架构图及其进行特征提取的过程；
[0020]图3f为本申请示例性实施例提供的一种针对基于单幅RGB/RGB
‑
D图像和3D人脸形状先验的神经网络模型结构的示意图；
[0021]图3g为本申请示例性实施例提供的一种RGB图像的示意图；
[0022]图3h为本申请示例性实施例提供的一种裁剪出人脸区域后的RGB图像的示意图；
[0023]图3i为本申请示例性实施例提供的一种3D人脸投影到2D图像中的效果图；
[0024]图3j为本申请示例性实施例提供的一种针对基于RGB图像与深度图像的融合和3D人脸形状先验的神经网络模型结构的示意图；
[0025]图4a为本申请示例性实施例提供的一种直播系统的结构示意图；
[0026]图4b为本申请示例性实施例提供的一种直播方法的流程示意图；
[0027]图4c为本申请示例性实施例提供的一种AR显示系统的结构示意图；
[0028]图4d为本申请示例性实施例提供的一种AR显示方法的流程示意图；
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：基于先验3D人脸模型对2D人脸图像进行三维重建，得到所述2D人脸图像对应的目标3D人脸模型；在三维重建过程中，结合所述2D人脸图像到所述目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；根据所述2D人脸的姿态数据针对所述目标3D人脸模型执行向所述2D人脸图像的透视投影处理。2.根据权利要求1所述的方法，其特征在于，基于先验3D人脸模型对2D人脸图像进行三维重建，得到所述2D人脸图像对应的目标3D人脸模型，包括：利用第一神经网络模型对所述2D人脸图像进行特征提取，得到2D人脸全局特征图；利用第二神经网络模型对所述先验3D人脸模型进行特征提取，得到所述先验3D人脸模型上多个3D点的特征向量；根据所述2D人脸全局特征图和所述多个3D点的特征向量，生成3D人脸形变参数；根据所述3D人脸形变参数和所述先验3D人脸模型，重建所述2D人脸图像对应的目标3D人脸模型。3.根据权利要求2所述的方法，其特征在于，在利用第一神经网络模型对所述2D人脸图像进行特征提取的过程中，还包括：基于所述2D人脸全局特征图生成多个像素点的特征向量，所述多个像素点来自所述2D人脸图像的人脸区域中；相应地，利用第二神经网络模型对所述先验3D人脸模型进行特征提取，得到所述先验3D人脸模型上多个3D点的特征向量，包括：利用第二神经网络模型对所述先验3D人脸模型进行特征提取，得到3D人脸全局特征图，基于所述3D人脸全局特征图生成所述多个3D点的特征向量；相应地，在三维重建过程中，结合所述2D人脸图像到所述目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据，包括：将所述3D人脸全局特征和所述多个像素点的特征向量进行拼接，得到第二融合特征；利用第四神经网络模型对所述第二融合特征进行特征学习，得到2D
‑
3D映射参数；根据所述2D
‑
3D映射参数和所述目标3D人脸模型对所述2D人脸图像中的人脸进行姿态估计，以得到2D人脸的姿态数据。4.根据权利要求3所述的方法，其特征在于，利用第一神经网络模型对所述2D人脸图像进行特征提取，得到2D人脸全局特征图，包括：将所述2D人脸图像送入第一神经网络模型中的人脸分割网络层进行人脸分割，得到所述2D人脸图像的初始特征图和所述2D人脸图像中的人脸区域，所述人脸区域包括所述多个像素点，且所述初始特征图中包括所述多个像素点的特征；将所述多个像素点的特征输入第一神经网络模型中的第一特征提取网络层针对2D人脸进行特征提取，得到2D人脸全局特征图；相应地，基于所述2D人脸全局特征图生成多个像素点的特征向量，包括：将所述2D人脸全局特征图输入第一神经网络模型中的第二特征提取网络层针对每个像素点进行特征提取，得到多个像素点的特征向量。5.根据权利要求3所述的方法，其特征在于，利用第二神经网络模型对所述先验3D人脸
模型进行特征提取，得到3D人脸全局特征，包括：从所述先验3D人脸模型上选取多个3D点，将所述多个3D点的位置坐标输入第二神经网络模型中的第三特征提取网络层进行特征提取，得到3D人脸全局特征；相应地，基于所述3D人脸全局特征图生成所述多个3D点的特征向量，包括：将所述3D人脸全局特征输入第二神经网络模型中的第四特征提取网络层进行特征提取，得到所述多个3D点的特征向量。6.根据权利要求3
‑
5任一项所述的方法，其特征在于，在得到2D人脸的姿态数据之前，还包括：获取基准3D人脸模型...

【专利技术属性】
技术研发人员：考月英，吕江靖，盘博文，李晓波，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：