图像重建方法技术

本申请涉及一种图像重建方法

【技术实现步骤摘要】
图像重建方法、重建模型的处理方法和装置


[0001]本申请涉及计算机
，特别是涉及一种图像重建方法
、
重建模型的处理方法
、
装置
、
计算机设备
、
存储介质和计算机程序产品
。

技术介绍

[0002]随着计算机技术的发展，各种各样的应用程序涌现，比如：购物类应用程序
、
社交类应用程序
、
图像处理类应用程序，其中，图像处理类应用程序提供各种各样的功能特效，可提升玩法趣味性
。
图像处理类应用程序需要先完成三维人脸的重建，才能完成特效的添加
。
[0003]传统技术中，在重建三维人脸模型时，从待处理图像中提取人脸姿态和表情参数，将人脸姿态和表情参数融合到先验人脸模型中，得到待处理图像中人脸的三维模型
。
然而，这种方式得到的三维人脸模型准确度不高，不够逼真
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提升三维人脸模型准确度的图像重建方法
、
重建模型的处理方法
、
装置
、
计算机设备
、
计算机可读存储介质和计算机程序产品
。
[0005]第一方面，本申请提供了一种图像重建方法
。
方法包括：
[0006]获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
[0007]提取待处理图像中目标对象的人脸姿态和表情参数；
[0008]针对每个采样点，对当前采样点的三维坐标
、
人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
[0009]针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型
。
[0010]第二方面，本申请提供了一种图像重建装置，其特征在于，装置包括：
[0011]获取模块，用于获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
[0012]提取模块，用于提取待处理图像中目标对象的人脸姿态和表情参数；
[0013]神经辐射处理模块，用于针对每个采样点，对当前采样点的三维坐标
、
人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
[0014]构建模块，用于针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型
。
[0015]在一些实施例中，获取模块，具体用于基于虚拟拍摄点和虚拟图像平面的中心点，确定光轴射线；将虚拟图像平面沿着光轴射线向靠近虚拟拍摄点的方向平移预设距离，得到近光图像平面，将虚拟图像平面沿着光轴射线向远离虚拟拍摄点的方向平移预设距离，得到远光图像平面；针对每条目标辐射射线，将当前目标辐射射线和近光图像平面的交点作为采样起始点，将当前目标辐射射线和远光图像平面的交点作为采样终止点，在当前目标辐射射线上采样起始点和采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点
。
[0016]在一些实施例中，提取模块，具体用于将待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，人脸样本数据包括人脸图像样本
、
人脸图像样本中人脸的标注姿态和标注表情参数
。
[0017]在一些实施例中，表情参数包括表情形变参数和形状形变参数，图像重建装置还包括标准化模块，用于针对每个采样点，对人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果；对表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；对形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；对姿态标准化结果
、
表情形变标准化结果和形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点；神经辐射处理模块，具体用于针对每个标准化采样点，对当前标准化采样点的三维坐标
、
人脸姿态和表情参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率
。
[0018]在一些实施例中，神经辐射处理模块，具体用于将当前采样点的三维坐标
、
人脸姿态和表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；神经辐射场模型用于对采样点是否属于人脸表面点进行预测
。
[0019]在一些实施例中，构建模块，还用于求取人脸概率在当前采样点处的法向梯度；将法向梯度
、
人脸姿态
、
表情参数
、
当前采样点的三维坐标
、
人脸概率
、
高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标
、
人脸姿态以及表情参数进行处理后输出的；针对每条目标辐射射线，基于当前辐射射线上各个采样点各自对应的颜色信息，确定当前辐射射线对应的人脸表面点的目标颜色信息；基于各个人脸表面点的目标颜色信息，对三维人脸模型进行渲染后，得到渲染后的三维人脸模型
。
[0020]在一些实施例中，构建模块，具体用于获取当前目标辐射射线上各个采样点与虚拟拍摄点之间的距离；对各个采样点与虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；基于虚拟拍摄点和表面点距离，确定当前目标辐射射线对应的人脸表面点
。
[0021]在一些实施例中，获取模块，还用于响应于特效处理请求，展示图像输入提醒信息；接收对象基于图像输入提醒信息输入的目标图像，将目标图像作为待处理图像；将目标
图像对应的拍摄参数，作为待处理图像对应的拍摄参数；获取特效处理请求对应的特效处理参数，基于特效处理参数对三维人脸模型进行渲染处理，得到与特效处理请求匹配的特效图像
。
[0022]第三方面，本申请还提供了一种计算机设备
。...

【技术保护点】

【技术特征摘要】
1.
一种图像重建方法，其特征在于，所述方法包括：获取待处理图像对应的拍摄参数，基于所述拍摄参数，确定所述待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于所述虚拟拍摄点和所述虚拟图像平面，构建多条辐射射线，基于所述辐射射线确定目标辐射射线，基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取所述待处理图像中目标对象的人脸姿态和表情参数；针对每个采样点，对当前采样点的三维坐标
、
所述人脸姿态和所述表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点，包括：基于所述虚拟拍摄点和所述虚拟图像平面的中心点，确定光轴射线；将所述虚拟图像平面沿着所述光轴射线向靠近所述虚拟拍摄点的方向平移预设距离，得到近光图像平面，将所述虚拟图像平面沿着所述光轴射线向远离所述虚拟拍摄点的方向平移所述预设距离，得到远光图像平面；针对每条目标辐射射线，将当前目标辐射射线和所述近光图像平面的交点作为采样起始点，将当前目标辐射射线和所述远光图像平面的交点作为采样终止点，在所述当前目标辐射射线上所述采样起始点和所述采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点
。3.
根据权利要求1所述的方法，其特征在于，所述提取所述待处理图像中目标对象的人脸姿态和表情参数，包括：将所述待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为所述待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为所述待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，所述人脸样本数据包括人脸图像样本
、
所述人脸图像样本中人脸的标注姿态和标注表情参数
。4.
根据权利要求1所述的方法，其特征在于，所述表情参数包括表情形变参数和形状形变参数，所述方法还包括：针对每个采样点，对所述人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果；对所述表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；对所述形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；对所述姿态标准化结果
、
所述表情形变标准化结果和所述形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点；所述针对每个采样点，对当前采样点的三维坐标
、
所述人脸姿态和所述表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率，包括：针对每个标准化采样点，对当前标准化采样点的三维坐标
、
所述人脸姿态和所述表情
参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率
。5.
根据权利要求1所述的方法，其特征在于，所述对当前采样点的三维坐标
、
所述人脸姿态和所述表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率，包括：将当前采样点的三维坐标
、
所述人脸姿态和所述表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；所述神经辐射场模型用于对采样点是否属于人脸表面点进行预测
。6.
根据权利要求1所述的方法，其特征在于，所述方法还包括：求取所述人脸概率在当前采样点处的法向梯度；将所述法向梯度
、
所述人脸姿态
、
所述表情参数
、
当前采样点的三维坐标
、
所述人脸概率
、
高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，所述高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标
、
所述人脸姿态以及所述表情参数进行处理后输出的；针对每条目标辐射射线，基于当前辐射射线上各个采样点各自对应的颜色信息，确定当前辐射射线对应的人脸表面点的目标颜色信息；基于各个人脸表面点的目标颜色信息，对所述三维人脸模型进行渲染后，得到渲染后的三维人脸模型
。7.
根据权利要求1所述的方法，其特征在于，所述基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，包括：获取当前目标辐射射线上各个采样点与所述虚拟拍摄点之间的距离；对各个采样点与所述虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；基于所述虚拟拍摄点和所述表面点距离，确定当前目标辐射射线对应的人脸表面点
。8.
根据权利要求1所述的方法，其特征在于，所述获取待处理图像对应的拍摄参数，包括：响应于特效处理请求，展示图像输入提醒信息；接收对象基于所述图像输入提醒信息输入的目标图像，将所述目标图像作为所述待处理图像；将所述目标图像对应的拍摄参数，作为所述待处理图像对应的拍摄参数；所述方法还包括：获取所述特效处理请求对应的特效处理参数，基于所述特效处理参数对所述三维人脸模型进行渲染处理，得到与所述特效处理请求匹配的特效图像
。9.
一种重建模型的处理方法，其特征在于，所述方法包括：获取图像样本对应的拍摄参数，基于所述拍摄参数，确定所述图像样本在三维空间中的虚拟拍摄点和虚拟图像平面，基于所述虚拟拍摄点和所述虚拟图像平面，构建多条辐射射线，基于所述辐射射线确定目标辐射射线，基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取所述图像样本中目标对象的人脸姿态和表情参数；针对每个采样点，将当前采样点的三维坐标

【专利技术属性】
技术研发人员：葛志鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：