一种基于神经辐射场的三维视线重定向的方法技术

本发明专利技术公开了一种基于神经辐射场的三维视线重定向的方法，包括以下步骤：S1、搜集并处理数据集，将数据集中的图像进行人脸模型处理；S2、进行特征编码与多层感知机MLP进行约束学习；S3、通过步骤S1中得到的图像和三维人脸参数，利用三平面特征提取器E<supgt;F</supgt;提取三平面特征T并通过三平面特征T进行体渲染生成低分辨率特征F<supgt;T</supgt;；S4、模型总体优化通过执行梯度下降法更新模型整体的权重，迭代训练若干轮次。本发明专利技术采用上述的一种基于神经辐射场的三维视线重定向的方法，实现了一种端到端的视线重定向模型训练，在使用单视角图像的情况下，实现了头部姿态和注视方向的显式解耦，达到了同时控制注视方向和头部姿态的效果。

【技术实现步骤摘要】

本专利技术涉及图像生成、视线估计和视线重定向，尤其是涉及一种基于神经辐射场的三维视线重定向的方法。

技术介绍

1、视线估计技术通过各种技术手段来确定一个人的注视方向，而视线重定向指的是根据现有的视线标签或者现有图像的视线方向来改变目标图像的注视方向或头部姿态。人脸渲染的真实性长久以来都是研究人员探索的重点，而视线重定向技术能够帮助呈现更加真实的人脸渲染结果，达到“画龙点睛”的效果，并且视线重定向技术可以广泛的应用到各个领域当中，如虚拟现实(vr)、数字人(digitalhuman)、电影影视特效制作(cg)等领域当中，带来更加真实的观感和使用体验。

2、人的视线是受人脸中的两个因素影响，一是眼球的转动，二是头部姿态的转动，对于人脸的视线重定向既可以针对眼部图像进行处理，也可以同时处理眼球和头部姿态。对于眼部图像的重定向任务而言，由于操作的图像往往是对齐后的眼部图像，而且重定向的过程也只涉及到眼球区域像素的变化，所以整个过程往往较为简单，如专利cn114879843b所描述的。但对于人脸图像的视线重定向而言，就必须要综合考虑眼球和头部姿态的运动，本文档来自技高网...

【技术保护点】

1.一种基于神经辐射场的三维视线重定向的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于神经辐射场的三维视线重定向的方法，其特征在于，在步骤S1中，搜集单视角图像的数据集，对单视角图像的数据集进行清洗，同时根据数据集的作者提供的标签信息对单视角图像进行筛选，对单视角图像进行视线正则化，去除单视角图像中的背景信息，将单视角图像使用FLAME人脸模型进行处理。

3.根据权利要求1所述的一种基于神经辐射场的三维视线重定向的方法，其特征在于，在步骤S2中，模型包括视线特征和头部姿态特征编码器EGH、预训练的三平面特征提取器EF、特征渲染器R、一个超分辨率...

【技术特征摘要】

1.一种基于神经辐射场的三维视线重定向的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于神经辐射场的三维视线重定向的方法，其特征在于，在步骤s1中，搜集单视角图像的数据集，对单视角图像的数据集进行清洗，同时根据数据集的作者提供的标签信息对单视角图像进行筛选，对单视角图像进行视线正则化，去除单视角图像中的背景信息，将单视角图像使用flame人脸模型进行处理。

3.根据权利要求1所述的一种基于神经辐射场的三维视线重定向的方法，其特征在于，在步骤s2中，模型包括视线特征和头部姿态特征编码器egh、预训练的三平面特征提取器ef、特征渲染器r、一个超分辨率模块sr、两张人脸图像is和id、图像对应的相机外参和内参以及三维人脸的信息。

4.根据权利要求1所述的一种基于神经辐射场的三维视线重定向的方法，其特征在于，在步骤s2中，模型的初始阶段通过视线特征和头部姿态特征编码器egh对输入的人脸图像is和id进行特征提取，分...

【专利技术属性】
技术研发人员：许春燕，夏立凡，李勇，郑向伟，崔振，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：