【技术实现步骤摘要】
本专利技术涉及计算机图形学和计算机视觉，尤其涉及对人像视频进行实时三维重建和重光照的方法。
技术介绍
1、人像视频在多个领域，如视频会议、影视创作和虚拟现实等方面广泛应用。然而，在拍摄过程中常常存在一些不利因素，比如环境过暗或过亮，或者虚拟背景与前景人像的光照不匹配等问题。为了解决这些问题，并在增强现实和虚拟现实应用中创建能够根据环境实时调整光照的三维面部，以方便用户融入虚拟环境与他人进行沟通，必须实现对人像视频的实时三维重光照。目前已有一些方法采用深度学习算法对人像进行表征分解，然后再使用图形学渲染方法进行渲染。然而，这些方法存在一个明显的局限性，即无法对人像进行三维感知的重光照，即无法改变观看视角。自由调整视角和光照条件对沉浸式三维体验是不可或缺的。
2、首先，现有技术采用合成数据进行训练。虽然合成数据可以提供大量的训练样本，但与真实数据相比存在差异，导致最终结果缺乏真实性和准确性。在实际应用中，这种不真实的结果可能会降低用户体验，并限制人像视频在各种场景下的适用性。相较而言，本专利技术方法利用在真实数据上进行大规模预训...
【技术保护点】
1.一种基于神经辐射场的实时人像视频三维感知重光照方法，其特征在于，包括：
2.如权利要求1所述的基于神经辐射场的实时人像视频三维感知重光照方法，该双编码器包括：
3.如权利要求1所述的基于神经辐射场的实时人像视频三维感知重光照方法，该时序一致性网络包括：
4.如权利要求1所述的基于神经辐射场的实时人像视频三维感知重光照方法，该渲染步骤包括：
5.一种基于神经辐射场的实时人像视频三维感知重光照装置，其特征在于，包括：
6.如权利要求5所述的基于神经辐射场的实时人像视频三维感知重光照装置，该双编码器包括：>
7.如权利要...
【技术特征摘要】
1.一种基于神经辐射场的实时人像视频三维感知重光照方法，其特征在于，包括：
2.如权利要求1所述的基于神经辐射场的实时人像视频三维感知重光照方法，该双编码器包括：
3.如权利要求1所述的基于神经辐射场的实时人像视频三维感知重光照方法，该时序一致性网络包括：
4.如权利要求1所述的基于神经辐射场的实时人像视频三维感知重光照方法，该渲染步骤包括：
5.一种基于神经辐射场的实时人像视频三维感知重光照装置，其特征在于，包括：
6.如权利要求5所述的基于神经辐射场的实时人像视频三维感知重光照装置，该双编码器包括：
7.如权利要求5...
【专利技术属性】
技术研发人员：高林，蔡子祺，陈姝宇，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。