基于2D先验的3D高斯场景风格迁移方法、计算机设备和计算机程序产品技术

本申请涉及一种基于2D先验的3D高斯场景风格迁移方法、计算机设备和计算机程序产品，包括：利用3D场景多视角的原始图像集，构建3D高斯；对3D高斯进行图像渲染，获得与原始图像集的视角相对应的渲染图像集；利用预期的风格图像，对渲染图像集内的渲染图像执行风格迁移，获得与渲染图像内容结构相同的风格化图像；利用风格化图像对应替换原始图像集中相应视角的图像，替换完成后组成监督图像集；比较监督图像集和渲染图像集内相同视角下图像的差异损失优化3D高斯。本申请可利用二维风格迁移方法的先验知识获得风格化图像，继而通过差异损失优化3D高斯，将风格化图像的风格信息转移到3D高斯场景中，实现3D高斯的场景风格迁移。

【技术实现步骤摘要】

本申请涉及计算机视觉和深度学习领域，特别是涉及一种基于2d先验的3d高斯场景风格迁移方法、计算机设备和计算机程序产品。

技术介绍

1、3d场景风格迁移是视觉和图形领域的一项重要编辑任务，当前一个快速发展的研究领域，它允许设计师和艺术家将特定的视觉风格从一个3d模型迁移到另一个模型，或者对同一模型进行各种风格变换，创造新的三维场景。给定一个3d场景的多视角图像集和一幅捕获目标风格的图像，它将根据风格图像的目标风格，从任意新颖的视角生成3d场景的风格化视图。在许多场景下，这个技术都有重要应用，如电影特效、游戏开发、虚拟现实以及各类艺术创作等等。

2、然而，3d风格迁移的实现经常面临一些挑战，比如如何在保证风格一致性的同时尽可能保持模型的形状和结构，如何处理复杂的3d几何和材质信息，以及如何在大规模的3d模型上高效进行风格迁移等问题。由于缺乏3d信息，将图像/视频风格化的方法直接地应用于3d场景往往会导致不同视图的结果不一致。

3、为了处理不一致性问题，现有方法已经探索了基于显式3d模型(例如，网格、体素和点云)的3d场景风格化，然而它们本文档来自技高网...

【技术保护点】

1.基于2D先验的3D高斯场景风格迁移方法，其特征在于，包括：

2.如权利要求1所述的基于2D先验的3D高斯场景风格迁移方法，其特征在于，所述利用3D场景多视角的原始图像集，构建3D高斯，具体包括：构建初始化3D高斯，利用一个3D场景多视角的原始图像集，对所述初始化3D高斯进行重新建模，获得重建的3D高斯。

3.如权利要求1所述的基于2D先验的3D高斯场景风格迁移方法，其特征在于，所述利用所述风格化图像对应替换所述原始图像集中相应视角的图像，替换完成后组成监督图像集包括执行的多轮，且每轮均比较所述监督图像集和所述渲染图像集内相同视角下图像的差异损失，优化所述3D高...

【技术特征摘要】

1.基于2d先验的3d高斯场景风格迁移方法，其特征在于，包括：

2.如权利要求1所述的基于2d先验的3d高斯场景风格迁移方法，其特征在于，所述利用3d场景多视角的原始图像集，构建3d高斯，具体包括：构建初始化3d高斯，利用一个3d场景多视角的原始图像集，对所述初始化3d高斯进行重新建模，获得重建的3d高斯。

3.如权利要求1所述的基于2d先验的3d高斯场景风格迁移方法，其特征在于，所述利用所述风格化图像对应替换所述原始图像集中相应视角的图像，替换完成后组成监督图像集包括执行的多轮，且每轮均比较所述监督图像集和所述渲染图像集内相同视角下图像的差异损失，优化所述3d高斯。

4.如权利要求3所述的基于2d先验的3d高斯场景风格迁移方法，其特征在于，所述监督图像集内的所述原始图像每轮被逐步地替换；

5.如权利要求1所述的基于2d先验的3d高斯场景风格迁移方法，其特征在于，优化所述3d高斯包括依次执行的第一阶段和第二阶段：

6.如权...

【专利技术属性】
技术研发人员：尹浩霖，赵磊，林怀忠，邢卫，张权威，张占杰，李光远，孙嘉锴，蓝泽铧，莫俊程，马骋，王永康，陈嘉芙，褚天易，饶晨，焦涵，贾世安，张玮婧，
申请(专利权)人：浙江大学，
类型：发明
国别省市：