三维场景风格迁移方法技术

本申请涉及一种三维场景风格迁移方法

【技术实现步骤摘要】
三维场景风格迁移方法、三维场景风格迁移系统和计算机设备


[0001]本申请涉及计算机视觉和深度学习领域，特别是涉及一种三维场景风格迁移方法
、
三维场景风格迁移系统和计算机设备
。

技术介绍

[0002]3D
场景风格化是视觉和图形领域的一项重要编辑任务，它能够创造新的艺术场景
。
给定一个
3D
场景和一个风格图像，它根据风格参考的艺术风格，从任意新颖的视角生成场景的风格化图像
。
由于缺乏
3D
信息，将图像
/
视频风格化的方法天真地应用于
3D
场景往往会产生不一致的结果
。
为了处理不一致性问题，现有方法已经探索了基于显式
3D
模型
(
例如，网格
、
体素和点云
)
的
3D
场景风格化
。
然而，它们对场景的离散表示会导致几何体精度的损失
。
[0003]神经辐射场
(Neural Radiance Fields
，
NeRF)
提出使用神经网络进行连续场景建模
。
由于其在重建几何体和外观方面的出色性能，它成为了一种出色的场景表示
。
由于其可靠性，
Stylizing
‑
3D
‑
Scene
在
《Stylizing 3D Scene via Implicit Representation and HyperNetwork》(2022
，
Pei
‑
Ze Chiang,Meng
‑
Shiun Tsai,Hung
‑
Yu Tseng,Wei
‑
Sheng Lai,Wei
‑
Chen Chiu)
中首次引入神经辐射场进行
3D
场景风格化
。
它修复了场景的几何结构，并通过使用超网络预测用于计算艺术外观的参数来仅更改外观
。
为了进一步提高风格化的视觉质量，已经开发了几种方法
。
然而，尽管付出了宝贵的努力，该方法在某种程度上仍然会纠缠几何体和外观，因此需要对新场景进行重新训练
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种三维场景风格迁移方法
。
[0005]本申请三维场景风格迁移方法，用于将风格图像的风格迁移至三维场景并保持三维场景的几何结构，包括：
[0006]基于神经辐射场的三维场景，使用体素网格对风格模式空间和几何空间进行建模，获得所述神经辐射场在几何空间下的几何体，获得所述神经辐射场在风格模式空间下的球坐标
、
以及在视点方向下的外观；
[0007]利用噪声图像提取风格图像的风格特征图，结合提示向量修正所述风格特征图，解码修正后的所述风格特征图获得风格模式；
[0008]将所述球坐标对应至所述风格模式，耦合所述外观的颜色
、
以及所述风格模式的颜色，获得风格化颜色；
[0009]将所述风格化颜色迁移至所述几何体，渲染获得视点方向下的三维风格迁移渲染图像
。
[0010]可选的，获得所述神经辐射场在风格模式空间下的球坐标
、
以及在视点方向下的外观，具体包括：
[0011]应用
UV
映射获得所述神经辐射场在风格模式空间下的球坐标；
[0012]结合视点方向下所述神经辐射场的三维场景，应用多层感知机提取所述神经辐射场在视点方向下的外观
。
[0013]可选的，利用噪声图像提取风格图像的风格特征图，具体包括：
[0014]将噪声图像和风格图像依次输入第一编码器
、
训练完成的第一转换器，获得风格特征图；
[0015]解码修正后的所述风格特征图获得风格模式，具体包括：
[0016]利用第一解码器解码修正后的所述风格特征图获得风格模式
。
[0017]可选的，将所述球坐标对应至所述风格模式，具体包括：
[0018]将所述球坐标映射至立方体坐标；
[0019]利用不同的噪声图像，多次提取风格图像的风格特征图，进而获得多个风格模式；
[0020]将所述立方体坐标对应至所述多个风格模式
。
[0021]可选的，将所述球坐标对应至所述风格模式，具体包括：
[0022]将所述球坐标映射至立方体坐标；
[0023]利用六张不同的噪声图像，多次提取风格图像的风格特征图，获得六个风格模式；
[0024]将所述立方体坐标的六个面，分别对应至所述六个风格模式
。
[0025]可选的，耦合所述外观的颜色
、
以及所述风格模式的颜色，获得风格化颜色，具体包括：
[0026]对所述外观的颜色
、
以及所述风格模式的颜色，执行乘运算获得风格化颜色
。
[0027]可选的，所述提示向量经训练微调获得，所述提示向量的训练微调过程包括：
[0028]获得所述神经辐射场在所述视点方向下的视点初始图像，所述视点初始图像具有视点方向下的几何体
、
以及视点方向下的外观；
[0029]将所述风格图像的风格，迁移至所述视点初始图像，获得二维风格迁移图像；
[0030]比较获得所述三维风格迁移渲染图像
、
与所述二维风格迁移图像的损失差异，利用所述损失差异微调所述提示向量
。
[0031]可选的，将所述风格图像的风格，迁移至所述视点初始图像，获得二维风格迁移图像，具体包括：
[0032]将所述视点初始图像
、
所述风格图像输入依次第二编码器
、
训练完成的第二转换器
、
第二解码器，获得二维风格迁移图像
。
[0033]本申请提供一种三维场景风格迁移系统，用于将风格图像的风格迁移至三维场景并保持三维场景的几何结构，包括：
[0034]神经辐射场提取模块，用于基于神经辐射场的三维场景，使用体素网格对风格模式空间和几何空间进行建模，获得所述神经辐射场在几何空间下的几何体，获得所述神经辐射场在风格模式空间下的球坐标
、
以及在视点方向下的外观；
[0035]风格模式提取模块，用于利用噪声图像提取风格图像的风格特征图，结合提示向量修正所述风格特征图，解码修正后的所述风格特征图获得风格模式；
[0036]外观映射模块，用于将所述球坐标对应至所述风格模式，耦合所述外观的颜色
、
以及所述风格模式的颜色，获得风格化颜色；
[0037]风格化映射模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
三维场景风格迁移方法，用于将风格图像的风格迁移至三维场景并保持三维场景的几何结构，其特征在于，包括：基于神经辐射场的三维场景，使用体素网格对风格模式空间和几何空间进行建模，获得所述神经辐射场在几何空间下的几何体，获得所述神经辐射场在风格模式空间下的球坐标
、
以及在视点方向下的外观；利用噪声图像提取风格图像的风格特征图，结合提示向量修正所述风格特征图，解码修正后的所述风格特征图获得风格模式；将所述球坐标对应至所述风格模式，耦合所述外观的颜色
、
以及所述风格模式的颜色，获得风格化颜色；将所述风格化颜色迁移至所述几何体，渲染获得视点方向下的三维风格迁移渲染图像
。2.
如权利要求1所述的三维场景风格迁移方法，其特征在于，获得所述神经辐射场在风格模式空间下的球坐标
、
以及在视点方向下的外观，具体包括：应用
UV
映射获得所述神经辐射场在风格模式空间下的球坐标；结合视点方向下所述神经辐射场的三维场景，应用多层感知机提取所述神经辐射场在视点方向下的外观
。3.
如权利要求1所述的三维场景风格迁移方法，其特征在于，利用噪声图像提取风格图像的风格特征图，具体包括：将噪声图像和风格图像依次输入第一编码器
、
训练完成的第一转换器，获得风格特征图；解码修正后的所述风格特征图获得风格模式，具体包括：利用第一解码器解码修正后的所述风格特征图获得风格模式
。4.
如权利要求1所述的三维场景风格迁移方法，其特征在于，将所述球坐标对应至所述风格模式，具体包括：将所述球坐标映射至立方体坐标；利用不同的噪声图像，多次提取风格图像的风格特征图，进而获得多个风格模式；将所述立方体坐标对应至所述多个风格模式
。5.
如权利要求4所述的三维场景风格迁移方法，其特征在于，将所述球坐标对应至所述风格模式，具体包括：将所述球坐标映射至立方体坐标；利用六张不同的噪声图像，多次提取风格图像的风格特征图，获得六个风格模式；将所述立方体坐标的六个面，分别对应至所述六个风格模式
。6.
如权利要求1所述的三维场景风格迁移方法，其特征在于，耦合所述外观的颜...

【专利技术属性】
技术研发人员：赵磊，蓝泽铧，陈嘉芙，邢卫，林怀忠，李光远，张占杰，褚天易，尹浩霖，孙嘉锴，张权威，王永康，饶晨，莫俊程，马骋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：