基于可逆神经网络的神经辐射场的水印方法技术

本发明专利技术提供了基于可逆神经网络的神经辐射场的水印方法，包括以下步骤：

【技术实现步骤摘要】
基于可逆神经网络的神经辐射场的水印方法


[0001]本专利技术涉及基于可逆神经网络的水印方法，具体为基于可逆神经网络的神经辐射场的水印方法，属于水印和信息隐藏

。

技术介绍

[0002]隐式神经表示是一种对图像
、
声音
、
文字等信号进行参数化的方法
。
在真实世界中
,
模拟信号本可以用一个连续的函数来表示，但由于无法得知这个连续函数准确的表达形式，因此可考虑用神经网络来逼近这个连续函数以表示信号本身
。2020
年，
Mildenhall B
等人首次提出了神经辐射场
(NeRF)
的概念，采用多层感知机
(MLP)3D
场景进行隐式表示，通过对
3D
模型进行渲染生成
2D
图像，实现了新视角的合成
。
基于隐式表示的
3D
渲染技术目前已经成为计算机视觉研究最热门的领域之一
。
神经隐式表达利用神经网络
(
函数
)
表示数据的思路，使得网络本身成为与数据等价的资产
。
可以预测，在不远的将来我们将看到更多的
3D
数据通过神经隐式表达的方式以神经网络的格式出现，保护隐式表示的
3D
数据的成为一个亟待解决的问题；
[0003]面向传统的可视
3D
模型数据的数字水印技术通常分为三类：传统
3D
水印
、3D
参数水印和基于深度神经网络的
3D
水印
。
传统的
3D
水印根据嵌入方式不同，可以分为几何水印和拓扑水印
。
基于几何特征的
3D
数字水印是对
3D
形状进行平移
、
旋转
、
缩放等操作，在变换过程中嵌入水印信息
。
而基于拓扑特征的
3D
数字水印则针对模型间数据同步的问题，形成了一种基于拓扑不变量的鲁棒性水印
。3D
模型参数水印是一种基于定向权重的
3D
数字内容编辑技术，通常通过嵌入方向技术
、
权重嵌入技术和特征点插入技术来实现
。3D
模型参数水印具有隐蔽性强
、
嵌入信息容量大和操作简单的优势，但由于水印信息在参数中，从而存在水印的提取比较困难，提取的水印精度不够的问题，为此，提出基于可逆神经网络的神经辐射场的水印方法
。

技术实现思路

[0004]有鉴于此，本专利技术提供基于可逆神经网络的神经辐射场的水印方法，以解决或缓解现有技术中存在的技术问题，至少提供一种有益的选择
。
[0005]本专利技术实施例的技术方案是这样实现的：基于可逆神经网络的神经辐射场的水印方法，包括以下步骤：
[0006]S1、
嵌入网络
E
接受水印图像
w
和
NeRF
训练数据集；
[0007]S2、
以
Lego
数据集中所有图像1…
k
作为输入，输出嵌入水印信息的图像1’…
k
’
；
[0008]S3、
与对应视角信息一起输入到
MLP
网络
M
中训练得到神经辐射场
N
；
[0009]S4、
再用过参数化的方法训练一个提取网络
D
，最后给神经辐射场
N
一个任意视角作为输入；
[0010]S5、
生成新视角图像
s
，若视角
m
为训练时使用得视角，则可以提取到清晰的水印图像
w
’
；
[0011]S6、
如果单一图像无法证明所有权，则从其他角度依然可以提取到水印图像，以此证明神经辐射场数据的所有权
。
[0012]进一步优选的，所述
NeRF
中输入空间点的
3D
坐标位置
x
＝
(x,y,z)
和方向
d
＝
(
θ
,
φ
)
，输出空间点的颜色
c
＝
(r,g,b)
和对应位置体素的密度
σ
。
在具体的实现中，先对
x
和
d
进行位置信息编码，再将
x
输入到
MLP
网络中，并输出
σ
和一个
256
维的中间特征，中间特征和
d
再一起输入到全连接层中预测颜色，最后通过体渲染生成
2D
图像
。
[0013]进一步优选的，所述嵌入网络
E
输入尺寸大小为3×
W
×
H
的水印信息和
lego
数据集中的图像
k
，将水印图像
w
也经过一个输出通道为
32
的卷积层
Conv
得到尺寸大小
32
×
W
×
H
的特征图
A
，再将图像
k
经过一个输出通道为
32
的卷积层
Conv
得到尺寸大小
32
×
W
×
H
的特征图
B
，将特征图
A
和特征图
B
进行拼接后经过输出通道数为
32
的卷积层得到特征图
C。
[0014]进一步优选的，所述为充分提取图像特征，在提取网络中采用了密集连接技术，通过密集连接加强特征的传递，增强嵌入网络对图像深层次特征的提取能力，依次将
A、B
和
C
进行拼接经过卷积层得到特征图
D
，再将
A、B、C
和
D
拼接经过输出通道为3的卷积层，输出与图像
k
一样大小的图像
k
’
，嵌入网络中，卷积核大小为3×3，步长为1，填充为1，使用
ReLU
作为激活函数再使用
BN(batch normalization)
层对数据进行归一化处理
。
[0015]进一步优选的，所述神经网络经常由于参数量大而出现过拟合，本文将这一缺点变为优势，用大参数量的网络作为提取网络，输入秘密视角图像和原始水印图像，输出水印图像，通过增加迭代次数，让网络出现过拟合<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于可逆神经网络的神经辐射场的水印方法，其特征在于，包括以下步骤：
S1、
嵌入网络
E
接受水印图像
w
和
NeRF
训练数据集；
S2、
以
Lego
数据集中的所有图像1…
k
作为输入，输出嵌入水印信息的图像1’…
k
’
；
S3、
与对应视角信息一起输入到
MLP
网络
M
中训练得到神经辐射场
N
；
S4、
再用过参数化的方法训练一个提取网络
D
，最后给神经辐射场
N
一个任意视角作为输入；
S5、
生成新视角图像
s
；
S6、
如果单一角度无法证明所有权，则从其他角度依然可以提取到水印图像，以此证明神经辐射场数据的所有权
。2.
根据权利要求1所述的基于可逆神经网络的神经辐射场的水印方法，其特征在于：所述
NeRF
中输入空间点的
3D
坐标位置
x
＝
(x,y,z)
和方向
d
＝
(
θ
,
φ
)
，输出空间点的颜色
c
＝
(r,g,b)
和对应位置
(
体素
)
的密度
σ
。
在具体的实现中，先对
x
和
d
进行位置信息编码，再将
x
输入到
MLP
网络中，并输出
σ
和一个
256
维的中间特征，中间特征和
d
再一起输入到全连接层中预测颜色，最后通过体渲染生成
2D
图像
。3.
根据权利要求1所述的基于可逆神经网络的神经辐射场的水印方法，其特征在于：所述嵌入网络
E
输入尺寸大小为3×
W
×
H
的水印信息和
Lego
数据集中的图像
k
，将水印图像
w
也经过一个输出通道为
32
的卷积层
Conv
得到尺寸大小
32
×
W
×
H
的特征图
A
，再将图像
k
经过一个输出通道为
32
的卷积层
Conv
得到尺寸大小
32
×
W
×
H
的特征图
B
，将特征图
A
和特征图

【专利技术属性】
技术研发人员：孙文权，刘佳，陈立峰，董炜娜，钮可，罗鹏，
申请(专利权)人：中国人民武装警察部队工程大学，
类型：发明
国别省市：