基于任意图像风格迁移的版权信息隐写方法及相关设备技术

本申请公开了一种基于任意图像风格迁移的版权信息隐写方法及相关设备，该方法包括：获取预置的隐写网络、目标图像及与该目标图像对应的版权信息，隐写网络包括特征提取层级及嵌入层级；通过特征提取层级，提取目标图像的多维度的特征，得到目标图像的目标序列；通过隐写网络的嵌入层级，利用目标序列将版权信息嵌入目标图像的Y通道，得到内容图像；获取风格迁移网络、风格图像，通过风格迁移网络提取风格序列及内容序列，得到位置编码后的内容序列，形成风格化的内容图像。显然，本申请可以将版权信息隐写于内容图像中，并利用风格迁移网络对内容图像进行任意图像风格迁移，可减少版权纠纷。权纠纷。权纠纷。

【技术实现步骤摘要】
Encoder、初始的Transformer Decoder及初始的位置编码器，所述样本图像为已隐写入对应的版权信息的图像作品；
[0015]将所述样本图像及所述风格训练图像输入至初始网络，得到所述初始的Transformer Encoder提取的具备细节特征的样本序列及风格序列，所述样本序列包含所述样本图像的各类细节特征，所述风格序列包含所述风格训练图像的艺术风格特征；
[0016]通过所述初始的位置编码器，对所述样本序列进行位置编码，得到位置编码后的样本序列；
[0017]通过所述初始的Transformer Decoder，利用所述位置编码后的样本序列及所述风格序列，形成风格化的样本图像；
[0018]基于所述图像作品、风格训练图像及所述风格化的样本图像，计算所述初始网络的总损失；
[0019]基于所述总损失，对所述初始网络的参数进行调节，直至所述初始网络的总损失达到所述初始网络所能达到的最小值为止，并将最终训练得到的初始网络作为风格迁移网络，将最终得到的初始的Transformer Encoder作为Transformer Encoder，将最终得到的初始的位置编码器作为位置编码器，将最终得到的初始的Transformer Decoder作为Transformer Decoder。
[0020]可选的，基于所述图像作品、风格训练图像及所述风格化的样本图像，计算所述初始网络的总损失，包括：
[0021]获取预训练的卷积神经网络VGG
‑
19网络；
[0022]利用所述VGG
‑
19网络提取所述图像作品的样本特征图、所述风格训练图像的风格特征图及所述风格化的样本图像的迁移特征图；
[0023]比较所述样本特征图及所述迁移特征图的区别，得到所述初始网络对应的样本损失值，所述样本损失值表明所述样本图像转换为风格化的样本图像后所损失的特征信息；
[0024]比较所述风格特征图及所述迁移特征图的区别，得到所述初始网络对应的风格损失值，所述风格损失值表明所述风格化的样本图像表达所述风格训练图像的艺术风格的能力；
[0025]基于所述样本损失值及所述风格损失值，计算所述初始网络的总损失。
[0026]可选的，所述基于所述样本损失值及所述风格损失值，计算所述初始网络的总损失，包括：
[0027]利用所述初始网络、所述风格训练图像及所述图像作品，形成风格化的图像作品；
[0028]比较所述风格化的图像作品及所述风格化的样本图像的区别，确定所述初始网络对应的编码损失值，所述编码损失值表明所述风格化的样本图像与所述风格化的图像作品之间的相似性；
[0029]对所述风格化的样本图像进行解码，得到解码版权信息；
[0030]比较所述解码版权信息及所述图像作品对应的版权信息，确定所述初始网络对应的解码损失值；
[0031]根据所述编码损失值、所述解码损失值、所述样本损失值及所述风格损失值对初始网络各参数的表征能力，确定所述编码损失值、所述解码损失值、所述样本损失值及所述风格损失值在初始网络的总损失中所占权重；
[0032]根据所述编码损失值及其在所述初始网络的总损失中所占权重、所述解码损失值及其在所述初始网络的总损失中所占权重、所述样本损失值及其在所述初始网络的总损失中所占权重、所述风格损失值及其在所述初始网络的总损失中所占权重，计算初始网络的总损失。
[0033]可选的，在通过所述Transformer Decoder，利用所述位置编码后的内容序列及风格序列，形成风格化的内容图像之后，还包括：
[0034]通过所述位置编码器，对所述目标序列进行位置编码，得到位置编码后的目标序列；
[0035]通过所述Transformer Decoder，利用所述位置编码后的目标序列及所述风格序列，形成风格化的目标图像；
[0036]获取所述风格化的内容图像的Y通道信息及所述风格化的目标图像的Y通道信息；
[0037]在所述风格化的内容图像的Y通道信息中减去所述风格化的目标图像的Y通道信息，得到差值图像；
[0038]将所述差值图像的Y通道信息及所述风格化的内容图像的Y通道信息相加，得到相加图像，将所述相加图像作为最终的风格化的内容图像。
[0039]可选的，在通过所述特征提取层级，提取所述目标图像的多维度的特征，得到目标图像的目标序列之前，还包括：
[0040]对所述目标图像及所述版权信息进行尺寸对齐，得到对齐后的版权信息；
[0041]通过所述隐写网络的所述嵌入层级，利用所述目标序列将所述版权信息嵌入所述目标图像的Y通道，得到内容图像，包括：
[0042]通过所述隐写网络的所述嵌入层级，利用所述目标序列将对齐的版权信息嵌入所述目标图像的Y通道，得到内容图像。
[0043]一种基于任意图像风格迁移的版权信息隐写装置，包括：
[0044]隐写网络获取单元，用于获取预置的隐写网络、目标图像及与该目标图像对应的版权信息，所述隐写网络包括特征提取层级及嵌入层级；
[0045]目标序列提取单元，用于通过所述特征提取层级，提取所述目标图像的多维度的特征，得到目标图像的目标序列；
[0046]版权信息利用单元，用于通过所述隐写网络的所述嵌入层级，利用所述目标序列将所述版权信息嵌入所述目标图像的Y通道，得到内容图像；
[0047]风格迁移网络获取单元，用于获取风格迁移网络及风格图像及内容图像，所述风格迁移网络包括Transformer Encoder、Transformer Decoder及位置编码器；
[0048]内容序列提取单元，用于通过所述Transformer Encoder，提取所述风格图像的风格序列及所述内容图像的内容序列，其中，所述风格序列表明所述风格图像的艺术风格，所述内容序列包含所述内容图像的各类细节特征；
[0049]位置编码单元，用于通过所述位置编码器，对所述内容序列进行位置编码，得到位置编码后的内容序列；
[0050]风格形成单元，用于通过所述Transformer Decoder，利用所述位置编码后的内容序列及风格序列，形成风格化的内容图像。
[0051]一种基于任意图像风格迁移的版权信息隐写设备，包括存储器和处理器；
[0052]所述存储器，用于存储程序；
[0053]所述处理器，用于执行所述程序，实现上述的基于任意图像风格迁移的版权信息隐写方法的各个步骤。
[0054]一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的基于任意图像风格迁移的版权信息隐写方法的各个步骤。
[0055]从上述的技术方案可以看出，本申请提供的基于任意图像风格迁移的版权信息隐写方法，可以获取预置的隐写网络、目标图像及与该目标图像对应的版权信息，所述隐写网络包括特征提取层级及嵌入层级；通过所述特征提取层级，提取所述目标图像的多维度的特征，得到目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于任意图像风格迁移的版权信息隐写方法，其特征在于，包括：获取预置的隐写网络、目标图像及与该目标图像对应的版权信息，所述隐写网络包括特征提取层级及嵌入层级；通过所述特征提取层级，提取所述目标图像的多维度的特征，得到目标图像的目标序列；通过所述隐写网络的所述嵌入层级，利用所述目标序列将所述版权信息嵌入所述目标图像的Y通道，得到内容图像；获取风格迁移网络及风格图像，所述风格迁移网络包括Transformer Encoder、Transformer Decoder及位置编码器；通过所述Transformer Encoder，提取所述风格图像的风格序列及所述内容图像的内容序列，其中，所述风格序列表明所述风格图像的艺术风格，所述内容序列包含所述内容图像的各类细节特征；通过所述位置编码器，对所述内容序列进行位置编码，得到位置编码后的内容序列；通过所述Transformer Decoder，利用所述位置编码后的内容序列及风格序列，形成风格化的内容图像。2.根据权利要求1所述的基于任意图像风格迁移的版权信息隐写方法，其特征在于，所述获取风格迁移网络，包括：获取样本图像、风格训练图像及初始网络，所述初始网络包括初始的Transformer Encoder、初始的Transformer Decoder及初始的位置编码器，所述样本图像为已隐写入对应的版权信息的图像作品；将所述样本图像及所述风格训练图像输入至初始网络，得到所述初始的Transformer Encoder提取的具备细节特征的样本序列及风格序列，所述样本序列包含所述样本图像的各类细节特征，所述风格序列包含所述风格训练图像的艺术风格特征；通过所述初始的位置编码器，对所述样本序列进行位置编码，得到位置编码后的样本序列；通过所述初始的Transformer Decoder，利用所述位置编码后的样本序列及所述风格序列，形成风格化的样本图像；基于所述图像作品、风格训练图像及所述风格化的样本图像，计算所述初始网络的总损失；基于所述总损失，对所述初始网络的参数进行调节，直至所述初始网络的总损失达到所述初始网络所能达到的最小值为止，并将最终训练得到的初始网络作为风格迁移网络，将最终得到的初始的Transformer Encoder作为Transformer Encoder，将最终得到的初始的位置编码器作为位置编码器，将最终得到的初始的Transformer Decoder作为Transformer Decoder。3.根据权利要求2所述的基于任意图像风格迁移的版权信息隐写方法，其特征在于，基于所述图像作品、风格训练图像及所述风格化的样本图像，计算所述初始网络的总损失，包括：获取预训练的卷积神经网络VGG
‑
19网络；利用所述VGG
‑
19网络提取所述图像作品的样本特征图、所述风格训练图像的风格特征
图及所述风格化的样本图像的迁移特征图；比较所述样本特征图及所述迁移特征图的区别，得到所述初始网络对应的样本损失值，所述样本损失值表明所述样本图像转换为风格化的样本图像后所损失的特征信息；比较所述风格特征图及所述迁移特征图的区别，得到所述初始网络对应的风格损失值，所述风格损失值表明所述风格化的样本图像表达所述风格训练图像的艺术风格的能力；基于所述样本损失值及所述风格损失值，计算所述初始网络的总损失。4.根据权利要求3所述的基于任意图像风格迁移的版权信息隐写方法，其特征在于，所述基于所述样本损失值及所述风格损失值，计算所述初始网络的总损失，包括：利用所述初始网络、所述风格训练图像及所述图像作品，形成风格化的图像作品；比较所述风格化的图像作品及所述风格化的样本图像的区别，确定所述初始网络对应的编码损失值，所述编码损失值表明所述风格化的样本图像与所述风格化的图像作品之间的相似性；对所述风格化的样本图像进行解码，得到解码版权信息；比较所述解码版权信息及所述图像作品对应的版权信息，确定所述初始网络对应的解码损失值；根据所述编码损失值、所述解码损失值、所述样本损失值及所述风格损失值对初始网络各参数的表征能力，确定所述编码损失值、所述解码损失值、所述样本损失值及所述风格损失值在初始网络的总损失中所占权重；根据所述编码损失值及其在所述初始网络的总损失中所占权重、所述解码损失值及其在所述初始网络的总损失中所占权重、所述样本损失值及其在所述初始网络的总损失中所占权重、所述风格损失值及其在所述初始网络的总损失中所占权重，计算初始网络的总损失。5.根据权利要求1所述的基于任意图像风格迁移的版权信息隐写方法，其特征在于，在通过所述Transf...

【专利技术属性】
技术研发人员：叶武剑，冯伟彬，梁艺昇，刘怡俊，朱学科，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：