实时性场景下鲁棒视频水印的方法及装置制造方法及图纸

本发明专利技术提出了一种实时性场景下鲁棒视频水印的方法及装置，所述方法包括：构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器

【技术实现步骤摘要】
实时性场景下鲁棒视频水印的方法及装置


[0001]本专利技术涉及视频
，具体涉及一种实时性场景下鲁棒视频水印的方法及装置，特别适用于实时环境下的不可见视频水印嵌入。

技术介绍

[0002]视频水印的目的是在不改变视频内容的质量的前提下，通过一种难以移除或者篡改的方法，将信息隐藏在视频流中。应用场景包括视频版权保护、视频指纹跟踪等。
[0003]对于传统的视频水印嵌入方法，根据水印嵌入的域，可以大致分为三种方案：空间域（在原始未压缩视频上嵌入）、变换域（在视频编解码器网络中嵌入）和压缩域（在压缩视频流中嵌入）。除了传统的视频水印方法，近年来深度学习在水印上的应用也备受关注。目前深度学习的水印嵌入方法主要应用在图像上，如HiDDeN模型，RedMark模型等。
[0004]当嵌入水印的视频没有遭受攻击时，传统方法的表现尚可，然而基于离散余弦变换（DCT)或离散小波变换等算法的经典水印技术对于裁剪和缩放等视频处理操作抵抗性较差。如果泄露的视频经历了这些几何变换中的任何一种，水印都可能被破坏。
[0005]现有的基于深度学习的水印方法对于上述几何变换的鲁棒性较强，然而现有方法大都应用于图像上，对于视频，有两点不可忽视的缺陷：1.由于视频的传输不可避免的会将原始数据进行压缩，这一类不可微分的噪声使得深度神经网络难以在训练过程中对此进行建模，这也成为了图像方法迁移至视频的最大阻碍；2.实时性的需求，水印在视频上的应用常常需要考虑到实时性，深度神经网络的庞大的计算量使得现有的深度学习模型都难以满足该需求。

技术实现思路

[0006]针对现有技术的不足，本专利技术提出一种实时性场景下鲁棒视频水印的方法及装置，解决了现有技术中深度神经网络难以对压缩视频进行建模，且无法满足实时性需求带来的其庞大的计算量的缺陷。
[0007]本专利技术的技术方案是这样实现的：一种实时性场景下鲁棒视频水印的方法，包括：构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器
‑
解码器模块；训练所述深度神经网络以使编码器
‑
解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；训练所述深度神经网络以使编码器
‑
解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
[0008]在其中一个实施例中，上述所述训练所述深度神经网络以使编码器
‑
解码器模块
可以在无视频压缩干扰下完成水印的无损嵌入提取的步骤，包括：提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入和可微分噪声层进行扰乱后输入至解码器网络，获得两种输出解码水印；计算两种解码水印与原输入水印的信息损失，并将损失反向传输至编码器
‑
解码器模块；重复上述步骤，直至编码器
‑
解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取。
[0009]在其中一个实施例中，上述所述训练所述深度神经网络以使编码器
‑
解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取的步骤，包括：随机提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入、可微分噪声层进行扰乱后输入以及经过视频压缩扰乱后输入至解码器网络，获得三种输出解码水印；计算三种解码水印与原输入水印的信息损失，将可微分噪声层进行扰乱后输入的损失反向传播至编码器
‑
解码器模块，将视频压缩扰乱后输入的损失反向传输至解码器网络；重复上述步骤，直至编码器
‑
解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取。
[0010]在其中一个实施例中，上述所述对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频的步骤，包括：获取原视频的帧数N；设定嵌入间隔K和连续嵌入帧数B；根据每间隔K帧提取B帧的规则对原视频进行抽样提取操作，得到连续帧；将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
[0011]在其中一个实施例中，上述所述对原视频进行抽样提取得到连续帧的方法，包括：获取原视频的分辨率H
×
W；设定比例因子k；通过比例因子计算切角块的分辨率R=h
×
w，其中：h=H
×
k，h为切角的高度分辨率；w=W
×
k，w为切角的高度分辨率；在同一原视频帧的左上、右上、左下、右下角处分别提取出共四个切角块；提取连续视频帧的各切角块，与待添加水印输入至编码器网络中，得到连续视频帧的水印切角块；将水印切角块覆盖至对应原视频帧的对应位置，生成水印视频。
[0012]在其中一个实施例中，上述所述训练集视频通过hollywood2数据集获取，所述构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器
‑
解码器模块的步骤，具体为：
使用mobilenet为backbone设计并构造包括编码器
‑
解码器模块的神经网络模型。
[0013]本专利技术还提供了一种实时性场景下鲁棒视频水印的装置，包括：构造模块，用于构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器
‑
解码器模块；第一训练模块，用于训练所述深度神经网络以使编码器
‑
解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；第二训练模块，用于训练所述深度神经网络以使编码器
‑
解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；生成模块，用于对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
[0014]在其中一个实施例中，上述所述所述第一训练模块，具体用于：提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入和可微分噪声层进行扰乱后输入至解码器网络，获得两种输出解码水印；计算两种解码水印与原输入水印的信息损失，并将损失反向传输至编码器
‑
解码器模块；重复上述步骤，直至编码器
‑
解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；所述第二训练模块，具体用于：随机提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入、可微分噪声层进行扰乱后输入以及经过视频压缩扰乱后输入至解码器网络，获得三种输出解码水印；计算三种解码水印与原输入水印的信息损失，将可微分噪声层进行扰乱后输入的损失反向传播至编码器
‑
解码器模块，将视频压缩扰乱后输入的损失反向传输至解码器网络；重复上述步骤，直至编码器
‑
解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时性场景下鲁棒视频水印的方法，其特征在于，包括：构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器
‑
解码器模块；训练所述深度神经网络以使编码器
‑
解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；训练所述深度神经网络以使编码器
‑
解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。2.如权利要求1所述的方法，其特征在于，所述训练所述深度神经网络以使编码器
‑
解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取的步骤，包括：提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入和可微分噪声层进行扰乱后输入至解码器网络，获得两种输出解码水印；计算两种解码水印与原输入水印的信息损失，并将损失反向传输至编码器
‑
解码器模块；重复上述步骤，直至编码器
‑
解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取。3.如权利要求2所述的方法，其特征在于，所述训练所述深度神经网络以使编码器
‑
解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取的步骤，包括：随机提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入、可微分噪声层进行扰乱后输入以及经过视频压缩扰乱后输入至解码器网络，获得三种输出解码水印；计算三种解码水印与原输入水印的信息损失，将可微分噪声层进行扰乱后输入的损失反向传播至编码器
‑
解码器模块，将视频压缩扰乱后输入的损失反向传输至解码器网络；重复上述步骤，直至编码器
‑
解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取。4.如权利要求3所述的方法，其特征在于，所述对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频的步骤，包括：获取原视频的帧数N；设定嵌入间隔K和连续嵌入帧数B；根据每间隔K帧提取B帧的规则对原视频进行抽样提取操作，得到连续帧；将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。5.如权利要求4所述的方法，其特征在于，所述对原视频进行抽样提取得到连续帧的方法，包括：获取原视频的分辨率H
×
W；设定比例因子k；通过比例因子计算切角块的分辨率R=h
×
w，其中：
h=H
×
k，h为切角的高度分辨率；w=W
×
k，w为切角的高度分辨率；在同一原视频帧的左上、右上、左下、右下角处分别提取出共四个切角块；提取连续视频帧的各切角块，与待添加水印输入至编码器网络中，得到连续视频帧的水印切角块；将水印切角块覆盖至对应原视频帧的对应位置，生成水印视频。6.如权利要求5所述的方法，其特征在于，所述训练集视频通过hollywood2数据集获取，所述构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器

【专利技术属性】
技术研发人员：柯泽辉，吴庆耀，白剑，黄海亮，梁瑛玮，张海林，鲁和平，李长杰，陈焕然，李乐，王浩，洪行健，冷冬，丁一，
申请(专利权)人：广州易方信息科技股份有限公司，
类型：发明
国别省市：