增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法技术

本发明专利技术公开了一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法，包括：S10，得到背景序列<bgr>以及前景序列及掩膜序列<fgr，pha>；S20，从背景序列<bgr>中随机选取一帧bgr1，当bgr1无其他有相关性的背景帧时，则直接对bgr1作图像仿射变换，得到bgr2；当bgr1在<bgr>中具有相关性帧时，则首先在具有相关性的所有序列中随机选择一帧，再执行仿射变换操作，得到bgr2；得到背景对<bgr1，bgr2>；S30，进行前后景序列组合；S40，对参考背景序列gt

【技术实现步骤摘要】
增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法


[0001]本专利技术属于视频处理
，具体涉及一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法。

技术介绍

[0002]在现实生活中，为了减少视频传输带宽成本，需要使用降低传输码率，视频压缩等手段，因此会出现播放端视频画质较差，细节丢失，不利于观看的问题。
[0003]在此问题下提出的背景质量优化算法就是对较差的视频进行背景优化，达到既能有很低的传输成本，又保持播放端视频细节完整性的目的。这种算法可以节省更多传输资源用于提高前景区域细节的质量，在传输过程中背景优化的优先级可以降低，在接收端再进行质量提升，使背景的细节损失达到最低。
[0004]这种算法适用于监控类视频，摄像机的镜头需要保持固定，否则处理后的视频帧会存在背景扭曲等现象；另一方面，该算法对参考背景帧的画质要求较高，如果提供了质量不够的参考帧则处理的效果不会很理想。

技术实现思路

[0005]鉴于以上存在的问题，本专利技术提供一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法，用于在因镜头抖动而导致拍摄的视频画面抖动、扭曲或模糊的情况下，仍能根据参考的背景帧获得背景质量的大幅提升，并且前景细节不丢失，提高了背景质量优化算法的鲁棒性。
[0006]为解决上述技术问题，本专利技术采用如下的技术方案：
[0007]一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法，包括：
[0008]S10，获取包括前景区域的视频帧或图片(fgr)和对应的掩模(pha)，以及高质量的背景视频帧或图片(bgr)，经过前后景序列及掩膜获取，得到背景序列<bgr>以及前景序列及掩膜序列<fgr，pha>；
[0009]S20，从背景序列<bgr>中随机选取一帧bgr1，根据bgr1在<bgr>中寻找具有相关性的其他背景帧，当bgr1无其他有相关性的背景帧时，则直接对bgr1作图像仿射变换，得到bgr2；当bgr1在<bgr>中具有相关性帧时，则首先在具有相关性的所有序列中随机选择一帧，再执行仿射变换操作，得到bgr2；得到背景对<bgr1，bgr2>；
[0010]S30，进行前后景序列组合，输入数据包括<fgr，pha>和<bgr1，bgr2>，若前景不需要存在于参考背景帧中，只需要一份<fgr，pha>，组合得到基准图像序列gt
src
与参考背景序列gt
bgr
；若前景存在于参考背景帧中，在<fgr，pha>中选择两份具有前景相关性的前景序列<fgr1，pha1，fgr2，pha2>，再经过组合得到得到基准图像序列gt
src
与参考背景序列gt
bgr
；
[0011]S40，对参考背景序列gt
bgr
进行训练数据增广变换，得到训练数据对<lq，gt
bgr
，gt>；
[0012]S50，训练输入序列lq和参考背景序列gt
bgr
经过背景质量优化模块的处理后得到
背景增强后的融合序列
[0013]S60，将融合序列和对应的基准图像序列gt之间的最小化重建损失函数作为目标函数，通过梯度下降法找到背景质量优化模块的最优参数θ；在训练过程中，经过大量数据多次迭代训练得到的参数θ用于提高融合序列的质量指标；
[0014]S70，优化后的背景质量提升模块得到的融合序列为背景增强序列Y输出，作为视频流输出。
[0015]优选地，S20中，所述仿射变换包括裁剪、翻转、缩放、拉伸、旋转、平移、色彩变换和对比度增强中的至少一种。
[0016]优选地，S30中，若前景不需要存在于参考背景帧中，只需要一份<fgr，pha>，组合得到基准图像序列gt
src
与参考背景序列gt
bgr
的组合公式如下：
[0017]gt
src
＝fgr*pha+bgr1*(1
‑
pha)
[0018]gt
bgr
＝bgr2。
[0019]优选地，S50中，得到基准序列gt的方式为：
[0020]gt＝lq*pha+gt
src
*(1
‑
pha)。
[0021]优选地，S30中，若前景存在于参考背景帧中，在<fgr，pha>中选择两份具有前景相关性的前景序列<fgr1，pha1，fgr2，pha2>，再经过组合得到得到基准图像序列gt
src
与参考背景序列gt
bgr
的组合公式如下：
[0022]gt
src
＝fgr2*pha2+bgr2*(1
‑
pha2)
[0023]gt
bgr
＝fgr1*pha1+bgr1*(1
‑
pha1)。
[0024]优选地，S50中，得到基准序列gt的方式为：
[0025][0026]优选地，S40中，数据增广变换使用多级串联，每级的操作称为T(x)，依次执行模糊操作、缩放操作、加噪操作和压缩操作，k代表模糊核，表示卷积操作，r代表缩放比例，n代表加入的噪声，JPEG代表进行压缩，具体公式如下：
[0027][0028]最终的Transforms是由n个T(x)级联，n至少两个以上，公式如下：
[0029]Transforms＝(T
n
·
T
n
‑1…
T1)(x)。
[0030]采用本专利技术具有如下的有益效果：
[0031](1)在背景序列仿射变换中根据背景序列的相关性分别处理，既增加训练数据的真实性，又扩充了训练数据规模，可以提高训练的整体效果；
[0032](2)在前后景序列组合中采用多种特殊组合方式，可以模拟真实场景下的视频中背景与前景相对移动，或画面整体抖动扭曲现象，提升模型的鲁棒性。
附图说明
[0033]图1为本专利技术实施例的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法的步骤流程图；
[0034]图2为一具体应用实例中的低质量高压缩率图；
[0035]图3为一具体应用实例中的参考背景图；
[0036]图4为一具体应用实例中改进前的背景质量优化算法效果图；
[0037]图5是一具体应用实例中采用本专利技术方法改进后的效果图。
具体实施方式
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法，其特征在于，包括：S10，获取包括前景区域的视频帧或图片(fgr)和对应的掩模(pha)，以及高质量的背景视频帧或图片(bgr)，经过前后景序列及掩膜获取，得到背景序列<bgr>以及前景序列及掩膜序列<fgr，pha>；S20，从背景序列<bgr>中随机选取一帧bgr1，根据bgr1在<bgr>中寻找具有相关性的其他背景帧，当bgr1无其他有相关性的背景帧时，则直接对bgr1作图像仿射变换，得到bgr2；当bgr1在<bgr>中具有相关性帧时，则首先在具有相关性的所有序列中随机选择一帧，再执行仿射变换操作，得到bgr2；得到背景对<bgr1，bgr2>；S30，进行前后景序列组合，输入数据包括<fgr，pha>和<bgr1，bgr2>，若前景不需要存在于参考背景帧中，只需要一份<fgr，pha>，组合得到基准图像序列gt
src
与参考背景序列gt
bgr
；若前景存在于参考背景帧中，在<fgr，pha>中选择两份具有前景相关性的前景序列<fgr1，pha1，fgr2，pha2>，再经过组合得到得到基准图像序列gt
src
与参考背景序列gt
bgr
；S40，对参考背景序列gt
bgr
进行训练数据增广变换，得到训练数据对<lq，gt
bgr
，gt>；S50，训练输入序列lq和参考背景序列gt
bgr
经过背景质量优化模块的处理后得到背景增强后的融合序列S60，将融合序列和对应的基准图像序列gt之间的最小化重建损失函数作为目标函数，通过梯度下降法找到背景质量优化模块的最优参数θ；在训练过程中，经过大量数据多次迭代训练得到的参数θ用于提高融合序列的质量指标；S70，优化后的背景质量提升模块得到的融合序列为背景增强序列Y输出，作为视频流输出。2.如权利要求1所述的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法...

【专利技术属性】
技术研发人员：赵浩，陈梅丽，谢亚光，祁伟，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：