基于深度学习注意力模型的移动端视频质量增强方法技术

本发明专利技术公开了一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，包括步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据；步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据。本发明专利技术公开的一种基于深度学习注意力模型的移动端视频质量增强方法，其分别将移动端视频通过前景处理和背景处理后再通过图像融合模块进行融合，以获得移动端视频质量增强数据，并且对视频数据进行图像超分辨率处理和视频图像质量增强处理，更大程度上提升视频增量性能。

Mobile video quality enhancement method based on deep learning attention model

【技术实现步骤摘要】
基于深度学习注意力模型的移动端视频质量增强方法
本专利技术属于视频质量增强
，具体涉及一种基于深度学习注意力模型的移动端视频质量增强方法。
技术介绍
智慧城市建设的背景下，城市视频监控系统得到了广泛的部署。这些系统产生的大量视频数据需要被高效压缩，以节省存储和传输成本。为此，需要找到简单有效的方法来提高监控视频的质量。传统的图像增强方法存在着只能用于处理某些特定的问题，容易产生噪音等现象的问题。随着深度学习的发展，基于深度学习的图像增强方法，可提取图像深层信息，根据深层信息预测增强后的图像，取得了很好的效果。但是深度学习图像增强方法依赖于大量训练数据集、损失函数的选择，对设备运算能力要求过高，难以达到实时处理效果。这些问题导致基于深度学习的视频图像增强方法的设计与实施尤为困难。因此，针对上述问题，予以进一步改进。
技术实现思路
本专利技术的主要目的在于提供基于深度学习注意力模型的移动端视频质量增强方法，其分别将移动端视频通过前景处理和背景处理后再通过图像融合模块进行融合，以获得移动端视频质量增强数据，并且对视频数据进行图像超分辨率处理和视频图像质量增强处理，更大程度上提升视频增量性能。为达到以上目的，本专利技术提供一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，包括以下步骤：步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据(包括第一数据和第二数据)；步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据(方法步骤与步骤S1及其具体实施步骤相同)；步骤S3：将前景质量增强数据和背景质量增强数据通过图像融合模块进行融合，以获得移动端视频质量增强数据。作为上述技术方案的进一步优选的技术方案，步骤S1具体实施为以下步骤：步骤S1.1：对于移动端视频数据进行基于深度神经网络的图像超分辨率处理，以获得第一数据；步骤S1.2：对于移动端视频数据进行视频图像质量增强处理，以获得第二数据。作为上述技术方案的进一步优选的技术方案，步骤S1.1具体实施为以下步骤：步骤S1.1.1：将移动端视频数据进行第一预处理后获得的数据通过图像粗特征提取网络进行图像粗特征提取，以获得图像粗特征数据；步骤S1.1.2：将图像粗特征数据依次经过若干个多阶特征融合单元进行特征融合，以获得特征融合数据；步骤S1.1.3：将特征融合数据与移动端视频数据进行第一预处理后获得的数据构成全局残差架构(加快梯度在网络中的流动，同时也可以进一步改进网络的表达能力和减轻训练一个非常深的网络所带来的梯度消失问题，从而获得能好的性能)，以获得高分辨率的移动端视频前景数据(即第一数据)。作为上述技术方案的进一步优选的技术方案，步骤S1.2具体实施为以下步骤(利用单帧进行质量增强)：步骤S1.2.1：将移动端视频数据进行第二预处理后获得的数据通过浅层特征提取网络进行浅层特征提取，以获得浅层特征数据；步骤S1.2.2：将浅层特征数据通过包括若干残差块(每个残差块包括若干卷积)串联组成的质量增强网络进行质量增强(质量增强网络的作用是将所提取的浅层特征映射到图像空间以达到图像质量增强)，以获得质量增强数据；步骤S1.2.3：将质量增强数据与移动端视频数据进行第二预处理后获得的数据构成全局残差架构，，以获得高质量图像的移动端视频前景数据(即第二数据)。作为上述技术方案的进一步优选的技术方案，步骤S1.2还具体实施为以下步骤(利用多帧进行质量增强)：步骤T1.2.1：将移动端视频数据分为高质量帧、中质量帧和低质量帧；步骤T1.2.2：将高质量帧、中质量帧和低质量帧分别进行第三预处理，以生成两个相对于当前低质量帧的光流场，并且根据光流场的光流信息，对高质量帧和中质量帧的像素进行移位调整，以获得两个补偿帧；步骤T1.2.3：将获得的两个补偿帧与低质量帧通过融合网络结构进行融合，以获得增强低质量帧(高质量帧和中质量帧直接通过单帧模型增强)。为达到以上目的，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所一种基于深度学习注意力模型的移动端视频质量增强方法的步骤。为达到以上目的，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种基于深度学习注意力模型的移动端视频质量增强方法的步骤。具体实施方式以下描述用于揭露本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本专利技术的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本专利技术的精神和范围的其他技术方案。在本专利技术的优选实施例中，本领域技术人员应注意，本专利技术所涉及的神经网络和计算机等可被视为现有技术。优选实施例。本专利技术公开了一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，包括以下步骤：步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据(包括第一数据和第二数据)；步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据(方法步骤与步骤S1及其具体实施步骤相同)；步骤S3：将前景质量增强数据和背景质量增强数据通过图像融合模块进行融合，以获得移动端视频质量增强数据。具体的是，步骤S1具体实施为以下步骤：步骤S1.1：对于移动端视频数据进行基于深度神经网络的图像超分辨率处理，以获得第一数据；步骤S1.2：对于移动端视频数据进行视频图像质量增强处理，以获得第二数据。更具体的是，步骤S1.1具体实施为以下步骤：步骤S1.1.1：将移动端视频数据进行第一预处理后获得的数据通过图像粗特征提取网络进行图像粗特征提取，以获得图像粗特征数据；步骤S1.1.2：将图像粗特征数据依次经过若干个多阶特征融合单元进行特征融合，以获得特征融合数据；步骤S1.1.3：将特征融合数据与移动端视频数据进行第一预处理后获得的数据构成全局残差架构(加快梯度在网络中的流动，同时也可以进一步改进网络的表达能力和减轻训练一个非常深的网络所带来的梯度消失问题，从而获得能好的性能)，以获得高分辨率的移动端视频前景数据(即第一数据)。进一步的是，步骤S1.2具体实施为以下步骤(利用单帧进行质量增强)：步骤S1.2.1：将移动端视频数据进行第二预处理后获得的数据通过浅层特征提取网络进行浅层特征提取，以获得浅层特征数据；步骤S1.2.2：将浅层特征数据通过包括若干残差块(每个残差块包括若干卷积)串联组成的质量增强网络进行质量增强(质量增强网络的作用是将所提取的浅层特征映射到图像空间以达到图像质量增强)，以获得质量本文档来自技高网...

【技术保护点】
1.一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，其特征在于，包括以下步骤：/n步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据；/n步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据；/n步骤S3：将前景质量增强数据和背景质量增强数据通过图像融合模块进行融合，以获得移动端视频质量增强数据。/n

【技术特征摘要】
1.一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，其特征在于，包括以下步骤：
步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据；
步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据；
步骤S3：将前景质量增强数据和背景质量增强数据通过图像融合模块进行融合，以获得移动端视频质量增强数据。


2.根据权利要求1所述的一种基于深度学习注意力模型的移动端视频质量增强方法，其特征在于，步骤S1具体实施为以下步骤：
步骤S1.1：对于移动端视频数据进行基于深度神经网络的图像超分辨率处理，以获得第一数据；
步骤S1.2：对于移动端视频数据进行视频图像质量增强处理，以获得第二数据。


3.根据权利要求2所述的一种基于深度学习注意力模型的移动端视频质量增强方法，其特征在于，步骤S1.1具体实施为以下步骤：
步骤S1.1.1：将移动端视频数据进行第一预处理后获得的数据通过图像粗特征提取网络进行图像粗特征提取，以获得图像粗特征数据；
步骤S1.1.2：将图像粗特征数据依次经过若干个多阶特征融合单元进行特征融合，以获得特征融合数据；
步骤S1.1.3：将特征融合数据与移动端视频数据进行第一预处理后获得的数据构成全局残差架构，以获得高分辨率的移动端视频前景数据。


4.根据权利要求3所述的一种基于深度学习注意力模型的移动端视频质量增强方法，其特征在于，步骤S1....

【专利技术属性】
技术研发人员：金智鹏，翁政魁，张驰庚，
申请(专利权)人：嘉兴职业技术学院，
类型：发明
国别省市：浙江;33