一种基于深度学习的压缩HDR视频增强方法及系统技术方案

本发明专利技术公开了一种基于深度学习的压缩HDR视频增强方法及系统，增强方法包括以下步骤：S1、构建压缩HDR视频数据集；S2、进行图像

【技术实现步骤摘要】
一种基于深度学习的压缩HDR视频增强方法及系统


[0001]本专利技术属于视频编解码
，特别涉及一种基于深度学习的压缩HDR视频增强方法以及压缩HDR视频增强系统。

技术介绍

[0002]一个复杂系统中由于具有宽广的亮度范围带来了五彩斑斓的视觉细节。但是前几年市面上依旧是8bit或者更低位深的显示器占据主导地位，这使得诸多学者的研究依旧停留于压缩的标准动态范围(Standard Dynamic Range，SDR)视频增强。随着科技的发展以及人们生活水平的提高，支持10bit乃至更高位深的显示器大量普及，研究对压缩的高动态视频(High Dynamic Range,HDR)增强的方法刻不容缓。在电影摄影领域，高动态范围视频保存与人类肉眼近似的场景，使得人们观影体验大幅度提高。在计算机视觉的高层任务，增强的HDR视频由于其更加丰富的语义特征，可以帮助目标检测任务，分类任务等提高准确率。在医学领域，拥有更高动态范围的增强后HDR视频可以帮助远程医疗诊断更为清晰，可靠，同时码率的节省带来的低延迟有助于医生更清楚及时的分析诊断患者的病情。总的来说HDR视频与SDR视频相比拥有与生俱来的优势，对HDR视频的研究，特别是压缩HDR视频增强的研究是当今时代的迫切需求。
[0003]目前国内外主要是针对压缩SDR视频增强方面的研究。关于该方向的研究拥有很多成熟的模型，以及大量的数据集。但是据我们了解，目前国内外并没有设计专门的深度学习模型以及配套的数据集针对压缩HDR视频增强方面的研究。
[0004]申请号为202110319011.6的专利申请公开了一种基于QP估计的压缩视频质量盲增强方法。该方法是针对SDR视频增强的，通过估计质量因子(QP)实现对SDR视频盲增强，但是该方法仅仅针对SDR视频，并没有考虑到HDR视频。因此不适用于压缩HDR视频增强。
[0005]申请号为202010026179.3的专利申请公开了一种基于深度学习的动态场景HDR重建方法。该方法通过将三个不同曝光的标准动态范围图像作为输入，用LK光流法对曝光栈内的图像进行配准之后通过残差注意力模块以及类UNet网络重建HDR图像。该方法仅考虑了从SDR图像到HDR图像的映射，与我们目前需要解决的问题压缩HDR视频增强问题不匹配。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供一种能够节省码率，提高压缩HDR视频质量的基于深度学习的压缩HDR视频增强方法，并提供了一种基于深度学习的压缩HDR视频增强系统。
[0007]本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习的压缩HDR视频增强方法，包括以下步骤：
[0008]S1、构建一个具有丰富场景信息的压缩HDR视频数据集；
[0009]S2、将压缩HDR视频数据集中的视频帧通过图像
‑
特征转换得到压缩HDR视频特征图；
[0010]S3、使用下采样操作对压缩HDR视频特征图进行下采样；
[0011]S4、使用视频增强模块对下采样后的HDR视频特征进行第一次恢复，得到初次恢复的HDR视频特征；
[0012]S5、对初次恢复的HDR视频特征进行第二次下采样后，使用视频增强模块进行第二次尺度间恢复得到二次重建的HDR视频特征，之后将该特征与第二次增强前的特征融合；
[0013]S6、对S5融合后的HDR视频特征进行解码操作，首先使用上采样模块对融合的HDR视频特征进行上采样操作，之后再使用视频增强模块进行增强，并将本次增强后的特征与第一次增强后的特征进行融合；
[0014]S7、对S6融合后的HDR视频特征进行上采样操作，并将上采样得到的特征与S2得到的特征融合到一起；
[0015]S8、将S7融合后的HDR视频特征通过特征
‑
图像转换模块得到增强后的HDR视频。
[0016]所述步骤S1具体实现方法为：筛选出包括户内、户外、灯光、阴影、人像、动物场景类别的视频，将这些视频每隔60帧抽取一帧后再次筛选丢掉场景相似的图片，得到2023帧具有丰富场景的HDR视频数据，分辨率为3840*2160；
[0017]对HDR视频数据通过HM16.9在QP为22,27,32,37的条件下进行单帧压缩，得到四个压缩后数据集，之后对每个数据集按照512*512大小，每400个像素进行一次剪裁，最终共得到了101150帧视频帧，组成压缩HDR视频数据集。
[0018]所述视频增强模块由四个二级残差块连接组成，将其公式化表述为如下所示：
[0019][0020][0021]E(H
F
)＝Cat(RC1(H
F
),RC2(H
F
)，RC3(H
F
),RC4(H
F
))
[0022]其中Conv
3x3
代表3x3卷积块，ReLU()代表ReLU激活函数，D(
·
)代表残差块；〇表示卷积操作；H
F
代表待处理的压缩HDR视频特征，RC(
·
)代表二级残差连接块，Cat(
·
)操作用于将二级残差链接块的输入链接到一起；每个二级残差块的输出会作为另一个二级残差块的输入，之后将四个二级残差的输出拼接到一起。
[0023]本专利技术的另一个目的是提供一种基于深度学习的压缩HDR视频增强系统，包括三个视频增强块、图像
‑
特征转换模块、两个上采样模块、两个下采样模块、三个跳连结构、特征
‑
图像转换模块；三个视频增强模块分别记作第一视频增强模块、第二视频增强模块、第三视频增强模块；两个上采样模块分别记作第一上采样模块、第二上采样模块；两个下采样模块分别记作第一下采样模块、第二下采样模块；三个跳连结构分别记作第一跳连结构、第二跳连结构、第三跳连结构；
[0024]图像
‑
特征转换模块、第一下采样模块、第一视频增强模块、第二下采样模块、第二视频增强模块、第一上采样模块、第三视频增强模块、第二上采样模块采用串联结构；图像
‑
特征转换模块的输入为压缩HDR视频数据集；
[0025]第一跳连结构将图像
‑
特征转换模块的输出传递给第二上采样模块的输出，图像
‑
特征转换模块的输出和第二上采样模块的输出相加作为特征
‑
图像转换模块的输入；
[0026]第二跳连结构将第一视频增强模块的输出传递给第一上采样模块的输出，第一视频增强模块的输出与第一上采样模块的输出相加用以作为第三视频增强模块的输入；
[0027]第三跳连结构将第二下采样模块的输出传递给第二视频增强模块的输出，第二下
采样模块的输出和第二视频增强模块的输出作为第一上采样模块的输入。
[0028]本专利技术的有益效果是：本专利技术提供了一种基于深度学习的压缩HDR视频增强方法，能够节省码率，提高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的压缩HDR视频增强方法，其特征在于，包括以下步骤：S1、构建一个具有丰富场景信息的压缩HDR视频数据集；S2、将压缩HDR视频数据集中的视频帧通过图像
‑
特征转换得到压缩HDR视频特征图；S3、使用下采样操作对压缩HDR视频特征图进行下采样；S4、使用视频增强模块对下采样后的HDR视频特征进行第一次恢复，得到初次恢复的HDR视频特征；S5、对初次恢复的HDR视频特征进行第二次下采样后，使用视频增强模块进行第二次尺度间恢复得到二次重建的HDR视频特征，之后将该特征与第二次增强前的特征融合；S6、对S5融合后的HDR视频特征进行解码操作，首先使用上采样模块对融合的HDR视频特征进行上采样操作，之后再使用视频增强模块进行增强，并将本次增强后的特征与第一次增强后的特征进行融合；S7、对S6融合后的HDR视频特征进行上采样操作，并将上采样得到的特征与S2得到的特征融合到一起；S8、将S7融合后的HDR视频特征通过特征
‑
图像转换模块得到增强后的HDR视频。2.根据权利要求1所述的基于深度学习的压缩HDR视频增强方法，其特征在于，所述步骤S1具体实现方法为：筛选出包括户内、户外、灯光、阴影、人像、动物场景类别的视频，将这些视频每隔60帧抽取一帧后再次筛选丢掉场景相似的图片，得到2023帧具有丰富场景的HDR视频数据，分辨率为3840*2160；对HDR视频数据通过HM16.9在QP为22,27,32,37的条件下进行单帧压缩，得到四个压缩后数据集，之后对每个数据集按照512*512大小，每400个像素进行一次剪裁，最终共得到了101150帧视频帧，组成压缩HDR视频数据集。3.根据权利要求1所述的基于深度学习的压缩HDR视频增强方法，其特征在于，所述视频增强模块由四个顺连的二级残差块连接组成，将其公式化表述为如下所示：频增强模块由四个顺连的二级残差块连接组成，将其公式化表述为如下所示：E(H
F
)＝Cat(RC1(H
F
)，RC2(H
F
...

【专利技术属性】
技术研发人员：叶茂，王虎，朱策，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：