【技术实现步骤摘要】
视频增强方法、装置、解码方法、解码器及电子设备
[0001]本专利技术涉及视频处理
，尤其涉及视频增强方法、装置、解码方法、解码器及电子设备。
技术介绍
[0002]近几年，互联网的视频流越来越流行，其对高质量和高分辨率视频的期望和需求也日益增长。实际上，数字视频的数据量极大，对存储空间要求高，同时不便于在带宽有限的网络中传输。通常，视频数据之间存在很高的相关性，即冗余信息。为突破存储空间和传输带宽的限制，视频压缩技术被提出并得到快速发展。该技术的核心在于通过移除视频数据中的冗余信息，提炼出紧凑的视频数据表示来达到数据压缩的目的，从而减少比特率，便于高质量和高分辨率视频的存储和传输。然而，视频在压缩过程中将不可避免地发生失真，如块效应、振铃效应和画质模糊等，严重影响用户的主观体验。因此，在视频压缩的解码端，需要对压缩后的视频进行视频增强，以改善视频质量。具体的，在解码端内置一个针对有损压缩视频的质量增强模块，对低质量的压缩视频进行后处理，提高其客观和感知质量。
[0003]和图像增强任务相比，视频增强任务的挑战...
【技术保护点】
【技术特征摘要】
1.一种视频增强方法，其特征在于，所述方法包括：获取待增强的视频序列，针对所述视频序列中的每帧第一图像，对所述第一图像及与所述第一图像相邻的第二图像进行非局部预融合处理，得到所述第一图像对应的预融合图像；根据所述第一图像和相邻的第二图像确定光流信息，根据所述光流信息、所述预融合图像和所述相邻的第二图像对应的预增强图像，将所述相邻的第二图像对齐到所述第一图像，得到所述第一图像对应的对齐帧特征图，对所述对齐帧特征图和所述预融合图像进行卷积融合，得到所述第一图像对应的预增强图像；将所述预融合图像和所述预增强图像进行信息聚合处理，得到所述第一图像对应的增强帧图像。2.如权利要求1所述的方法，其特征在于，所述对所述第一图像及与所述第一图像相邻的第二图像进行非局部预融合处理，得到所述第一图像对应的预融合图像包括：对所述第一图像进行特征提取，得到对应的第一特征图；对所述第二图像进行特征提取，得到对应的第二特征图；对所述第一特征图和第二特征图进行矩阵相乘，得到所述第一特征图和第二特征图的相似度；对所述相似度进行归一化处理，得到所述第二特征图对应的权重值；将所述第二特征图和对应的权重值进行矩阵相乘，得到第三特征图；将所述第三特征图与所述第一特征图进行叠加处理，得到所述第一图像对应的预融合图像。3.如权利要求2所述的方法，其特征在于，所述对所述第一特征图和第二特征图进行矩阵相乘，得到所述第一特征图和第二特征图的相似度；对所述相似度进行归一化处理，得到所述第二特征图对应的权重值包括：按照相同的区域划分规则，分别将所述第一特征图和第二特征图划分为多个区域；对所述第一特征图和第二特征图中对应位置的区域进行矩阵相乘，得到所述对应位置的区域的相似度；对所述对应位置的区域的相似度进行归一化处理，得到所述第二特征图中所述对应位置的区域的权重值。4.如权利要求2所述的方法，其特征在于，若与所述第一图像相邻的第二图像分别包括与所述第一图像前向相邻的第二图像和与所述第一图像后向相邻的第二图像，所述方法还包括：将得到所述第一图像对应的每个预融合图像分别作为候选预融合图像；对每个候选预融合图像进行通道维度拼接，对拼接结果进行卷积处理；将所述卷积处理结果与所述第一图像进行叠加处理，得到所述第一图像对应的预融合图像。5.如权利要求1所述的方法，其特征在于，所述根据所述光流信息、所述预融合图像和所述相邻的第二图像对应的预增强图像，将所述相邻的第二图像对齐到所述第一图像，得到所述第一图像对应的对齐帧特征图包括：分别对所述预融合图像和所述相邻的第二图像对应的预增强图像进行至少一次尺度变换；
按照尺度由小到大的顺序，根据当前尺度的光流信息、预融合图像和相邻的第二图像对应的预增强图像，将当前尺度的相邻的第二图像对齐到当前尺度的第一图像，得到当前尺度的对齐帧特征图；将所述当前尺度的对齐帧特征图进行上采样，并将上采样结果与尺度相匹配的预融合图像进行卷积融合；根据卷积融合结果和与所述卷积融合结果尺度相匹配的光流信息、尺度相匹配的相邻的第二图像对...
【专利技术属性】
技术研发人员：施晓迪，粘春湄，方瑞东，江东，林聚财，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。