基于滑窗权重回归的视频自适应锐化的方法及系统技术方案

本发明专利技术公开了一种基于滑窗权重回归的视频自适应锐化的方法及系统，通过构建基于滑窗权重回归的神经网络模型，以神经网络模型回归每帧图像中每个像素位置及其8邻域的权重；采用get_weights函数获取神经网络模型的训练权重，得到维度为[1,9,height,width]的特征，使图像的每个像素位置输出9个权重；将当前像素及其8邻域，根据相应的9个权重进行加权，得到锐化后的图像。不需要设置参数就能够自适应处理多种视频场景，能够达到实时处理的要求，更能突出图像的边缘和细节。能突出图像的边缘和细节。能突出图像的边缘和细节。

【技术实现步骤摘要】
基于滑窗权重回归的视频自适应锐化的方法及系统


[0001]本专利技术属于视频转换的
，尤其涉及一种基于滑窗权重回归的视频自适应锐化的方法及系统。

技术介绍

[0002]对于视频锐化，有Contrast Adaptive Sharpening和unsharp两个速度较快的图像锐化的算法。
[0003]其中，Contrast Adaptive Sharpening算法利用每个像素的4邻域和8领域，计算权重并得到当前像素的值，最终达到图像锐化的目的。
[0004]如图1所示，e表示滑窗时的当前像素，b,h,d,f是当前像素的4邻域；a,b,c,d,f,g,h,i是当前像素的8邻域，当前像素Contrast Adaptive Sharpening算法的锐化结果
[0005][0006]其中，
[0007]w＝amp/strength
[0008][0009][0010]strength＝
‑
[16+(16
‑
4)
·
s][0011]这里的s是需要人为设置的参数。
[0012]而unsharp是通过当前图像减去当前图像的高斯模糊图像得到图像的梯度grad，再计算src和梯度grad的加权，最终实现了图像边缘和细节的提升。
[0013]dst＝src+[src
‑
gaussianblur(src)*m][0014]这里的m是需要人为设置的参数，gaussianblur表示图像高斯模糊操作，src是输入的视频帧，dst是unsharp锐化输出的视频帧。

技术实现思路

[0015]本专利技术的目的是提供一种基于滑窗权重回归的视频自适应锐化的方法及系统，通过深度学习算法回归每个像素位置8邻域的权重，通过8邻域的加权，实现图像的锐化过程，比Contrast Adaptive Sharpening算法更具有鲁棒性。
[0016]为解决上述问题，本专利技术的技术方案为：
[0017]一种基于滑窗权重回归的视频自适应锐化的方法，包括：
[0039]回归10个参数，其中，
[0040][0041]式中，A,B为权重系数，T为常数项，x,y是在[
‑
1,1]区间上分别均匀等分后得到长度分别为width,height的数组，width,height分别为图像的宽和高；gridx、gridy分别为x、y的网格分量；并将所述10个参数与二维meshgrid(y,x)点乘得到维度大小为[1,9,height,width]的权重；
[0042]所述模型训练单元用于根据公式：
[0043][0044]对神经网络模型进行监督学习，不断计算图像gt与图像y的loss值，对回归参数进行调整；其中，N为模型输入图像的像素个数，图像gt为模型训练集中真值图像，图像y为模型输出的锐化图像。
[0045]一种基于滑窗权重回归的视频自适应锐化的设备，包括：
[0046]存储器和处理器，所述存储器中存储有指令，所述存储器和所述处理器通过线路互连；
[0047]所述处理器调用所述存储器中的所述指令，实现本专利技术一实施例中的基于滑窗权重回归的视频自适应锐化的方法。
[0048]一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术一实施例中的基于滑窗权重回归的视频自适应锐化的方法。
[0049]本专利技术由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
[0050]本专利技术一实施例中的基于滑窗权重回归的视频自适应锐化的方法，通过构建基于滑窗权重回归的神经网络模型，以神经网络模型回归每帧图像中每个像素位置及其8邻域的权重；采用get_weights函数获取神经网络模型的训练权重，得到维度为[1,9,height,width]的特征，使图像的每个像素位置输出9个权重；将当前像素及其8邻域，根据相应的9个权重进行加权，得到锐化后的图像。不需要设置参数就能够自适应处理多种视频场景，能够达到实时处理的要求，更能突出图像的边缘和细节。
附图说明
[0051]图1为本专利技术现有技术中的当前像素及其4邻域和8邻域示意图；
[0052]图2为本专利技术一实施例中的基于滑窗权重回归的视频自适应锐化的方法流图；
[0053]图3为本专利技术一实施例中的回归参数获取代码图；
[0054]图4为本专利技术一实施例中的图像锐化过程示意图；
[0055]图5为本专利技术一实施例中的基于滑窗权重的网络结构示意图；
[0056]图6为本专利技术一实施例中的基于滑窗权重回归的视频自适应锐化的系统框图；
[0057]图7为本专利技术一实施例中的基于滑窗权重回归的视频自适应锐化的设备示意图。
具体实施方式
[0058]以下结合附图和具体实施例对本专利技术提出的一种基于滑窗权重回归的视频自适应锐化的方法及系统作进一步详细说明。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。
[0059]实施例一
[0060]对于视频锐化，现有的Contrast Adaptive Sharpening算法利用每个像素的4邻域和8领域，计算权重并得到当前像素的值，最终达到图像锐化的目的，该算法一次计算只能得到一个像素的锐化结果，其计算过程比较复杂，且处理速度较慢。本实施例提供了一种基于滑窗权重回归的视频自适应锐化的方法，利用轻量的AlexNet通过训练回归每个像素所对应的权重，最终加权得到锐化后的图像；具有消耗资源少，处理速度快的优势，效果比Contrast Adaptive Sharpening视频锐化算法有所提升，且能够不需要人为设置参数。
[0061]请参看图2，该基于滑窗权重回归的视频自适应锐化的方法包括以下步骤：
[0062]S1：获取待处理视频，将视频解码，得到若干一帧图像；
[0063]S2：构建基于滑窗权重回归的神经网络模型，通过神经网络模型回归每帧图像中每个像素位置及其8邻域的权重；通过get_weights函数获取神经网络模型的训练权重，得到维度为[1,9,height,width]的特征，使图像的每个像素位置输出9个权重；其中，height为图像的高度，width为图像的宽度；将当前像素及其8邻域，根据相应的9个权重进行加权，得到锐化后的图像；
[0064]S3：将锐化后的图像进行编码，得到锐化处理后的视频。
[0065]在步骤S1中，获取待处理视频，将视频解码，得到若干一帧图像。该待处理视频可以是视频网站上下载的SDR视频，或HDR视频。对于一个视频文件，在进行视频锐化之前，需要通过ffmpeg，将视频解码为一帧帧图像，通过对图像的锐化，从而实现视频的锐化。
[0066]在步骤S2中，构建基于滑窗权重回归的神经网络模型，通过神经网络模型回归每帧图像中每个像素位置及其8邻域的权重；通过get_weights函数获取神经网络模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于滑窗权重回归的视频自适应锐化的方法，其特征在于，包括：获取待处理视频，将视频解码，得到若干一帧图像；构建基于滑窗权重回归的神经网络模型，通过神经网络模型回归每帧图像中每个像素位置及其8邻域的权重；通过get_weights函数获取神经网络模型的训练权重，得到维度为[1,9,height,width]的特征，使图像的每个像素位置输出9个权重；其中，height为图像的高度，width为图像的宽度；将当前像素及其8邻域，根据相应的9个权重进行加权，得到锐化后的图像；将锐化后的图像进行编码，得到锐化处理后的视频。2.如权利要求1所述的基于滑窗权重回归的视频自适应锐化的方法，其特征在于，所述通过通过get_weights函数获取神经网络模型的训练权重进一步包括：采用AlexNet神经网络，根据公式：w＝(A
·
gridx+B
·
gridy+T)3回归10个参数，其中，式中，A,B为权重系数，T为常数项，x,y是在[
‑
1,1]区间上分别均匀等分后得到长度分别为width,height的数组，width,height分别为图像的宽和高；gridx、gridy分别为x、y的网格分量；将所述10个参数与二维meshgrid(y,x)点乘得到维度大小为[1,9,height,width]的权重。3.如权利要求2所述的基于滑窗权重回归的视频自适应锐化的方法，其特征在于，采用公式：对神经网络模型进行监督学习，不断计算图像gt与图像y的loss值，对回归参数进行调整；其中，N为模型输入图像的像素个数，图像gt为模型训练集中真值图像，图像y为模型输出的锐化图像。4.一种基于滑窗权重回归的视频自适应锐化的系统，其特征在于，包括：预处理模块，用于获取待处理视频，将视频解码，得到若干一帧图像；图像锐化模块，用于构建基于滑窗权重回归的神经网络模型，通过神经网络模型回归每帧图像中每个像素位置及其8邻域的权重；采用get_we...

【专利技术属性】
技术研发人员：唐杰，朱运平，张聪聪，李庆瑜，戴立言，
申请(专利权)人：上海网达软件股份有限公司，
类型：发明
国别省市：