一种用于视频去模糊的无监督学习方法技术

本发明专利技术公开了一种用于视频去模糊的无监督学习方法。图像处理方法从视频中提取连续的输入模糊帧，并生成与输入模糊帧相对应的清晰帧。在清晰帧之间确定光流，并且光流用于计算每像素模糊核。模糊核用于将每个清晰帧重新模糊为相应的重新模糊帧。重新模糊帧用于通过最小化重新模糊帧与输入模糊帧之间的距离来微调去模糊网络。

An unsupervised learning method for video deblurring

【技术实现步骤摘要】
一种用于视频去模糊的无监督学习方法
技术介绍
运动模糊是计算机视觉中的基本问题，因为它影响图像质量并阻碍推理。传统的去模糊算法利用图像形成模型的物理特性，并使用手工制作的先验作为参考点。这些算法通常会产生准确反映底层场景的结果，但会有伪影。最近基于学习的方法隐含地从输入中直接提取自然图像的分布并使用它来合成合理的图像。虽然这些方法有时会产生令人印象深刻的清晰输出，但它们可能并不总是忠实地再现潜像的内容。
技术实现思路
公开了一种方法，当基于后续帧之间的光流重新模糊时，通过强制输出清晰帧以自监督方式微调去模糊神经网络，在最小误差距离内匹配输入模糊帧。附图说明为了容易地识别对任何特定元素或动作的讨论，附图标记中的一个或更多个最高有效位数字指代首先引入该元素的图号。图1示出了去模糊训练系统100的实施例。图2示出了去模糊训练过程200的实施例。图3示出了像素级模糊核估计过程300的实施例。图4是计算系统400的框图，在该计算系统400内可以包含或执行本文介绍的GPU或方法。具体实施方式参考图1，图像去模糊训练系统100包括去模糊网络102、光流网络104、模糊核估计器106、重新模糊单元108、监督损失比较器110、自监督损失比较器112和损失优化器114。去模糊网络102接收模糊图像输入。去模糊网络102将模糊图像输入变换为估计的清晰图像，并将估计的清晰图像发送到光流网络104、监督损失比较器110和自监督损失比较器112。光流网络104从去模糊网络102接收估计的清晰图像。光流网络104利用估计的清晰图像来确定估计的光流并将估计的光流发送到模糊核估计器106。模糊核估计器106从光流网络104接收估计的光流。模糊核估计器106从估计的光流生成像素级模糊核，并将像素级模糊核发送到重新模糊单元108。重新模糊单元108从模糊网络102接收估计的清晰图像，并从模糊核估计器106接收像素级模糊核。重新模糊单元108从估计的清晰图像和像素级模糊核生成估计的模糊图像，并将估计的模糊图像发送到自监督损失比较器112。监督损失比较器110从去模糊网络102接收地面实况图像输入和估计的清晰图像。监督损失比较器110比较地面实况图像输入和估计的清晰图像以确定监督损失，并将监督损失发送到损失优化器114。自监督损失比较器112从重新模糊单元108接收模糊图像输入和估计的模糊图像。自监督损失比较器112比较模糊图像输入和估计的模糊图像，以确定自监督损失并将自监督损失发送至损失优化器114。损失优化器114从监督损失比较器110接收监督损失并且从自监督损失比较器112接收自监督损失。损失优化器114还可以接收权重系数以均衡监督损失和自监督损失。损失优化器114生成去模糊网络训练信号以改变去模糊网络。可以利用该改变来最小化经均衡的监督损失和自监督损失的混合损失。去模糊网络训练信号可以改变与去模糊网络102相关联的权重。光流网络104和模糊核估计器106也可以由去模糊网络训练信号改变。在一些实施例中，未使用监督损失比较器110。损失优化器114可以接收自监督损失并生成没有监督损失的去模糊网络训练信号，但是使用监督损失和无监督损失来训练网络可以实现更好的结果。可以根据图2中描绘的过程来操作去模糊训练系统100。参考图2，去模糊训练过程200接收输入模糊图像(框202)。输入模糊图像可以包括(例如)根据方程式1的三个时间上连续的图像。然后将输入模糊图像去模糊为估计的清晰图像(框204)。根据方程式2可以进行去模糊过程。其中，Θd是去模糊网络的权重。可以使用诸如DVD或DeblurGAN的去模糊网络。可以为三个连续的模糊图像输入中的每一个产生估计的清晰图像。然后估计光流(框206)。可以分别根据方程式3和4针对当前图像的先前图像和当前图像的随后图像二者从估计的清晰图像估计光流。其中Θf是光流网络的权重。可以使用诸如FlowNetS的光流网络。可以将去模糊网络和光流网络视为相同整个网络的两个子网络，并且整体地训练整个网络，而不是分别训练两个子网络。然后根据方程式5利用光流来生成像素级模糊核(框208)。K(p)＝k(Ft-1→t(p)，Ft+1→t(p))方程式5在优选实施例中，方程式5是可微分的。还可以利用图3中描绘的过程来估计像素级模糊核，因为这种估计是可微分的并且因此可以在神经网络中训练。根据方程式6，通过利用像素级模糊核来重新模糊当前清晰图像来生成估计的模糊图像(框210)。距离函数(诸如均方误差(MSE))用于将估计的模糊图像与输入模糊图像进行比较，并且根据方程式7来确定损失(框212)。其中，距离函数(诸如MSE)用于将估计的清晰图像与地面实况图像进行比较，并且根据方程式8来确定损失(框214)。其中，S＝{IB；IS}根据方程式9确定混合损失(框216)。L(Θd)＝LS(Θd)+αLU(Θd)方程式9可以接收权重系数α以均衡损失的贡献。权重系数可以设置为0.1。然后所确定的损失改变去模糊网络d(框218)。可以利用该过程改变去模糊网络或去模糊网络的权重，直到损失最小化。在一些实施例中，通过将估计的清晰图像与地面实况图像进行比较而确定的损失不用于训练去模糊网络。参考图3，像素级模糊核估计过程300接收光流(框302)。光流可以由方程式3和4确定，并且方程式10可以用于确定模糊核K。其中，Rl:x∈[0，τut+1→t(p)]，y∈[0，τυt+1→t(P)]R2:x∈[0,τut-i→t(P)I,y∈[0,τvt-i→t(p)]并且τ是曝光时间。在一些实施例中，曝光时间可以是1。因此，像素级模糊核估计过程300将光流映射到模糊核查找表以确定要在双线性插值中使用的权重ωi(框304)。然后使用双线性插值来确定模糊核(框306)。方程式11可用于执行双线性插值。其中N是计算模糊核的光流范围。N的值可以设置为33×33，其在两个方向上利用-16到16个像素。然后，重新模糊器利用模糊核来重新模糊清晰的图像。图4是计算系统400的一个实施例的框图，其中可以实现本专利技术的一个或更多个方面。计算系统400包括系统数据总线436、CPU426、输入设备430、系统存储器404、图形处理系统402和显示设备428。在可选的实施例中，CPU426、图形处理系统402的部分、系统数据总线436或其任何组合可以集成到单个处理单元中。此外，图形处理系统402的功能可以包括在芯片组或一些其他类型的专用处理单元或协同处理器中。如图所示，系统数据总线436连接CPU426、输入设备430、系统存储器404和图形处理系统402。在可选实施例中，系统存储器404可以直接连接到CPU426。CPU426从输入设备430接收用户输入，执行存储在系统存储器404中的编程指令，对存储在系统存储器404中的数据进行操作，并配置图形处理系统402以执行图形管线中的特定任务。系统存储器404通常包括用于存储编程指令和数据以供CPU426和图形处理系统402处理的动态随机存取存储器(DRAM)。图形处理系统402接收由CPU426发送的指令并处理指令以在显示设备428上渲染和显示图形图像。还如图所示，系统存储器404包括应用程序412、API418(应用程序编程接口)和图形处本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：从视频中提取多个连续的输入模糊帧；生成多个清晰帧，所述清晰帧中的每个清晰帧对应于所述输入模糊帧中的一个输入模糊帧；确定所述清晰帧之间的光流；应用所述光流来计算每像素模糊核；以及应用所述模糊核将所述清晰帧中的每个清晰帧重新模糊为相应的重新模糊帧。

【技术特征摘要】
2018.02.02 US 15/887,9071.一种图像处理方法，包括：从视频中提取多个连续的输入模糊帧；生成多个清晰帧，所述清晰帧中的每个清晰帧对应于所述输入模糊帧中的一个输入模糊帧；确定所述清晰帧之间的光流；应用所述光流来计算每像素模糊核；以及应用所述模糊核将所述清晰帧中的每个清晰帧重新模糊为相应的重新模糊帧。2.如权利要求1所述的图像处理方法，其中：生成所述清晰帧采用第一神经网络执行；以及生成所述光流采用第二神经网络执行。3.如权利要求2所述的图像处理方法，其中，使用所述重新模糊帧来训练所述第一神经网络。4.如权利要求3所述的图像处理方法，其中，训练所述第一神经网络使每个所述输入模糊帧与相应的重新模糊帧之间的距离最小化。5.如权利要求3所述的图像处理方法，其中，训练所述第一神经网络包括：反向传播从所确定的所述重新模糊帧中的监督损失和所确定的所述重新模糊帧中的无监督损失两者导出的权重。6.如权利要求2所述的图像处理方法，其中，所述第一神经网络是DVD和DeblurGAN之一。7.如权利要求2所述的图像处理方法，其中，所述第二神经网络是FlowNetS网络。8.如权利要求1所述的图像处理方法，其中，利用预先计算的查找表来执行所述重新模糊，所述预先计算的查找表使用双线性插值将所述光流映射到所述模糊核。9.如权利要求1所述的图像处理方法，其中，使用具有所述模糊核的每像素卷积来执行所述重新模糊。10.如权利要求9所述的图像处理方法，其中，所述模糊核包括每...

【专利技术属性】
技术研发人员：顾金伟，O·加洛，刘洺堉，J·考茨，陈怀金，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国,US