用于图像去模糊的方法和设备技术

提供用于图像去模糊的方法和设备。所述方法包括：通过执行编码模型，生成关于输入图像中的第一模糊点的一级特征表示和关于通过对输入图像进行编码的第一模糊点的相似点的偏移信息；通过将偏移信息应用于一级特征表示来生成关于相似点的二级特征表示；以及通过执行隐函数模型，基于二级特征表示和偏移信息来生成输出图像。成输出图像。成输出图像。

【技术实现步骤摘要】
用于图像去模糊的方法和设备
[0001]本申请要求于2021年11月15日提交到韩国知识产权局的第10
‑
2021
‑
0156856号韩国专利申请的权益和于2022年03月03日提交到韩国知识产权局的第10
‑
2022
‑
0027654号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]下面的描述涉及具有图像去模糊的方法和装置。

技术介绍

[0003]图像修复可表示将劣化的质量的图像修复为提高的质量的图像。图像修复可执行基于深度学习的神经网络。神经网络可基于深度学习而被训练，然后通过映射彼此处于非线性关系的输入数据和输出数据来执行推断以实现特定目的。生成映射的这样的训练的能力可被称为神经网络的学习能力。另外，针对特定目的(诸如但不限于，图像修复)而训练的神经网络可具有响应于未训练的输入模式而生成相对准确的输出的泛化能力。

技术实现思路

[0004]本
技术实现思路
被提供从而以简要的形式介绍在以下具体执行方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。
[0005]在一个总体方面，一种处理器实现的方法包括：通过执行编码模型，通过对输入图像进行编码来生成关于输入图像中的第一模糊点的一级特征表示和关于确定的与第一模糊点相似的第二模糊点的偏移信息；通过将偏移信息应用于一级特征表示来生成关于第二模糊点的二级特征表示；以及通过执行隐函数模型，基于二级特征表示和偏移信息来生成输出图像。
[0006]所述方法还可包括：由处理器执行存储在非暂时性计算机可读存储介质中的计算机可读代码，并且通过执行的步骤将处理器被配置为执行生成一级特征表示和偏移信息的操作、生成二级特征表示的操作、以及生成输出图像的操作。
[0007]编码模型的输出向量可包括：第一分量，对应于一级特征表示；以及第二分量，对应于偏移信息。
[0008]生成二级特征表示的步骤可包括：通过基于根据偏移信息的第二模糊点的偏移值使一级特征表示变形，来生成二级特征表示。
[0009]生成输出图像的步骤可包括：基于二级特征表示和偏移信息来接收输入数据对，每个对包括特征表示和偏移值；通过用输入对中的每个对执行隐函数模型来估计与输入数据对对应的临时值；以及通过组合估计的临时值来确定输出图像的与第一模糊点对应的去模糊结果值。
[0010]所述方法可包括：检测输入图像中的包括第一模糊点的模糊区域；以及通过执行图像修复模型来对输入图像执行图像修复，其中，生成输出图像的步骤包括：通过将关于通
过执行隐函数模型而生成的模糊区域的中间结果图像与关于通过执行图像修复模型而生成的输入图像的中间结果图像进行合成，来生成输出图像。
[0011]第一模糊点可对应于基于比输入图像的分辨率高的分辨率的非网格点。
[0012]所述方法还可包括：通过执行输入图像中的网格点的线性插值来确定第一模糊点。
[0013]编码模型和隐函数模型可对应于神经网络模型。
[0014]所述方法还可包括：通过执行临时编码模型，生成关于输入训练图像中的模糊区域的第一样本模糊点的一级样本特征表示，并且通过用模糊区域对输入训练图像进行编码，生成关于与第一样本模糊点相似的第二样本模糊点的样本偏移信息；通过将样本偏移信息应用于一级样本特征表示，生成关于第二样本模糊点的二级样本特征表示；通过执行临时隐函数模型，基于二级样本特征表示和样本偏移信息来生成输出训练图像；以及通过训练临时编码模型和隐函数模型来生成编码模型和隐函数模型，使得不具有模糊区域的目标图像与输出训练图像之间的差异减小。
[0015]所述方法可包括：训练包括临时编码模型和临时隐函数模型的去模糊模型；在固定临时编码模型时进一步训练临时隐函数模型；以及在固定临时隐函数模型时进一步训练临时编码模型，以生成编码模型和隐函数模型。
[0016]在一个总体方面，一种设备包括：处理器，被配置为：通过执行编码模型，通过对输入图像进行编码生成关于输入图像中的第一模糊点的一级特征表示和关于确定的与第一模糊点相似的第二模糊点的偏移信息；通过将偏移信息应用于一级特征表示来生成关于第二模糊点的二级特征表示；以及通过执行隐函数模型，基于二级特征表示和偏移信息来生成输出图像。
[0017]所述设备还可包括存储指令的存储器，所述指令在由处理器执行时，将处理器配置为执行生成一级特征表示的处理、生成二级特征表示的处理和生成输出图像的处理。
[0018]处理器还可被配置为：通过基于根据偏移信息的第二模糊点的偏移值使一级特征表示变形，来生成二级特征表示。
[0019]处理器还可被配置为：基于二级特征表示和偏移信息来接收输入数据对，每个对包括特征表示和偏移值；通过执行隐函数模型来估计与输入数据对对应的临时值；以及通过组合估计的临时值来生成输出图像的与第一模糊点对应的去模糊结果值。
[0020]处理器还被配置为：检测输入图像中的包括第一模糊点的模糊区域；通过执行图像修复模型来对输入图像执行图像修复；以及通过将关于通过执行隐函数模型而生成的模糊区域的中间结果图像与关于通过执行图像修复模型而生成的输入图像的中间结果图像进行合成，来生成输出图像。
[0021]第一模糊点可对应于基于比输入图像的分辨率高的分辨率的非网格点。
[0022]处理器还可被配置为：通过执行输入图像中的网格点的线性插值来确定第一模糊点。
[0023]编码模型和隐函数模型可对应于神经网络模型。
[0024]处理器还可被配置为：通过执行临时编码模型，生成关于输入训练图像中的模糊区域的第一样本模糊点的一级样本特征表示，并且通过用模糊区域对输入训练图像进行编码，生成关于与样本模糊点相似的第二样本模糊点的样本偏移信息；通过将样本偏移信息
应用于一级样本特征表示来生成关于第二样本模糊点的二级样本特征表示；通过执行临时隐函数模型，基于二级样本特征表示和样本偏移信息来生成输出训练图像；以及通过训练临时编码模型和临时隐函数模型来生成编码模型和隐函数模型，使得不具有模糊区域的目标图像与输出训练图像之间的差异减小。
[0025]处理器还可被配置为：训练包括临时编码模型和临时隐函数模型的去模糊模型；在固定临时编码模型时进一步训练临时隐函数模型；以及在固定临时隐函数模型时进一步训练临时编码模型，以生成编码模型和隐函数模型。
[0026]所述设备可以是智能电话，还包括相机和显示器。
[0027]在一个总体方面，一种处理器实现的方法包括：使用机器学习编码器对包括模糊图像的输入图像进行编码；从模糊图像提取第一模糊点的特征和空间变化偏移模糊点；通过基于空间变化偏移模糊点使提取的第一模糊点变形，来生成二级特征信息；将二级特征信息和空间变化偏移模糊点输入到隐函数模型；以及通过执行机器学习提供生成的二级特征信息和空间变化偏移模糊点的隐函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像去模糊的方法，所述方法包括：通过执行编码模型，通过对输入图像进行编码来生成关于输入图像中的第一模糊点的一级特征表示和关于确定的与第一模糊点相似的第二模糊点的偏移信息；通过将偏移信息应用于一级特征表示来生成关于第二模糊点的二级特征表示；以及通过执行隐函数模型，基于二级特征表示和偏移信息来生成输出图像。2.根据权利要求1所述的方法，还包括：由处理器执行存储在非暂时性计算机可读存储介质中的计算机可读代码，并且通过执行的步骤将处理器被配置为执行生成一级特征表示和偏移信息的操作、生成二级特征表示的操作、以及生成输出图像的操作。3.根据权利要求1所述的方法，其中：编码模型的输出向量包括：第一分量，对应于一级特征表示；以及第二分量，对应于偏移信息。4.根据权利要求1所述的方法，其中，生成二级特征表示的步骤包括：通过基于根据偏移信息的第二模糊点的偏移值使一级特征表示变形，来生成二级特征表示。5.根据权利要求1所述的方法，其中，生成输出图像的步骤包括：基于二级特征表示和偏移信息来接收多个输入数据对，每个输入数据对包括特征表示和偏移值；通过用所述多个输入数据对中的每个输入数据对执行隐函数模型，来估计与所述多个输入数据对对应的多个临时值；以及通过组合估计的多个临时值来确定输出图像的与第一模糊点对应的去模糊结果值。6.根据权利要求1所述的方法，还包括：检测输入图像中的包括第一模糊点的模糊区域；以及通过执行图像修复模型来对输入图像执行图像修复，其中，生成输出图像的步骤包括：通过将关于通过执行隐函数模型而生成的模糊区域的中间结果图像与关于通过执行图像修复模型而生成的输入图像的中间结果图像进行合成，来生成输出图像。7.根据权利要求1所述的方法，其中，第一模糊点对应于基于比输入图像的分辨率高的分辨率的非网格点。8.根据权利要求7所述的方法，还包括：通过执行输入图像中的网格点的线性插值来确定第一模糊点。9.根据权利要求1所述的方法，其中，编码模型和隐函数模型对应于神经网络模型。10.根据权利要求1至9中的任何一项所述的方法，还包括：通过执行临时编码模型，生成关于输入训练图像中的模糊区域的第一样本模糊点的一级样本特征表示，并且通过用模糊区域对输入训练图像进行编码，生成关于与第一样本模糊点相似的第二样本模糊点的样本偏移信息；通过将样本偏移信息应用于一级样本特征表示，生成关于第二样本模糊点的二级样本特征表示；通过执行临时隐函数模型，基于二级样本特征表示和样本偏移信息来生成输出训练图像；以及
通过训练临时编码模型和隐函数模型来生成编码模型和隐函数模型，使得不具有模糊区域的目标图像与输出训练图像之间的差异减小。11.根据权利要求1至9中的任何一项所述的方法，还包括：训练包括临时编码模型和临时隐函数模型的去模糊模型；在固定临时编码模型时进一步训练临时隐函数模型；以及在固定临时隐函数模型时进一步训练临时编码模型，以生成编码模型和隐函数模型。12.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使处理器执行根据权利要求1所述的方法。13.一种用于图像去模糊的设备，包括：处理器，被配置为：通过执行编码模型，通过对输入图像进行编码生成关于输入图像中的第一模糊点的一级特征表示和关于确定的与第一模糊点相似的第二模糊点的偏移信息；通过将偏移信息应...

【专利技术属性】
技术研发人员：李熙真，张东桓，韩葆亨，姜纳硖，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：