基于深度学习的图像去畸变方法及相关设备技术

本公开提供一种基于深度学习的图像去畸变方法及相关设备，首先获取畸变图像的包括人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息在内的图像特征信息；然后对畸变图像及图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；再将多尺度畸变图像和对应的多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像；其中，采用了通过图像语义学习引导的堆叠式神经网络模型来训练图像去畸变模型，最终实现输入一张存在局部畸变的图像，通过深度学习网络模型处理后可以获得一张去除局部畸变的图像。得一张去除局部畸变的图像。得一张去除局部畸变的图像。

【技术实现步骤摘要】
基于深度学习的图像去畸变方法及相关设备


[0001]本公开涉及图像处理
，尤其涉及一种基于深度学习的图像去畸变方法及相关设备。

技术介绍

[0002]随着互联网技术的不断发展和网络速率的不断提升，人们越来越热衷于在社交媒体上面以图会友，因而对图像的修正也成为了一种刚需，各种图像处理软件应运而生。用户通过这些软件，只需要在电脑或者手机上面进行简单的拖拉操作，就可以修正照片中的人体，使得照片更具观感。
[0003]虽然这些图像处理软件能够便捷地对图像进行修正，降低了图像处理的门槛，但是最终所产生的图像并不是完美无缺的：在修正的过程中，若形变范围或者形变参数的设置不合理，不仅仅会使得修正后的图像中的实例比例不协调，同时还会使得图像中的背景出现局部畸变的现象。

技术实现思路

[0004]有鉴于此，本公开的目的在于提出一种基于深度学习的图像去畸变方法及相关设备。
[0005]基于上述目的，本公开提供了一种基于深度学习的图像去畸变方法，包括：获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；对所述畸变图像及所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
[0006]基于同一专利技术目的，本公开还提供了一种基于深度学习的图像去畸变装置，包括：图像特征提取模块，获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；图像特征处理模块，对所述畸变图像及对应的所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；图像去畸变模块，将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
[0007]基于同一专利技术目的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现基于深度学习的图像去畸变方法。
[0008]基于同一专利技术目的，本公开还提供了一种一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行基于深度学习的图像去畸变方法。
[0009]从上面所述可以看出，本公开提供的基于深度学习的图像去畸变方法及相关设备，基于堆叠编解码器提出了堆叠式网络架构，不仅仅使得图像去畸变模型能够被逐层训练，还能减少每次训练所需的计算资源；通过自主创新提出的语义引导损失函数和可区分性恢复损失函数在图像的畸变区域恢复上有很大的成效，可以使得图像去畸变模型具备有区分力的恢复能力。
附图说明
[0010]为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本公开实施例的基于深度学习的图像去畸变方法的流程图；图2为本公开实施例的获取图像分级畸变矩阵信息的流程图；图3为本公开实施例的训练图像去畸变模型的流程图；图4为本公开实施例的基于深度学习的图像去畸变装置的示意图；图5为本公开实施例的电子设备示意图。
具体实施方式
[0012]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0013]需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。
[0014]目前电脑端的Photoshop和移动端的美图秀秀、激萌、轻颜、醒图等图像处理软件在修正图像时采用的是传统的图像形变算法：如移动最小二乘法、反距离权重插值法、小波变换、高斯模糊等。但是这些传统算法在处理过程中并未考虑图像中人物和背景的关系，只是简单的进行像素与像素之间的逻辑运算，因此修正后的图像会存在局部畸变的现象。
[0015]在深度学习领域，图像处理的基本方法为：输入单幅图像，经过深度学习网络的一系列处理之后，输出仍然为单幅图像。通过对深度学习网络进行引导训练，可以使得深度学习网络具备强大的图像深层特征的感知和提取能力，从而在对图像进行编解码的过程中修正需要改变的图像深层特征，以实现图像到图像的生成转换。在此工作上，已经产生了一系列经典的深度学习网络：Unet、pix2pix、BicycleGAN、pix2pixHD、HRNet等。基于这些经典深度学习网络，研究者们在图像风格迁移、图像变换、图像增强、图像去噪、图像超分、图像重建、图像降级等方面都展开了研究，并涌现出大批的研究成果。但是在图像去畸变领域相关的工作却未引起相关研究者的注意，成为业内的一大痛点。
[0016]而且图像处理软件虽然能够便捷地对图像进行修正，降低了图像处理的门槛，但在修正的过程中，还会使图像中的背景出现局部畸变的现象。这一问题的产生主要是因为
传统的算法在进行图像变换的过程中，主要关注像素原点与目的点的距离进行映射计算，而没有考虑图像中的实例及其周围像素之间的关系，同时也没有区分图像中实例和背景的能力，从而使得修正后的图像发生局部畸变。
[0017]为解决上述问题，本公开提供了一种基于深度学习的图像去畸变方法，通过图像语义学习引导的堆叠式神经网络来实现，最终实现输入一张存在局部畸变的图像，通过深度学习网络模型处理后可以获得一张去除局部畸变的图像。
[0018]参照图1，本公开提供的基于深度学习的图像去畸变方法，包括：步骤S101，获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息。
[0019]本步骤中，获取的图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息。
[0020]其中，图像分级畸变矩阵以外的图像特征信息可以通过现有的深度学习网络模型获取，包括：采用U2Net模型获取人物遮罩信息，采用Openpose模型获取人物骨骼关键点信息和采用边缘检测模型获取边缘信息。然后从人物遮罩信息中提取人物轮廓点信息，在将人物轮廓点信息和人物骨骼关键点信息输入多维高斯滤波器处理得到人物关键点热力图和人物轮廓点热力图。
[0021]对于图像分级畸变矩阵信息，其获取流程可参照图2，包括：步骤S201，将畸变图像和对应的原始图像分别裁剪为256个区域。
[0022]步骤S202，分别计算两幅图像对应区域的峰值信噪比和结构相似性。
[0023]步骤S203，根据计算结果和预设阈值为畸变图像的所有区域划分畸变等级，得到16
×
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的图像去畸变方法，包括：获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；对所述畸变图像及所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。2.根据权利要求1所述的图像去畸变方法，其中，所述对于所述畸变图像进行图像特征提取，包括：采用深度学习网络模型分别获取所述畸变图像和对应的原始图像的所述人物遮罩信息、所述边缘信息和人物骨骼关键点信息；从所述人物遮罩信息中提取出人物轮廓点信息，利用多维高斯滤波器处理所述人物骨骼关键点信息和所述人物轮廓点信息得到所述人物关键点热力图和所述人物轮廓点热力图。3.根据权利要求2所述的图像去畸变方法，其中，所述对于所述畸变图像进行图像特征提取，还包括：将所述畸变图像和所述原始图像分别裁剪为256块区域；分别计算所述畸变图像和所述原始图像对应区域的峰值信噪比和结构相似性；根据计算得到的结果和预设的阈值为所述畸变图像的所有所述区域划分不同等级，得到16
×
16的图像分级畸变矩阵作为所述图像分级畸变矩阵信息。4.根据权利要求3所述的图像去畸变方法，其中，所述图像去畸变模型通过以下步骤训练得到：将预先准备的畸变图像样本和所述畸变图像样本的图像特征信息输入所述初始图像去畸变模型，经过处理输出图像恢复图；分别提取所述图像恢复图和与所述畸变图像样本对应的原始图像样本的图像特征信息并进行对比，根据对比结果调整所述初始图像去畸变模型的参数，再使用调整参数后的所述初始图像去畸变模型进行第二次所述畸变图像样本的处理；重复上述训练过程直至训练次数达到预定阈值，将最后一次调整参数后的所述初始图像去畸变模型作为所述图像去畸变模型。5.根据权利要求4所述的图像去畸变方法，其中，所述分别提取所述图像恢复图和与所述畸变图像样本对应的原图像样本的图像特征信息并进行对比，包括：建立多种损失求导函数对所述图像恢复图的图像特征信息和所述原始图像样本的图像特征信息进行损失计算求导，所述损失求导函数包括：全局损失函数、局部损失函数、语义引导损失函数和可...

【专利技术属性】
技术研发人员：傅慧源，马华东，田昌昊，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：