一种车载图像超分辨率重建方法、系统、装置和存储介质制造方法及图纸

本发明专利技术公开了一种车载图像超分辨率重建方法、系统、装置和存储介质，其中方法包括：获取待重建的低分辨率车载图像；采用训练后的车载图像超分辨率重建模型对所述低分辨率车载图像进行重建，获得高分辨率车载图像，完成图像重建任务；其中，所述车载图像超分辨率重建模型通过采用无监督的降质增强GAN网络进行联合训练；在训练过程中，提取车载图像降质的特征信息，并将提取的特征信息拟合到所述车载图像超分辨率重建模型中，以提高模型的重建能力。本发明专利技术在训练过程中充分的提取自然场景下的噪声、伪影、干扰等导致车载图像降质的特征信息，并将提取的特征信息拟合到模型中，从而提高模型的重建性能。本发明专利技术可广泛应用于图像处理技术领域。处理技术领域。处理技术领域。

【技术实现步骤摘要】
一种车载图像超分辨率重建方法、系统、装置和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种车载图像超分辨率重建方法、系统、装置和存储介质。

技术介绍

[0002]随着时代的不断发展，新能源车、辅助驾驶和自动驾驶等技术开始进入人们的生产和生活。在辅助驾驶领域，清晰可见的图像对于车载AI的识别、判断能力具有至关重要的决定性能力，这关系着辅助驾驶技术的成熟程度和是否能够上路投入实际的生活场景，更重要的，这事关人们的生命和财产安全。车载摄像头的视频图像质量对辅助司机驾驶(如倒车后视)、车载AI的车道识别、碰撞检测等都有极其重要的作用。然而由于车辆在行驶过程中存在车和路旁物体间的相对运动，且往往伴有颠簸抖动的情况，所摄图像存在或多或少的运动模糊，这不利于司机驾驶时的路况判断。因此，对车载视频图像进行去运动模糊处理和超分辨率重建，有助于智能辅助驾驶的目标分类准确率的提高，具有一定现实意义。
[0003]车载图像超分辨率重建重建技术在新能源汽车以及自动驾驶技术不断发展的今天具有越来越重要的作用。流行的基于有监督的学习方式，通过预定义的退化高分辨率的图像来得到低分辨率的图像，从而得到成对的高、低分辨率的图像数据用于模型的训练，这种方式得到的数据一方面是会因为预定义的潜在影响，最终模型的重建效果局限在一个特定的特征空间，这个空间和预定义的退化方式相关，产生图像特征预测方面的特征过拟合和因为图像训练数据少而产生数据过拟合；同时，随着各种复杂且精巧的神经网络被设计出来用于超分工作，这些模型虽然取得了很好的重建效果，但是因为大量的堆砌网络导致模型的计算量、复杂度和模型参数空间占用过高，造成占用内存过多和电量消耗很大，不便于移植到现代移动设备。随着智能终端设备的普及和对高分辨率图像的需求增加，提高模型的泛化能力和减小模型的计算复杂度，设计更加轻量化的超分模型是未来这方面工作研究的发展方向。

技术实现思路

[0004]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种车载图像超分辨率重建方法、系统、装置和存储介质。
[0005]本专利技术所采用的技术方案是：
[0006]一种车载图像超分辨率重建方法，包括以下步骤：
[0007]获取待重建的低分辨率车载图像；
[0008]采用训练后的车载图像超分辨率重建模型对所述低分辨率车载图像进行重建，获得高分辨率车载图像，完成图像重建任务；
[0009]其中，所述车载图像超分辨率重建模型通过采用无监督的降质增强GAN网络(生成对抗网络)进行联合训练；在训练过程中，提取车载图像降质的特征信息，并将提取的特征信息拟合到所述车载图像超分辨率重建模型中，以提高模型的重建能力。
[0010]进一步地，通过以下方式搭建网络结构：
[0011]将降质增强GAN网络和车载图像超分辨率重建模型组合为一个双向的、端到端的车载图像重建系统；
[0012]其中，无监督的降质增强GAN网络用于提取自然场景下的车载图像噪声，得到低分辨率生成图像；
[0013]车载图像超分辨率重建模型采用得到的低分辨率生成图像和作为标签的高分辨率图像作为训练数据进行权重推演，从而整体提高模型对于各种恶劣场景导致的图像降质问题。
[0014]进一步地，所述降质增强GAN网络包括降质生成器和降质辨别器；
[0015]训练步骤具体包括：
[0016]获取高分辨率的基础事实图像；
[0017]将所述基础事实图像和随机噪声输入降质生成器，输出含有随机噪声的低分辨率的降质图像；
[0018]将所述降质图像和非配对的含有自然随机噪声分布的噪声图像输入降质辨别器进行真伪辨别；
[0019]通过降质辨别器和降质生成器的生成与对抗，使得降质增强GAN网络具有伪造噪声类型的能力。
[0020]进一步地，所述降质辨别器对应的损失函数如下：
[0021][0022]式中，A表示ReLU激活函数，D表示降质辨别器，BS表示批量大小，lrs表示噪声图像，lr_gen表示生成的降质图像。
[0023]进一步地，所述降质生成器对应的损失函数如下：
[0024][0025]式中，α和β分别表示均方损失权重和对抗损失权重，downs表示的是基础事实图像经过下采样之后的结果，W和H表示像素分辨率的宽和高。
[0026]进一步地，所述降质生成器包括第一残差编码块、轻量级的第二残差编码块和解码块；
[0027]在编码初期，采用第一残差编码块进行工作；
[0028]随着编码过程的加深，出现特征通道数的增加和像素块的减小；当检测到降质图像的大小小于预设阈值，将第二残差编码块替换第一残差编码块。
[0029]进一步地，所述噪声图像包括高斯噪声图像、伪影噪声图像和扭曲变形噪声图像。
[0030]本专利技术所采用的另一技术方案是：
[0031]一种车载图像超分辨率重建系统，包括：
[0032]图像获取模块，用于获取待重建的低分辨率车载图像；
[0033]图像重建模块，用于采用训练后的车载图像超分辨率重建模型对所述低分辨率车
载图像进行重建，获得高分辨率车载图像，完成图像重建任务；
[0034]其中，所述车载图像超分辨率重建模型通过采用无监督的降质增强GAN网络进行联合训练；在训练过程中，提取车载图像降质的特征信息，并将提取的特征信息拟合到所述车载图像超分辨率重建模型中，以提高模型的重建能力。
[0035]本专利技术所采用的另一技术方案是：
[0036]一种车载图像超分辨率重建装置，包括：
[0037]至少一个处理器；
[0038]至少一个存储器，用于存储至少一个程序；
[0039]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0040]本专利技术所采用的另一技术方案是：
[0041]一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0042]本专利技术的有益效果是：本专利技术通过降质增强GAN网络获取低分辨率的图像对车载图像超分辨率重建模型进行训练，训练过程中充分的提取自然场景下的噪声、伪影、干扰等导致车载图像降质的特征信息，并将提取的特征信息拟合到模型中，从而提高模型的重建性能。
附图说明
[0043]为了更清楚地说明本专利技术实施例或者现有技术中的技术方案，下面对本专利技术实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本专利技术的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0044]图1是本专利技术实施例中基于无监督降质增强GAN网络的车载图像超分辨率重建模型的示意图；
[0045]图2是本专利技术实施例中降质生成器的编解码网络结构图。
具体实施方式...

【技术保护点】

【技术特征摘要】
1.一种车载图像超分辨率重建方法，其特征在于，包括以下步骤：获取待重建的低分辨率车载图像；采用训练后的车载图像超分辨率重建模型对所述低分辨率车载图像进行重建，获得高分辨率车载图像，完成图像重建任务；其中，所述车载图像超分辨率重建模型通过采用无监督的降质增强GAN网络进行联合训练；在训练过程中，提取车载图像降质的特征信息，并将提取的特征信息拟合到所述车载图像超分辨率重建模型中，以提高模型的重建能力。2.根据权利要求1所述的一种车载图像超分辨率重建方法，其特征在于，通过以下方式搭建网络结构：将降质增强GAN网络和车载图像超分辨率重建模型组合为一个双向的、端到端的车载图像重建系统；其中，无监督的降质增强GAN网络用于提取自然场景下的车载图像噪声，得到低分辨率生成图像；车载图像超分辨率重建模型采用得到的低分辨率生成图像和作为标签的高分辨率图像作为训练数据进行权重推演，从而整体提高模型对于各种恶劣场景导致的图像降质问题。3.根据权利要求1所述的一种车载图像超分辨率重建方法，其特征在于，所述降质增强GAN网络包括降质生成器和降质辨别器；训练步骤具体包括：获取高分辨率的基础事实图像；将所述基础事实图像和随机噪声输入降质生成器，输出含有随机噪声的低分辨率的降质图像；将所述降质图像和非配对的含有自然随机噪声分布的噪声图像输入降质辨别器进行真伪辨别；通过降质辨别器和降质生成器的生成与对抗，使得降质增强GAN网络具有伪造噪声类型的能力。4.根据权利要求3所述的一种车载图像超分辨率重建方法，其特征在于，所述降质辨别器对应的损失函数如下：式中，A表示ReLU激活函数，D表示降质辨别器，BS表示批量大小，lrs表示噪声图像，lr_gen表示生成的降质图像。5.根据权利要求4所述的一种车载图像...

【专利技术属性】
技术研发人员：赵帅，孙季丰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：