面向监控场景的图像超分辨率方法、装置及存储介质制造方法及图纸

本申请涉及一种面向监控场景的图像超分辨率方法、装置及存储介质，属于图像处理技术领域，该方法包括：将目标低分辨率图像输入预先训练的特征映射网络，得到位于目标特征空间的高维特征；将目标低分辨率图像和高维特征输入预先训练的图像重构网络，得到高分辨率图像；可以解决现有的基于深度学习的图像超分辨率方法合成的低分辨率图像与真实的低分辨率图像存在差异，泛化性较差的问题；特征映射网络预先学习特征映射关系；结合特征映射网络后得到的输出结果训练图像重构网络，进一步缩小了合成与真实低分辨率图像间的域差异，提高图像重构效果。

【技术实现步骤摘要】
面向监控场景的图像超分辨率方法、装置及存储介质
本申请涉及一种面向监控场景的图像超分辨率方法、装置及存储介质，属于图像处理

技术介绍
图像超分辨率(ImageSuperResolution)技术是指将低分辨率图像恢复出高分辨率图像的技术。随着卷积神经网络(ConvolutionalNearulNetwork，CNN)和生成对抗网络(GenerativeAdversarialNetwork，GAN)在像素级图像处理领域的发展，基于学习的图像超分辨率方法层出不穷。比如：使用超分辨率卷积网络(SuperResolutionConvolutionalNetwork，SRCNN)的图像超分辨率的方法；或者，使用超分辨率生成对抗网络(SuperResolutionGenerativeAdversarialNetwork，SRGAN)的图像超分辨率的方法；或者，使用用于单一图像超分辨率的增强型深度残差网络的(EnhancedDeepResidualNetworksforSingleImageSuper-Resolution，EDSR)图像超分辨率方法等。在基于学习的图像超分辨率方法中，需要使用低分辨率图像和高分辨率图像构成的图像对来训练网络模型。其中，每对图像对中的低分辨率图像是对该图像对中的高分辨率图像进行行双线性下采样得到的。然而，使用上述方式获取到的低分辨率图像，具有较低的泛化性能，与实际场景采集的低分辨率图像具有差异。此时，会导致使用图像对训练得到的网络模型的高分辨率图像重构效果较差的问题。
技术实现思路
本申请提供了一种面向监控场景的图像超分辨率方法、装置及存储介质，可以解决现有的基于深度学习的图像超分辨率方法合成的低分辨率图像与真实的低分辨率图像存在差异，泛化性较差的问题。本申请提供如下技术方案：第一方面，提供了一种面向监控场景的图像超分辨率方法，所述方法包括：获取待还原的目标低分辨率图像；将所述目标低分辨率图像输入预先训练的特征映射网络，得到位于目标特征空间的高维特征；其中，所述特征映射网络使用第一训练数据训练得到；所述第一训练数据包括第一低分辨率图像和第二低分辨率图像；所述第一低分辨率图像是基于高分辨率图像合成得到的低分辨率图像；所述第二低分辨率图像是对实际场景进行采集得到的低分辨率图像；将所述目标低分辨率图像和所述高维特征输入预先训练的图像重构网络，得到所述目标低分辨率图像对应的高分辨率图像；所述图像重构网络使用第二训练数据训练得到，所述第二训练数据包括高分辨率图像、所述高分辨率图像对应的第一低分辨率图像、以及将所述第一低分辨率图像输入所述特征映射网络后得到的输出结果。可选地，所述特征映射网络的训练过程，包括：将所述第一训练数据输入预设的初始网络模型；所述初始网络模型用于学习所述第一训练数据的空间表征；使用第一损失函数对所述初始网络模型进行训练，并对所述第一训练数据的图像特征进行特征空间的约束，以使所述第一训练数据中各个图像的图像特征均映射至所述目标特征空间，得到所述特征映射网络。可选地，所述初始网络模型为基于共享参数的变分自编码器模型。可选地，所述第一损失函数包括L1损失函数和对抗损失函数，所述对抗损失函数用于约束图像特征的特征空间；所述L1损失函数用于缩小模型估计结果与真实结果之间的差异。可选地，所述图像重构网络包括与所述特征映射网络相连的特征融合层，所述特征融合层用于将所述图像特征与所述高维特征进行融合。可选地，所述将所述图像特征与所述高维特征进行融合，包括：对所述图像特征和所述高维特征进行拼接，得到拼接特征；对所述拼接特征通过预设尺寸的卷积层进行融合，得到所述融合特征。可选地，所述图像重构网络还包括位于所述特征融合层之前的浅层特征提取层、位于所述特征融合层之后的深度特征提取层、上采样层和重建层；所述浅层特征提取层用于提取所述目标低分辨率图像的浅层特征；所述特征融合层用于将所述浅层特征和所述高维特征融合，得到所述融合特征；所述深度特征提取层用于提取所述融合特征的深度特征；所述上采样层用于提升所述深度特征的分辨率，得到高分辨率特征图；所述重建层用于对所述高分辨率特征图进行恢复，得到所述高分辨率图像。可选地，所述深度特征提取层基于注意力Attention机制对所述融合特征中的各个通道赋予不同的权重，以提取所述高分辨率特征。可选地，所述图像重构网络的训练过程包括：将所述第二训练数据输入预设的超分辨率网络模型；使用第二损失函数对所述超分辨率网络模型进行训练，得到所述图像重构网络；所述第二损失函数包括L1损失函数和感知损失函数，所述感知损失函数用于提升模型估计结果与真实结果之间的语义相似度；所述L1损失函数用于缩小模型估计结果与真实结果之间的差异。可选地，所述第一低分辨率图像是将相应的第二低分辨率图像与预先提取的低质量特征合成得到的；所述低质量特征是从多张第二低分辨率图像中提取得到的图像特征。可选地，所述低质量特征包括模糊核和/或噪声。可选地，所述模糊核是使用预先训练的生成对抗网络对第二低分辨率图像进行提取得到的，所述生成对抗网络包括生成器，所述生成器用于对所述模糊核进行建模；所述噪声是对所述第二低分辨率图像进行patch提取得到的。第二方面，提供一种面向监控场景的图像超分辨率装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的面向监控场景的图像超分辨率方法。第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的面向监控场景的图像超分辨率方法。本申请的有益效果在于：通过将目标低分辨率图像输入预先训练的特征映射网络，得到位于目标特征空间的高维特征；将目标低分辨率图像和高维特征输入预先训练的图像重构网络，得到目标低分辨率图像对应的高分辨率图像；可以解决现有的基于深度学习的图像超分辨率方法合成的低分辨率图像与真实的低分辨率图像存在差异，泛化性较差的问题；由于图像重构网络是使用高分辨率图像、该高分辨率图像对应的第一低分辨率图像、以及将第一低分辨率图像输入特征映射网络后得到的输出结果训练得到的；而特征映射网络是使用第一低分辨率图像和第二低分辨率图像训练得到的；这样，特征映射网络预先学习有特征映射关系，以使第一低分辨率图像的图像特征和第二低分辨率图像的图像特征均可以映射至同一特征空间(即目标特征空间)；结合特征映射网络后得到的输出结果训练图像重构网络，进一步缩小了合成与真实低分辨率图像间的域差异，提高图像重构效果。其中，第一低分辨率图像是基于高分辨率图像合成得到的低分辨率图像；第二低分辨率图像是对实际场景进行采集得到的低分辨率图像。另外，通过结合图像超分辨率背景对第二损失函数进行改进，针对图像超分辨率的背景，提取VGG网络的中间层作为感知损失，并联合本文档来自技高网...

【技术保护点】
1.一种面向监控场景的图像超分辨率方法，其特征在于，所述方法包括：/n获取待还原的目标低分辨率图像；/n将所述目标低分辨率图像输入预先训练的特征映射网络，得到位于目标特征空间的高维特征；其中，所述特征映射网络使用第一训练数据训练得到；所述第一训练数据包括第一低分辨率图像和第二低分辨率图像；所述第一低分辨率图像是基于高分辨率图像合成得到的低分辨率图像；所述第二低分辨率图像是对实际场景进行采集得到的低分辨率图像；/n将所述目标低分辨率图像和所述高维特征输入预先训练的图像重构网络，得到所述目标低分辨率图像对应的高分辨率图像；所述图像重构网络使用第二训练数据训练得到，所述第二训练数据包括高分辨率图像、所述高分辨率图像对应的第一低分辨率图像、以及将所述第一低分辨率图像输入所述特征映射网络后得到的输出结果。/n

【技术特征摘要】
1.一种面向监控场景的图像超分辨率方法，其特征在于，所述方法包括：
获取待还原的目标低分辨率图像；
将所述目标低分辨率图像输入预先训练的特征映射网络，得到位于目标特征空间的高维特征；其中，所述特征映射网络使用第一训练数据训练得到；所述第一训练数据包括第一低分辨率图像和第二低分辨率图像；所述第一低分辨率图像是基于高分辨率图像合成得到的低分辨率图像；所述第二低分辨率图像是对实际场景进行采集得到的低分辨率图像；
将所述目标低分辨率图像和所述高维特征输入预先训练的图像重构网络，得到所述目标低分辨率图像对应的高分辨率图像；所述图像重构网络使用第二训练数据训练得到，所述第二训练数据包括高分辨率图像、所述高分辨率图像对应的第一低分辨率图像、以及将所述第一低分辨率图像输入所述特征映射网络后得到的输出结果。


2.根据权利要求1所述的方法，其特征在于，所述特征映射网络的训练过程，包括：
将所述第一训练数据输入预设的初始网络模型；所述初始网络模型用于学习所述第一训练数据的空间表征；
使用第一损失函数对所述初始网络模型进行训练，并对所述第一训练数据的图像特征进行特征空间的约束，以使所述第一训练数据中各个图像的图像特征均映射至所述目标特征空间，得到所述特征映射网络。


3.根据权利要求2所述的方法，其特征在于，所述初始网络模型为基于共享参数的变分自编码器模型。


4.根据权利要求2所述的方法，其特征在于，所述第一损失函数包括L1损失函数和对抗损失函数，所述对抗损失函数用于约束图像特征的特征空间；所述L1损失函数用于缩小模型估计结果与真实结果之间的差异。


5.根据权利要求1所述的方法，其特征在于，所述图像重构网络包括与所述特征映射网络相连的特征融合层，所述特征融合层用于将所述图像特征与所述高维特征进行融合。


6.根据权利要求5所述的方法，其特征在于，所述将所述图像特征与所述高维特征进行融合，包括：
对所述图像特征和所述高维特征进行拼接，得到拼接特征；

【专利技术属性】
技术研发人员：胡旭阳，姚佳丽，李瑮，
申请(专利权)人：苏州科达特种视讯有限公司，苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32