一种语义分割驱动的图像超分辨率重构方法技术

本发明专利技术属于数字图像处理技术领域，具体为一种语义分割驱动的图像超分辨率重构方法。本发明专利技术方法具体包括：分别独立训练图像超分辨率网络和语义分割网络模型；级联独立训练的超分辨率网络和语义分割网络；在语义分割任务的驱动下，训练超分辨率网络；低分辨率图像通过任务驱动的网络处理后，获得准确的语义分割结果。实验结果表明，本发明专利技术能够使得超分辨率网络更好地适应分割任务，为语义分割网络提供清晰、分辨率高的输入图像，有效提高低分辨率图像的分割精确度。

A Semantic Segmentation-Driven Image Super-Resolution Reconstruction Method

The invention belongs to the technical field of digital image processing, in particular to an image super-resolution reconstruction method driven by semantic segmentation. The method of the invention includes: independently training image super-resolution network and semantic segmentation network model; cascade independent training super-resolution network and semantic segmentation network; under the drive of semantic segmentation task, training super-resolution network; low-resolution image is processed through task-driven network to obtain accurate semantic segmentation results. The experimental results show that the proposed method can make the super-resolution network better adapt to the segmentation task, provide a clear and high-resolution input image for the semantic segmentation network, and effectively improve the segmentation accuracy of the low-resolution image.

【技术实现步骤摘要】
一种语义分割驱动的图像超分辨率重构方法
本专利技术属于数字图像处理
，具体涉及一种图像超分辨率重构方法，更具体地说，涉及一种语义分割驱动的图像超分辨率重构方法。
技术介绍
语义分割是计算机视觉领域的基础任务之一，它将像素按照不同的语义分成不同的类别，在自动驾驶、图片内容理解等方面有着广泛的应用。近年来，深度卷积神经网络(deepconvolutionalneuralnetwork,DCNN)不仅在图像分类任务上有了长足的进步，而且在一些结构化输出的任务中，如语义分割，取得了突破性的进展。2015年，Long等人[1]提出FCN(fullyconvolutionalneuralnetwork)，首次将DCNN应用于像素级分类的语义分割任务。为了保持感受野，FCN中用的池化层较多，导致特征图分辨率较小，分割结果粗糙。Chen等人为了提高特征图分辨率同时不降低感受野，提出了Deeplab系列的方法[2-4]，引入了空洞卷积，优化网络的输出，在PASCALVOC2012[5]的测试集上达到的86.9％的准确率。然而，在语义分割中，分割图像中的小物体仍然是很大的挑战。图像超分辨率重构是一本文档来自技高网...

【技术保护点】
1.一种语义分割驱动的图像超分辨率重构方法，其特征在于，具体步骤如下：(1)分别独立预训练图像超分辨率网络和语义分割网络模型用数据集

【技术特征摘要】
1.一种语义分割驱动的图像超分辨率重构方法，其特征在于，具体步骤如下：(1)分别独立预训练图像超分辨率网络和语义分割网络模型用数据集训练超分辨率网络，其中，是低分辨率图像，作为超分辨率网络的输入，是高分辨率图像，作为训练过程的标签；用数据集训练语义分割网络，其中，Ii为语义分割网络的输入，Mi为像素级标签，表示图像Ii中每个像素的真实类别；(2)级联独立训练的超分辨率网络和语义分割网络超分辨率网络将低分辨率图像映射为高分辨率图像其中θSR为超分辨率网络的参数；超分辨率网络的输出作为语义分割网络的输入，获得超分辨率图像中每个像素分类结果构成级联的网络结构，其中θseg为语义分割网络的参数；(3)在语义分割任务的驱动下，训练超分辨率网络在预训练模型的基础上微调网络参数，用超分辨率网络的损失函数和语义分割网络的损失函数共同指导超分辨率网络的参数的更新，使得超分辨率网络针对具体的语义分割任务进行调整；(4)低分辨率图像经过任务驱动的网络处理，获得准确的语义分割结果对于低分辨率图像的语义分割任务，先将低分辨率图像输入到训练完成的语义分割驱动的超分辨率网络模型中，重构高分辨率图像，再将重构的高分辨率图像输入到语义分割网络中，获得准确的分割结果。2.根据权利要求1所述的方法，其特征在于，步骤(1)中，训练超分辨率网络的数据集的获取方法为：将高分辨率图像按照一定比例下采样，获得低分辨率图像对于非专业用于超分辨率任务的分辨率较高的图像数据集，都按照此方法构建超分辨率任务的数据集...

【专利技术属性】
技术研发人员：颜波，牛雪静，谭伟敏，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31