一种基于深度学习的图像重建方法技术

本发明专利技术公开了一种基于深度学习的图像重建方法，包括以下步骤：其目的在于利用深度学习技术对低分辨率数据进行训练得到低分辨率到高分辨率之间的映射函数，其技术关键在于S1:对数据集进行下采样处理；S2:利用残差原理，将不同层间的卷积激活结果相加；S3:训练数据分为有标签和无标签两类，两种情况对应两种损失数；S4:整合两类情况，获得最终的损失函数。本发明专利技术输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。本发明专利技术在不改变成像系统硬件设备的前提下，有效提高所获取的图像质量。

An Image Reconstruction Method Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的图像重建方法
本专利技术涉及图像处理
，特别涉及一种基于深度学习的图像重建方法。
技术介绍
目前图像超分辨率重建技术在提升芯片图像的分辨率中发挥着重要作用。超分辨率(Super-Resolution)是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率在视频压缩与传输、医学图像辅助诊断，安防监控以及卫星成像等领域有着广泛的应用前景。从研究方法来说，图像超分辨率重建技术可以分为基于插值、基于重建和基于学习三类，基于插值的方法普遍存在明显的锯齿效应，基于重建的方法考虑了图像的退化模型，且可以结合图像的先验知识，性能较插值法有了很大改善，但是应用于芯片图像时效果依然不佳；基于学习的超分辨率算法的主要思想是学习低分辨率图像和高分辨率图像之间的对应关系，根据这种对应关系指导图像的超分辨率重建，随着机器学习的兴起，基于深度学习的超分辨率重建算法逐渐涌现出来，在处理普通自然图像时，这类方法表现出了优秀的性能，但在重建由密集的电路组成的芯片图像时，并不能将图像的细节部分处理的很好。超分辨率主要有以下两个评价标准：(1)图像的重建效果，重建的目标是恢复图像的高频信息，提高图像的质量，尽可能地提升重建图像的视觉效果；(2)图像的重建效率，目的就是在保证重建效果的同时，尽可能的提高重建速度。超分辨率重建根据技术原理的不同可以被划分为以下三种类型：基于差值的方法、基于重建的方法、基于学习的方法。其中，基于学习的方法是目前比较热门的方法，基于学习的方法通常是通过一个数据集学习高分辨率图像与低分辨图像之间的映射关系，然后，利用学习到的映射关系重建高分辨率图像。目前常用的学习方法包括SRCNN、ESPCN、VDSR等。但是，现有的学习方法中，针对不同尺度的图像，超分辨率的增强效果不一致。
技术实现思路
本专利技术的主要目的在于提供一种基于深度学习的图像重建方法，可以有效解决
技术介绍
中的问题。为实现上述目的，本专利技术采取的技术方案为：一种基于深度学习的图像重建方法，包括以下步骤：S1.对训练数据集进行n倍下采样处理，原高分辨率训练数据IH的宽高分别是W,H，得到的低分辨率训练数据IL的宽高分别是W/n，H/n；S2.将原始高分辨率图像IH和由步骤1得到的低分辨率IL图像一一对应，得到有标签的训练数据，另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量，把这两类数据存为HDF5(HierarchicalDataFormat)文件；S3.设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b，给定学习速率η，选定激活函数RELU，选定损失函数Loss。S4.将输入的低分辨率训练数据IL尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为IS(n×i+1,n×j+1)＝IL(i+1,j+1)，i为图像横向位置索引，j为图像纵向位置索引；IS其余没有对应值得像素点取值为255；S5.对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理，其中选定卷积核为3×3，激活函数为f(x)＝max(x,0)，利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像IS；S6.反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；S7.输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。其中，采用的训练数据集分为有标签和无标签数据，所述标签为低分辨率图像所对应的原始高分辨率图像，所述有标签数据和无标签数据由上述步骤2得到，有标签和无标签的两种情况分别对应了两种损失数。其中，有标签时，采用欧式距离的计算方法，图像矩阵有W×H个元素(像素点)，用W×H个元素值(A1,A2,...,AW×H)构成原始高分辨率图像的一维向量，用(a1,a2,...,aW×H)构成重建高分辨率图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似；所述欧式距离公式为：原始高分辨率图像IH＝(A1,A2,...,AW×H)重建高分辨率图像IS＝(a1,a2,...,aW×H)欧式距离。其中，无标签时重建的高分辨率图像没有原始的高分辨率图像与之对应，所以将低分辨率图像IL作为重建高分辨率图像IS的参考对象，以保持IL的结构；所述将低分辨率图像IL作为重建高分辨率图像IS的参考对象。其中，在实际训练过程中总的损失函数由Loss1和Loss2两个部分结合而得，Loss1的作用是使IS＝IH，Loss2的作用是使IS保持IL的结构特性。其中，，其中k表示训练的数据有无标签，训练有标签的数据时k＝1，训练无标签的数据时k＝0。与现有技术相比，本专利技术具有如下有益效果：本方法能够在不改变成像系统硬件设备的前提下，有效提高所获取的图像质量。具体实施方式为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。本专利技术提出的一种基于深度学习的图像重建方法，包括以下步骤：S1.对训练数据集进行n倍下采样处理，原高分辨率训练数据IH的宽高分别是W,H，得到的低分辨率训练数据IL的宽高分别是W/n，H/n；S2.将原始高分辨率图像IH和由步骤1得到的低分辨率IL图像一一对应，得到有标签的训练数据，另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量，把这两类数据存为HDF5(HierarchicalDataFormat)文件；S3.设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b，给定学习速率η，选定激活函数RELU，选定损失函数Loss。S4.将输入的低分辨率训练数据IL尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为IS(n×i+1,n×j+1)＝IL(i+1,j+1)，i为图像横向位置索引，j为图像纵向位置索引；IS其余没有对应值得像素点取值为255；S5.对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理，其中选定卷积核为3×3，激活函数为f(x)＝max(x,0)，利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像IS；S6.反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；S7.输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像重建方法，其特征在于，包括以下步骤：S1.对训练数据集进行n倍下采样处理，原高分辨率训练数据IH的宽高分别是W ,H，得到的低分辨率训练数据IL的宽高分别是W/n，H/n；S2.将原始高分辨率图像IH和由步骤1得到的低分辨率IL图像一一对应，得到有标签的训练数据，另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量，把这两类数据存为HDF5(Hierarchical Data Format)文件；S3.设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b，给定学习速率η，选定激活函数RELU，选定损失函数Loss；S4.将输入的低分辨率训练数据IL尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为IS(n×i+1 ,n×j+1)＝IL(i+1 ,j+1)，i为图像横向位置索引，j为图像纵向位置索引；IS其余没有对应值得像素点取值为255；S5.对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理，其中选定卷积核为3×3，激活函数为f(x)＝max(x ,0)，利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像IS；S6.反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；S7.输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。...

【技术特征摘要】
1.一种基于深度学习的图像重建方法，其特征在于，包括以下步骤：S1.对训练数据集进行n倍下采样处理，原高分辨率训练数据IH的宽高分别是W,H，得到的低分辨率训练数据IL的宽高分别是W/n，H/n；S2.将原始高分辨率图像IH和由步骤1得到的低分辨率IL图像一一对应，得到有标签的训练数据，另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量，把这两类数据存为HDF5(HierarchicalDataFormat)文件；S3.设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b，给定学习速率η，选定激活函数RELU，选定损失函数Loss；S4.将输入的低分辨率训练数据IL尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为IS(n×i+1,n×j+1)＝IL(i+1,j+1)，i为图像横向位置索引，j为图像纵向位置索引；IS其余没有对应值得像素点取值为255；S5.对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理，其中选定卷积核为3×3，激活函数为f(x)＝max(x,0)，利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像IS；S6.反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；S7.输入任意一张低分...

【专利技术属性】
技术研发人员：池前程，李鑫，
申请(专利权)人：武汉奥贝赛维数码科技有限公司，
类型：发明
国别省市：湖北,42