一种融合多尺度信息的自动图像增强系统及方法技术方案

本发明专利技术公开了一种融合多尺度信息的自动图像增强系统及方法，包括：样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。本发明专利技术通过融合多尺度的特征，有效利用上下文信息，自动增强图像，不需人工干预。

An automatic image enhancement system and method integrating multi-scale information

The invention discloses an automatic image enhancement system and a method for fusing multi-scale information, including a sample calibration module: collecting training set images, marking training set images at pixel level, determining the mapping range of labels, and obtaining corresponding reference standard images; automatically constructing a network module: input corresponding reference standard images For example, specifying the range of images to be perceived, automatically calculating the size and number of convolution kernels in the multi-scale fusion module to generate convolution neural network model; automatic training network module: optimizing pixel weighted loss function by using random gradient descent method, training convolution neural network model offline; network application module: input new Image to the training network, output the original image size of the enhanced image. By fusing multi-scale features, the invention effectively utilizes context information and automatically enhances images without manual intervention.

【技术实现步骤摘要】
一种融合多尺度信息的自动图像增强系统及方法
本专利技术涉及图像处理领域，尤其涉及一种融合多尺度信息的自动图像增强系统及方法。
技术介绍
图像增强是图像处理的基本内容之一，按照某种特定的需求，突出图像中有用信息，去除或者削弱无用信息。目的是改善图像质量，处理的结果更适合于人的视觉特性或机器识别系统。图像增强技术已经广泛应用于医学诊断、航空航天、无损探测、卫星图片处理等领域。常见的图像增强技术大都是基于图像的统计信息，采用低通滤波、中值滤波等方法去掉图像中的噪声；采用高通滤波、小波变换等增强边缘，使模糊的图片变得清晰。这些方法需人工不断试验参数、观察处理效果，且不能有效的融合多尺度上下文信息。随着近些年高效的GPU计算的发展，应用深度学习来解决传统的研究问题显得更加方便可行。而深度卷积神经网络越来越被广泛使用在图像处理上的各种问题上，并取得了显著的效果。本方法是基于深度学习的增强技术，通过融合多尺度的特征，有效利用上下文信息，自动增强图像，不需人工干预。
技术实现思路
本专利技术所要解决的技术问题在于现有技术不能融合上下文信息、需人工不断尝试。本专利技术是通过以下技术方案实现的：一种融合多尺度信息的自动图像增强系统，包括以下所述模块：样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。作为本专利技术的优选方式之一，所述样本标定模块：采集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围；针对单通道图像，像素的参考标准强度值按如下公式计算：其中Op为像素的参考标准值，Ip为像素的强度值，Imin为同标签像素的最小强度值，Imax为同标签像素的最大强度值，Omin为标签映射范围最小值，Omax为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。作为本专利技术的优选方式之一，所述自动构建网络模块：卷积模型中的特征下采样模块对输入图像提取特征并8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：其中函数ψ(·)为向上取整函数，K1为最小卷积模块的核尺寸，其他卷积模块核尺寸Ki按如下公式计算：Ki＝i×K1-1,i＝2,…,N；其中Ki为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样信息进行8倍上采样，恢复原图大小。作为本专利技术的优选方式之一，所述自动训练网络模块：用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：其中yi为像素参考标准值，fi为像素预测值，γ为调节参数。αi为像素归一化权重，计算如下：其中，ni为标记为标签i的像素数目，P为像素总数目。L对fi的梯度计算如下：计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。本专利技术还公开了一种融合多尺度信息的自动图像增强方法，包括以下步骤：(1)收集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；(2)指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；(3)采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；(4)输入新图像到训练的网络，输出原图大小的增强图像。作为本专利技术的优选方式之一，所述步骤1收集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围，针对单通道图像，像素的参考标准强度值按如下公式计算：其中Op为像素的参考标准值，Ip为像素的强度值，Imin为同标签像素的最小强度值，Imax为同标签像素的最大强度值，Omin为标签映射范围最小值，Omax为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。作为本专利技术的优选方式之一，所述步骤2卷积模型中的特征下采样模块提取图像特征并8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：其中函数ψ(·)为向上取整函数，K1为最小卷积模块的核尺寸，其他卷积模块核尺寸Ki按如下公式计算：Ki＝i×K1-1,i＝2,…,N其中Ki为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样信息进行8倍上采样，恢复原图大小。作为本专利技术的优选方式之一，所述步骤2的N个卷积模块分别对上一层输出的特征图进行卷积计算，得到相同大小的输出特征图，对N组特征图元素累加，作为下一层网络结构的输入。作为本专利技术的优选方式之一，所述步骤3中用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：其中yi为像素参考标准值，fi为像素预测值，γ为调节参数。αi为像素归一化权重，计算如下：其中，ni为标记为标签i的像素数目，P为像素总数目，L对fi的梯度计算如下：计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。作为本专利技术的优选方式之一，所述步骤3训练模型时，对数据预处理包括以50％的概率进行镜像操作、旋转操作、平移操作和图像增强操作；所述步骤4中，将新样本图像输入到步骤3中训练的模型，前向传播计算，得到新样本的增强图像。本专利技术相比现有技术的优点在于：本专利技术通过融合多尺度的特征，有效利用上下文信息，自动增强图像，不需人工干预，并能够有效利用多尺度信息增强目标对比度、抑制图像噪声，减轻后续图像处理如目标检测、图像分割的难度。附图说明图1是本专利技术的具体实施流程图；图2是本专利技术的卷积神经网络结构图；图3是本专利技术的系统模块框图。具体实施方式下面对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。参见图3：一种融合多尺度信息的自动图像增强系统，包括以下所述模块：样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。作为本专利技术的优选方式之一，所述样本标定模块：采集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围；针对单通道图像，像素的参考标准强度值按如下公式计算：其中Op为像素的参考标准值，Ip为像素的强度值，Imin为同标签像素的最小强度值，Imax为同标签像素的最大强度值，Omin为标签映射范围最本文档来自技高网...

【技术保护点】
1.一种融合多尺度信息的自动图像增强系统，其特征在于，包括以下所述模块：样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。

【技术特征摘要】
1.一种融合多尺度信息的自动图像增强系统，其特征在于，包括以下所述模块：样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。2.根据权利要求1所述的融合多尺度信息的自动图像增强系统，其特征在于，所述样本标定模块：采集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围；针对单通道图像，像素的参考标准强度值按如下公式计算：其中Op为像素的参考标准值，Ip为像素的强度值，Imin为同标签像素的最小强度值，Imax为同标签像素的最大强度值，Omin为标签映射范围最小值，Omax为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。3.根据权利要求1所述的融合多尺度信息的自动图像增强系统，其特征在于，所述自动构建网络模块：卷积网络中的特征下采样模块提取图像特征并进行8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：其中函数ψ(·)为向上取整函数，K1为最小卷积模块的核尺寸，其他卷积模块核尺寸Ki按如下公式计算：Ki＝i×K1-1,i＝2,…,N；其中Ki为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样模块信息进行8倍上采样，恢复原图大小。4.根据权利要求1所述的融合多尺度信息的自动图像增强系统，其特征在于，所述自动训练网络模块：用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：其中yi为像素参考标准值，fi为像素预测值，γ为调节参数。αi为像素归一化权重，计算如下：其中，ni为标记为标签i的像素数目，P为像素总数目。L对fi的梯度计算如下：计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。5.一种融合多尺度信息的自动图像增强方法，其特征在于，包括以下步骤：(1)收集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；(2)指定需要感知的图像...

【专利技术属性】
技术研发人员：李阳，连捷，姜少波，甘彤，国商军，张琦珺，马彪彪，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：安徽,34