一种基于卷积神经网络的面色舌色图像颜色校正方法技术

一种基于卷积神经网络的面色舌色图像颜色校正方法涉及数字图像处理方法。算法主要包括离线部分和在线部分。离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分则是图像颜色校正和颜色校正效果评价。CNN模仿人类的认知过程，即从局部特征到全局特征的逐层抽象。将卷积神经网络应用于颜色校正中，可以获得较为理想的颜色重现效果。本发明专利技术通过采用深度卷积神经网络方法，对稳定光学环境中采集到的人脸面色和舌色进行颜色校正，重现在相同光学环境中目标对象真是呈现的颜色信息。

A color correction method for color tongue color image based on convolution neural network

A color correction method of color tongue color image based on convolution neural network involves digital image processing. The algorithm mainly includes off-line and online parts. The offline part is composed of training data collection, color correction convolution neural network framework construction and training, and online part is image color correction and color correction effect evaluation. CNN mimics the human cognitive process, that is, the layer by layer abstraction from the local feature to the global feature. The application of convolution neural network to color correction can obtain more ideal color reproduction effect. In this method, deep convolution neural network is adopted to correct the color of face and tongue collected in stable optical environment, and reproduce the color information that is actually presented in the same optical environment.

【技术实现步骤摘要】
一种基于卷积神经网络的面色舌色图像颜色校正方法
本专利技术涉及数字图像处理方法，特别涉及一种基于卷积神经网络的面色舌色图像颜色校正方法。
技术介绍
真实颜色的采集与复现在医学、艺术等领域具有重要的价值。图像的颜色信息是进行某些专业图像分析的重要依据。物体表面呈现的颜色与光源特性、光照条件、采集设备和显示设备、打印设备等各种环节密切相关。颜色校正是颜色复现、实现颜色一致性呈现的关键技术。目前,颜色校正已经在医学图像、壁画图像和证照图像等众多图像处理领域中得到了应用。研究能真实反映观察对象本身颜色的颜色校正技术具有重要的意义。相机获得图像与实际场景图像相比存在的颜色失真。因此，有很多针对图像颜色校正的方法相继提出，比如多项式回归、基于偏最小二乘回归颜色校正法和神经网络等方法。多项式回归颜色校正方法需要的训练样本较少，运算复杂度低，但是其回归精度与训练样本和多项式选取关系大，外推能力较差。偏最小二乘回归颜色校正法能较好地解决如自变量之间的多重相关性、样本数相对较少的问题，但精度尚难以满足实际医学应用需求。传统基于神经网络的颜色校正方法训练受限于网络层数、初始化参数选择及并行方式，故网络泛化性能一般存在过拟合现象。近年来，深度学习得到广泛应用，其中卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种典型的深度前馈网络。CNN模仿人类的认知过程，即从局部特征到全局特征的逐层抽象。将卷积神经网络应用于颜色校正中，可以获得较为理想的颜色重现效果。
技术实现思路
本专利技术的目的在于，通过采用深度卷积神经网络方法，对稳定光学环境中采集到的人脸面色和舌色进行颜色校正，重现在相同光学环境中目标对象真是呈现的颜色信息。本专利技术是采用以下技术手段实现的：一种基于卷积神经网络的面色舌色图像颜色校正方法，整体流程图如附图1所示；算法主要包括离线部分和在线部分。离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分则是图像颜色校正和颜色校正效果评价。所述的离线部分，具体内容如下：(1)训练数据采集本专利技术图像采集采用的是封闭式环境——人工暗箱，以避免外界杂散光的影响，利用人工光源照明，以保证舌图像采集的质量和稳定性；光源、成像设备相对位置固定，从而达到采集环境的一致性和标准化；在暗箱条件下人工光源(D65)来模拟自然光，有效的保证光源条件的稳定性。与传统方法不同，本方法使用ColorCheckerDigitalSG作为颜色校正的色卡。ColorCheckerDigitalSG有140色块，相对传统ColorCheckerClassic有更广的颜色域。同时，在训练样本中，我们增加与肤色和舌色颜色相近的色块样本，这样有利于提高颜色校正的精度。在封闭式环境条件下，对ColorCheckerDigitalSG标准色卡进行拍照。通过改变色卡的拍摄角度，调整色卡与光源距离，调整色卡和相机的距离等方式拍摄得到色卡图像，利用这些图像生成卷积神经网络颜色校正模型的训练数据。对拍摄得到的图像进行处理，裁剪截取每个色块，每个色块需要设置固定大小格式作为训练样本，利用色卡每个色块标准值生成RGB图像做训练数据的标签，训练样本和标签一一对应。(2)颜色校正卷积神经网络网络框架搭建和训练本专利技术是由神经网络拟合真实颜色和拍照得到的图像颜色之间的关系，学习内容相对简单，所以网络设计为浅层的深度神经网络，网络层数为5层。本专利技术采用三种不同的层结构，如附图2所示，分别是输入层、非线性变换层、输出层。输入层是由一个卷积层和修正线性单元(Rectifiedlinearunit,ReLU)组成；非线性变换层由3层网络组成，每层由一个卷积层和ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成。在训练中，本专利技术利用带mini-batch的随机梯度下降算法来迭代和更新卷积核状态W和偏置B，每次进行微批数据集(mini-batch)运算，并采用随机梯度下降算法寻找全局最优解。在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类。网络的输入层含有一个卷积层和ReLU激活函数。输入层特征提取公式表示如下：F1(X1)＝max(0，W1*X1+B1)(1)式中，X1为进入输入层的特征图。W1和B1分别表示输入层的卷积滤波器和偏置，W1的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F1(X1)是输入层得到的特征图。输入图像为3×40×40的特征图，表示特征图为3通道的彩色图，宽w和高h均为40。经过卷积层输出特征图的宽w1和高h1计算公式如公式(2)和公式(3)所示，kernel为卷积的核大小；stride为卷积核的步长，当取值为1时，提取重叠的图像块，效果较好；pad为边缘补零像素个数。在本专利技术中设定kernel的值为3，stride的值为1，pad的值为1。因此，输入图像经过输入层64个卷积核3×3之后会产生64×40×40的特征图；然后，特征图经过修正线性单元ReLU。ReLu的表示为max(0,X),可以提取有用的特征图。最后输出结果仍为64×40×40的特征图。在非线性变换层的非线性映射过程中，卷积层、批归一化和ReLU函数位于第二层、第三层和第四层。非线性变换层各阶段的公式表示如下：Fi(Xi)＝max(0，Wi*Fi-1(Xi-1)+Bi){i＝2，3，4}(4)(4)式中,i表示第i层，Xi为第i-1层的输出，即Fi-1(Xi-1)。Wi和Bi分别表示非线性变换阶段的卷积滤波器和偏置,其中,卷积滤波器W1的尺寸是3×3×3×64,第2，3，4层卷积层Wi的尺寸是64×3×3×64,每个卷积核的尺寸为64×3×3。输入层输出的64×40×40的特征图，输入到第二个卷积层中，经过64个卷积核3×3之后会产生64×40×40的特征图。然后，64×40×40的特征图进入批归一化。批归一化在卷积层和ReLU激活函数中间，解决了神经网络训练时的收敛速度慢和梯度爆炸等无法训练的情况。同时，批归一化加快了网络的训练速度，提高了模型精度。最后，特征图经过修正线性单元，提高了特征的非线性。第二层网络输出64×40×40的特征图之后经过与第二层有相同的结构的第三、四层，最终得到64×40×40的特征图。在输出层的输出重建过程中，特征图输入到只含有一个卷积层的输出层。输出重建的公式表示如下：F5(X5)＝W5*F4(X4)+B5(5)式中，X5为第4层的输出。W5和B5分别表示特征重建层的卷积滤波器和偏置，W5的尺寸是3×3×64×3，特征重建层有3个卷积滤波器,等同于均值滤波器的作用，每个卷积的核尺寸是3×3×64，能够实现平均特征图的作用，F4(X4)是非线性变换层产生的特征图，即X5；非线性变换层输出的特征图经过3个卷积核3×3之后会产生3×40×40的特征图。采集得到的数据集经过该网络进行训练，迭代50次以上后得到每轮训练的模型，模型最终被保存到文件中。所述的在线部分，具体内容如下：(1)图像颜色校正利用训练得到的模型对颜色失真图像进行颜本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的面色舌色图像颜色校正方法，包括离线部分和在线部分，其特征在于：离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分包括图像颜色校正；所述的离线部分，具体内容如下：(1)训练数据采集采集采用在暗箱条件下人工光源来模拟自然光，有效的保证光源条件的稳定性；对拍摄得到的图像进行处理，裁剪截取每个色块，每个色块需要设置固定大小格式作为训练样本，利用色卡每个色块标准值生成RGB图像做训练数据的标签，训练样本和标签一一对应；(2)颜色校正卷积神经网络网络框架搭建和训练网络设计为浅层的深度神经网络，网络层数为5层；分别是输入层、非线性变换层、输出层；输入层是由一个卷积层和修正线性单元ReLU组成；非线性变换层由3层网络组成，每层由一个卷积层和ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成；在训练中，利用带mini‑batch的随机梯度下降算法来迭代和更新卷积核状态W和偏置B，每次进行微批数据集运算，并采用随机梯度下降算法寻找全局最优解；在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；网络的输入层含有一个卷积层和ReLU激活函数。输入层特征提取公式表示如下：F1(X1)＝max(0，W1*X1+B1)                                (1)式中，X1为进入输入层的特征图。W1和B1分别表示输入层的卷积滤波器和偏置，W1的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F1(X1)是输入层得到的特征图。输入图像为3×40×40的特征图，表示特征图为3通道的彩色图，宽w和高h均为40。经过卷积层输出特征图的宽w1和高h1计算公式如公式(2)和公式(3)所示，kernel为卷积的核大小；stride为卷积核的步长，当取值为1时，提取重叠的图像块，效果较好；pad为边缘补零像素个数。在本专利技术中设定kernel的值为3，stride的值为1，pad的值为1。因此，输入图像经过输入层64个卷积核3×3之后会产生64×40×40的特征图；然后，特征图经过修正线性单元ReLU。ReLu的表示为max(0,X),提取有用的特征图。最后输出结果仍为64×40×40的特征图；...

【技术特征摘要】
1.一种基于卷积神经网络的面色舌色图像颜色校正方法，包括离线部分和在线部分，其特征在于：离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分包括图像颜色校正；所述的离线部分，具体内容如下：(1)训练数据采集采集采用在暗箱条件下人工光源来模拟自然光，有效的保证光源条件的稳定性；对拍摄得到的图像进行处理，裁剪截取每个色块，每个色块需要设置固定大小格式作为训练样本，利用色卡每个色块标准值生成RGB图像做训练数据的标签，训练样本和标签一一对应；(2)颜色校正卷积神经网络网络框架搭建和训练网络设计为浅层的深度神经网络，网络层数为5层；分别是输入层、非线性变换层、输出层；输入层是由一个卷积层和修正线性单元ReLU组成；非线性变换层由3层网络组成，每层由一个卷积层和ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成；在训练中，利用带mini-batch的随机梯度下降算法来迭代和更新卷积核状态W和偏置B，每次进行微批数据集运算，并采用随机梯度下降算法寻找全局最优解；在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；网络的输入层含有一个卷积层和ReLU激活函数。输入层特征提取公式表示如下：F1(X1)＝max(0，W1*X1+B1)(1)式中，X1为进入输入层的特征图。W1和B1分别表示输入层的卷积滤波器和偏置，W1的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F1(X1)是输入层得到的特征图。输入图像为3×40×40的特征图，表示特征图为3通道的彩色图，宽w和高h均为40。经过卷积层输出特征图的宽w1和高h1计算公式如公式(2)和公式(3)所示，kernel为卷积的核大小；stride为卷积核的步长，当取值为1时，提取重叠的图像块，效果较好；pad为边缘补零像素个数。在本发明中设定kernel的值为3，stride的值为1，pad的值为1。因此，输入图像经过输入层64个卷积核3×3之后会产生64×40×40的特征图；然后，特征图经过修正线性单元ReLU。ReLu的表示为max(0,X),提取有用的特征图。最后输出结果仍为64×40×40的特征图；在非线性变换层的非线性映射过程中，卷...

【专利技术属性】
技术研发人员：李晓光，卢运西，卓力，张菁，张辉，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11