一种基于深度学习的静脉显像方法和装置制造方法及图纸

本发明专利技术提供了一种基于深度学习的静脉显像方法和装置，所述方法包括：从数据库中获取同帧成对的彩色和近红外格式的手臂图像，对于彩色图像进行随机色相饱和度操作；搭建适合于嵌入式设备的深度学习网络，将获得的成对手臂图像送入网络进行训练，经过调整参数后获取效果最好的深度学习模型；将训练好的深度学习模型以及框架部署到嵌入式设备上，并运用基于训练集图像的色差消除方法，可以通过嵌入式设备连接的相机来拍摄手臂彩色图像来进行静脉显像。本发明专利技术通过设计适用于嵌入式设备的静脉显像算法，提高静脉显像的准确性和鲁棒性，实现了静脉显像工作的小型化和便携性，具有很大的实用价值。

A method and device of venography based on deep learning

【技术实现步骤摘要】
一种基于深度学习的静脉显像方法和装置
本专利技术属于计算机视觉和图像处理
，尤其涉及一种基于深度学习的静脉显像方法和装置。
技术介绍
如今静脉识别技术已经得到了商业化的应用，但是这类产品往往是基于超声波造影或者是利用近红外通道相机来进行拍摄静脉图像从而进行识别操作，但是这些方法往往设备体积较大或是造价昂贵，如何简单、高效且准确地实现静脉显像是目前静脉识别技术接下来面临的挑战。现有的对于可见光的静脉显像技术主要有两类：基于光学原理的静脉显像方法、基于深度学习的静脉显像方法。基于光学原理的方法实现了通过可见光图像将隐藏的静脉空间分布显示出来，具有较高的研究价值和实用价值，为研究者们进一步发掘静脉这种生物特征识别技术的巨大潜力提供了较大的便利。但是，该方法存在的主要问题是计算模型是基于单个像素的，因此每个点是孤立的，由映射函数得到的近红外图像噪声比较大，并且不利于嵌入式设备的移植。基于深度学习的方法不需要了解光学原理中复杂的细节，让卷积神经网络通过大量数据的训练从而学习到图像中的特征以及可见光与近红外图像之间的映射关系，这种方法以图像而非单个像素作为模型的输入，可有效降低噪声，但是对于网络模型的构建，参数的选择等方面提出了较高的要求。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于深度学习的静脉显像方法和装置，所述方法包括如下步骤：步骤1，对包含静脉数据的图像进行数据增强；对于静脉数据进行随机色度和饱和度、随机移位刻度旋转、随机水平旋转、随机顶点旋转等操作，并截取成对的静脉片段；步骤2，建立深度学习的网络模型，设计训练方案，对网络模型进行训练，得到训练好的模型；首先构建了基于残差结构的卷积神经网络层作为特征提取器，并使用迁移学习的方法加快模型收敛的速度，随后添加空洞卷积的模块达到所需要的精度而降低网络的深度和参数的复杂度，最后通过转置卷积层作为解码器得到静脉的显像图像并使用Sigmoid激活函数来优化模型。步骤3，采集测试图像，消除色差后输入到训练好的模型中，得到输出结果。步骤1包括如下步骤：步骤1-1，从静脉数据库读取到包含静脉数据的RGB图像，通过公式(1)得到图像亮度Y，通过公式(2)、(3)得到色度偏红U和偏紫V：Y＝0.299*r+0.587*g+0.114*b(1)U＝0.1687*r-0.3313*g+0.5*b+128(2)V＝0.5*r-0.4187*g-0.0813*b+128(3)其中，r表示包含静脉数据的RGB图像的红色通道分量，g表示包含静脉数据的RGB图像的绿色通道分量，b表示包含静脉数据的RGB图像的蓝色通道分量；由公式(4)通过随机r值达到随机色度和饱和度的效果：其中r范围为(0，5)；步骤1-2，对于包含静脉数据的RGB图像，同时进行水平镜像、垂直镜像以及围绕图像中心随机旋转操作，并进行仿射变换；步骤1-3，将数据库中的所有图像中心处用256*256的矩形框截取图像，获得相应的手臂块图像。步骤1-2中，通过如下公式得到仿射变换：其中，center.x、center.y分别为原图像旋转中心的x坐标和y坐标，scale为各向同性比例因子，θ为旋转角度。步骤2包括：步骤2-1，使用卷积神经网络来构建特征提取器，特征提取器依次使用了1个7*7的卷积层以及32个3*3的卷积层，从第一个3*3的卷积层开始，将每两个卷积层之间构建一个额外的连接，通过这个结构将输入值与正常卷积操作值做差，在训练中将差值作为训练目标；步骤2-2，在特征提取器后添加一个空洞卷积模块，空洞卷积模块包括四个空洞卷积层以及四个线性整流函数ReLU(RectifiedLinearUnit,ReLU)层作为激活函数，每个空洞卷积层后连接一个ReLU层。由于本专利技术方法是为嵌入式设备设计的，而且特征提取器需要提取的是类近红外像素空间到RGB像素空间的映射这种不明显的特征，所以既要控制网络和参数的复杂程度，又要保证特征提取器的精度，所以选择在特征提取器后添加一个空洞卷积模块，通过增大卷积的视野而保证算法所需要的精度而降低网络的深度和参数的复杂度。步骤2-3，在空洞卷积模块后添加一个转置卷积层，转置卷积作为解码器来输出所需要的图像，并且使用Sigmoid函数作为激活函数来优化模型。由于最后的输出为显示了静脉信息的图像而不是一个标签，所以最后设置了一个转置卷积作为解码器用来输出图像。步骤2-3中，所述激活函数Sigmoid为：其中x为输入矩阵，S(x)为对应的输出矩阵，S′(x)为S(x)的一阶导数。步骤2-4，训练模型时，使用的是经过步骤1-1和1-2处理后的同帧的N对RGB-NIR手臂图像以及步骤1-3剪切过的N对手臂块图像，随机选取其中80％的图像作为训练集，20％的数据作为测试集；N一般取值为200；本专利技术在训练中使用了RBG-NIR数据集，数据集中的所有图像均使用JAI-AD080CL相机采集。该相机可以同时获取彩色RGB图像和红外NIR图像。数据集中包含来自不同条件的200人的同帧RGB以及NIR的前臂图像。步骤2-5，在训练模型前确定初始的学习率lr，训练的轮数epoch，批大小bitchsize，并设计了随轮数更改的学习率变化函数，其中训练中参数调整方法使用随机权重平均(SWA)方法。其中所使用的参数调整方法与传统的随机梯度下降(SGD)不同，是一种随机权重平均(SWA)的方法，每一个轮次学习率循环结束将会产生一个局部最小值，而这些值更容易在损失面的边缘区域，SWA方法对于这些边缘区域的值取平均，从而得到一个全局化的、更低损失的通用解，并设定一个周期，对于这个通用解进行周期性的滑动平均，其他的轮次就按照传统的SGD方法进行更新。这样可以更快的拟合模型。步骤2-5中，学习率的变化函数lr为：其中，x为初始学习率，y为当前训练轮数，z为训练总轮数。步骤2-6，设计基于图像梯度融合的均方差损失函数(MSELoss)来衡量模型的效果，从而得到效果最好的模型。当图像中存在边缘时，会有较大的梯度值，当图像中某部分比较平滑时，灰度值变化较小，则相应的梯度也较小，由于所需要的静脉信息在边缘时会有较大梯度，所以在计算loss时，首先将训练图像分解为横、纵两个方向梯度函数g(x)，g(y)，并在训练中依次计算均方误差损失，最后取平均作为损失函数。所述损失函数为：其中，loss为损失函数，l(x)，l(y)分别为在x方向以及y方向梯度函数的均方误差损失。步骤3包括：步骤3-1，选取基准图像，将其进行通道分离，分别分离出基于红色，绿色，蓝色的三张单通道图像，并分别进行直方图均衡化，分别得到每个像素z和累积分布T(z)；由于用来验证的图像是使用嵌入式设备上的摄像头拍摄，为了使图像风格接近于原始的训练集图像，选定一张训练本文档来自技高网...

【技术保护点】
1.一种基于深度学习的静脉显像方法，其特征在于，包括如下步骤：/n步骤1，对包含静脉数据的图像进行数据增强；/n步骤2，建立深度学习的网络模型，设计训练方案，对网络模型进行训练，得到训练好的模型；/n步骤3，采集测试图像，消除色差后输入到训练好的模型中，得到输出结果。/n

【技术特征摘要】
1.一种基于深度学习的静脉显像方法，其特征在于，包括如下步骤：
步骤1，对包含静脉数据的图像进行数据增强；
步骤2，建立深度学习的网络模型，设计训练方案，对网络模型进行训练，得到训练好的模型；
步骤3，采集测试图像，消除色差后输入到训练好的模型中，得到输出结果。


2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：
步骤1-1，从静脉数据库读取到包含静脉数据的RGB图像，通过公式(1)得到图像亮度Y，通过公式(2)、(3)得到色度偏红U和偏紫V：
Y＝0.299*r+0.587*g+0.114*b(1)
U＝0.1687*r-0.3313*g+0.5*b+128(2)
V＝0.5*r-0.4187*g-0.0813*b+128(3)
其中，r表示包含静脉数据的RGB图像的红色通道分量，g表示包含静脉数据的RGB图像的绿色通道分量，b表示包含静脉数据的RGB图像的蓝色通道分量；
由公式(4)通过随机r值达到随机色度和饱和度的效果：



其中r范围为(0，5)；
步骤1-2，对于包含静脉数据的RGB图像，同时进行水平镜像、垂直镜像以及围绕图像中心随机旋转操作，并进行仿射变换；
步骤1-3，将数据库中的所有图像中心处用256*256的矩形框截取图像，获得相应的手臂块图像。


3.根据权利要求2所述的方法，其特征在于，步骤1-2中，通过如下公式得到仿射变换：



其中，center.x、center.y分别为原图像旋转中心的x坐标和y坐标，scale为各向同性比例因子，θ为旋转角度。


4.根据权利要求3所述的方法，其特征在于，步骤2包括：
步骤2-1，使用卷积神经网络来构建特征提取器，特征提取器依次使用了1个7*7的卷积层以及32个3*3的卷积层，从第一个3*3的卷积层开始，将每两个卷积层之间构建一个额外的连接，通过这个结构将输入值与正常卷积操作值做差，在训练中将差值作为训练目标；
步骤2-2，在特征提取器后添加一个空洞卷积模块，空洞卷积模块包括四个空洞卷积层以及四个线性整流函数ReLU层作为激活函数，每个空洞卷积层后连接一个ReLU层；
步骤2-3，在空洞卷积模块后添加一个转置卷积层，转置卷积作为解码器来输出所需要的图像，并且使用Sigmoid作为激活函数来优化模型；
步骤2-4，训练模型时，使用的是经过步骤1-1和1-2处理后的同帧...

【专利技术属性】
技术研发人员：夏舒航，唐超颖，马歌华，王彪，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32