基于重组Unet的近红外静脉图像处理方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种基于重组Unet的近红外静脉图像处理方法、装置及存储介质，其中方法包括：获取近红外静脉图像；构建基于重组Unet网络的近红外静脉图像处理模型并进行训练，所述重组Unet网络包括依次连接的主干特征提取网络、加强特征提取网络和预测网络，其中，所述主干特征提取网络基于VGG网络对近红外静脉图像进行卷积和下采样处理得到有效特征层，所述加强特征提取网络基于Unet网络对有效特征层进行特征融合，得到特征信息，所述预测网络对特征信息进行二分类预测得到静脉图像处理结果；基于训练完成的近红外静脉图像处理模型对近红外静脉图像进行图像处理得到静脉图像处理结果。与现有技术相比，本发明专利技术具有识别精度高、计算速度快等优点。计算速度快等优点。计算速度快等优点。

【技术实现步骤摘要】
基于重组Unet的近红外静脉图像处理方法、装置及存储介质


[0001]本专利技术涉及图像处理领域，尤其是涉及一种基于重组Unet的近红外静脉图像处理方法、装置及存储介质。

技术介绍

[0002]静脉穿刺是医学上最普遍的临床干预措施，也是造成医疗伤害的主要原因。随着人们对生物识别安全性要求的提高，上肢近红外静脉图像可以用于无接触式扎针机器人的血管识别检测工作，对于静脉图像的分割效果将直接影响机器的操作识别效果。
[0003]目前，实现近红外静脉分割的处理方法包括两种：
[0004]一种是基于硬件检测实时快照，对视频流进行处理，采用高端的近红外摄像机可以达到接近实时处理的速度，但是高端的设备伴随着昂贵的价格、复杂的操作和调试过程，调试所费时间也较长。同时需要操作员具有较高的熟练度和专注度，实际效果不佳。另一种方法是基于卷积神经网络的图像处理技术，在搭载至机器前使用大量(亦或是少量)数据提前对网络模型进行训练，将训练效果优秀的结果搭载在静脉穿刺设备上，该种方法降低了对操作员的要求，但是提高了对神经网络训练效果的要求，常用的Unet网络能够从更少的训练图像中进行学习，但是由于传统的Unet模型框架较为复杂，识别速率较低，网络的收敛过程慢，不利于搭载在手术机器人上。
[0005]CN111046738A提出了一种针对指静脉分割的轻量化Unet的精度提升方法，通过加入知识蒸馏的运用，采用参数正常结构相同的Unet来辅助训练轻量级的网络，既不会增加网络本身的大小，又可以提高因为参数减少的精度。但该专利使用Unet网络来对轻量级网络进行辅助训练，并没有直接缩小Unet的结构，收敛速度慢，且难以实现预训练。

技术实现思路

[0006]本专利技术的目的就是为了提供一种基于重组Unet的近红外静脉图像处理方法、装置及存储介质，减小Unet网络的网络结构，提高计算速度和识别精确度。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于重组Unet的近红外静脉图像处理方法，包括以下步骤：
[0009]获取近红外静脉图像；
[0010]构建基于重组Unet网络的近红外静脉图像处理模型并进行训练，所述重组Unet网络包括依次连接的主干特征提取网络、加强特征提取网络和预测网络，其中，所述主干特征提取网络基于VGG网络对近红外静脉图像进行卷积和下采样处理得到有效特征层，所述加强特征提取网络基于Unet网络对有效特征层进行特征融合，得到特征信息，所述预测网络对特征信息进行二分类预测得到静脉图像处理结果；
[0011]基于训练完成的近红外静脉图像处理模型对近红外静脉图像进行图像处理得到静脉图像处理结果。
[0012]所述VGG网络由卷积层和池化层组成。
[0013]所述主干特征提取网络通过2*2的池化层完成下采样。
[0014]所述有效特征层共5层。
[0015]所述特征融合为对有效特征层进行2倍上采样处理并执行concat堆叠操作。
[0016]所述特征信息包括纹理特征和形状特征。
[0017]所述静脉图像处理结果为仅包括静脉标签和背景标签的静脉图像。
[0018]所述重组Unet网络的损失函数为：
[0019][0020]其中，y
i
是特征标签，y
i
＝1代表静脉标签，y
i
＝0代表背景标签，p(y
i
)是N个特征标签为1的预测概率。
[0021]一种基于重组Unet的近红外静脉图像处理装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0022]一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0023]与现有技术相比，本专利技术具有以下有益效果：
[0024](1)本专利技术采用基于重组Unet网络的近红外静脉图像处理模型，将Unet网络的前半段替换为VGG网络，缩短了Unet的网络结构，减小了文件大小，利于移动端搭载；
[0025](2)本专利技术采用VGG网络作为前端网络，可以直接使用GitHub中VGG网络在ImageNet数据集上的预训练权重，极大幅度缩短训练时间，提高收敛效率；
[0026](3)本专利技术的近红外静脉图像处理模型基于VGG和Unet的结合网络模式，可以从更少的数据集中训练获得较好的训练结果；
[0027](4)本专利技术的近红外静脉图像处理模型采用U型网络结构，浅层卷积关注纹理特征，深层卷积关注本质特征；每一次下采样提取特征的同时必然会损失一些边缘特征，失去的特征通常不能通过上采样找回，但是，本专利技术使用了特征融合的方法，尽最大可能保留了图像的边缘信息，减少了图像失真；
[0028](5)本专利技术采用BCE损失函数，将多分类任务降为二分类任务，提高了计算速度，并且损失函数直接反映静脉切割的结果而无需进行换算，提高了数据分析的效率。
附图说明
[0029]图1为本专利技术的方法流程图；
[0030]图2为本专利技术的图像处理过程示意图；
[0031]图3为重组Unet网络的网络结构示意图；
[0032]图4为一种实施例中主干特征提取网络的网络结构示意图。
具体实施方式
[0033]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0034]一种基于重组Unet的近红外静脉图像处理方法，如图1所示，包括以下步骤：
[0035]1)获取近红外静脉图像
[0036]2)构建基于重组Unet网络的近红外静脉图像处理模型并进行训练
[0037]所述重组Unet网络的网络结构如图3所示，包括依次连接的主干特征提取网络、加强特征提取网络和预测网络。基于重组Unet网络的图像处理过程如图2所示。
[0038]①
主干特征提取网络
[0039]主干特征提取网络基于VGG网络对近红外静脉图像进行卷积和下采样处理得到有效特征层。
[0040]Unet网络由于结构的复杂性导致算法收敛速度慢，以及整体模型过大而不适宜搭载在手术机器人上，因此，将Unet网络的前半部分替换为VGG网络以减少模型大小。VGG网络由卷积层和池化层组成，去掉了全连接层，直接缩小的网络结构。
[0041]本实施例中，主干特征提取网络通过卷积层进行卷积，并通过2*2的池化层完成下采样，得到5个有效特征层。
[0042]以输入图像大小为512x512x3为例，主干特征提取网络包括5组处理层，如图4所示，每组处理层执行的操作如下所示：
[0043]处理层1：进行两次3x3的64通道卷积，获得一个512x512x64的初步有效特征层，再进行一次2x2最大池化操作，获得一个256x256x64的有效特征层；
[0044]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于重组Unet的近红外静脉图像处理方法，其特征在于，包括以下步骤：获取近红外静脉图像；构建基于重组Unet网络的近红外静脉图像处理模型并进行训练，所述重组Unet网络包括依次连接的主干特征提取网络、加强特征提取网络和预测网络，其中，所述主干特征提取网络基于VGG网络对近红外静脉图像进行卷积和下采样处理得到有效特征层，所述加强特征提取网络基于Unet网络对有效特征层进行特征融合，得到特征信息，所述预测网络对特征信息进行二分类预测得到静脉图像处理结果；基于训练完成的近红外静脉图像处理模型对近红外静脉图像进行图像处理得到静脉图像处理结果。2.根据权利要求1所述的一种基于重组Unet的近红外静脉图像处理方法，其特征在于，所述VGG网络由卷积层和池化层组成。3.根据权利要求2所述的一种基于重组Unet的近红外静脉图像处理方法，其特征在于，所述主干特征提取网络通过2*2的池化层完成下采样。4.根据权利要求1所述的一种基于重组Unet的近红外静脉图像处理方法，其特征在于，所述有效特征层共5层。5.根据权利要求3所述的一种基于重组Unet的近红外静脉图像处理方法，其特征在于，所述特征融合...

【专利技术属性】
技术研发人员：齐鹏，高泽远，
申请(专利权)人：同济大学，
类型：发明
国别省市：