【技术实现步骤摘要】
基于深度学习的伤口图像分类及激光辅助治疗方法
[0001]本专利技术属于伤口图像分类及激光辅助治疗领域，尤其涉及一种基于深度学习的伤口图像分类方法，以及基于所述一种伤口图像分类方法实现的一种基于深度学习的伤口图像辅助诊断与辅助激光治疗一体化方法。
技术介绍
[0002]全世界每年有数百万人受到急性和慢性创伤的影响，由于弱激光治疗可以促进胶原生成、成纤维细胞增殖、微血管新生以及组织重建，被广泛应用于不同伤口的愈合中，达到了减少疼痛和加速伤口愈合的效果。伤口观察与分析是伤口治疗的基础，激光治疗时，需要首先确定伤口类型及其严重程度，再进一步确定所使用激光的波长、频率、功率密度、能量密度、治疗时间等参数。传统的激光治疗仪需要能熟练操作激光治疗仪的专业医生对伤口类型及其严重程度进行诊断之后再匹配出最佳的治疗参数进行激光治疗。医生诊断伤口的传统方法是根据其经验对伤口进行目测分析，然而伤口种类繁多，外观复杂且一些医生的临床经验匮乏等因素会导致临床检查对伤口的诊断不准确，因此伤口患者无法使用最佳的激光治疗参数进行有效治疗。近年来，随着机器学...
【技术保护点】
【技术特征摘要】
1.基于深度学习的伤口图像分类方法，其特征在于：包括以下步骤，步骤一：由多光谱相机同时采集伤口的可见光图像和红外图像，将融合后的图像作为伤口分类器的输入；通过图像融合实现图像增强，生成用于促进后续精准分类的鲁棒性图像；可见光图像用于提供具有高空间分辨率和清晰度的纹理细节，主要捕获伤口的细节信息，根据红外图像辐射差异将目标与背景区分开来，捕获伤口的热辐射信息；基于深度学习的特征融合算法将融合特征引入深度神经网络模型，使用多特征输入到模型中进行训练；步骤二：在伤口图像数据预处理阶段，使用步骤一中融合后的数据集训练伤口图像的定位器，对伤口图像中的伤口区域进行精准检测定位，重点寻找该区域存在的显著特征；利用Yolov5模型进行伤口位置的检测定位，得到伤口区域的回归检测边界框；Yolov5算法是在Yolov4的基础上进行改进，网络训练阶段结合自适应锚框计算与自适应图片缩放，Yolov5使用Mosaic数据增强操作提升模型的训练速度和网络的精度；将预处理步骤得到的增强后的子图像作为用作卷积神经网络的输入，用于模型的训练及验证；步骤三：设计基于深度学习模型的不同伤口类型及伤口严重程度的分类器，此分类器使用步骤二中数据增强后的子图像进行训练；使用基于深度学习的方法将创面图像分为糖尿病足溃疡、静脉溃疡、动脉溃疡、压疮、外科手术创伤、烧伤伤口6个类别，其中根据烧伤的实际愈合时间又分为浅烧伤，中等烧伤和深层烧伤，最终共得到8个类别，不同的伤口类别分别对应不同的激光治疗参数；针对伤口数据集规模较小、种类不平衡的问题，采用迁移学习方法进行深度学习模型训练；选用的深度学习网络模型分别为VGG16、ResNet18、ResNet50和DenseNet121，模型的初始参数为ImageNet上预训练过的参数；为了适应伤口数据集对8种伤口图像进行分类，需要对网络的输出层做出调整；本发明将原来最后一个全连接层的输入传给一个有256个输出单元的线性层，接着是ReLU层，为了避免过拟合，在第二个全连接层FC层之后增加dropout层，最终输出通道为8的softmax层，网络只处理8个类的分类；使用十倍交叉验证的方法在预先训练的VGG16，ResNet18、ResNet50和DenseNet121模型中选取最合适的分类模型，通过选取的分类模型设计基于深度学习模型的不同伤口类型及伤口严重程度的分类器，将伤口图像输入到基于深度学习的检测分类器中完成定位、分类和识别。2.如权利要求1所述的基于深度学习的伤口图像分类方法，其特征在于：步骤一中，针对伤口图像数据集不足的情况，通过图像特征融合构建更适合人与计算机感知识别的图像，从而减少后续分类器网络训练所需的数据量；使用DenseNet网络进行向量拼接，实现图像特征融合；通过下式进行向量拼接实现特征融合：现有特征向量v1∈R
m
，v2∈R
n
，则经过拼接后融合特征向量v＝[v1，v2]∈R
m+n
；利用DenseNet网络将红外图像中的热辐射信息和可见光图像中的纹理信息进行特征融合，使得该图像比其他任何单张图像都包含更多信息，更加准确地表征图像特征，丰富伤口数据集。3.如权利要求2所述的基于深度学习的伤口图像分类方法，其特征在于：步骤二中，Mosaic数据增强采用4张图片，按照随机缩放、随机裁剪和随机排布的方式对图片进行处理再拼接到一张图上作为训练数据；通过Mosaic数据增强将几张图片组合成一张，在丰富为数不多的伤口数据集的同时显著提升网络的训练速度；在网络训练阶段，Yolov5模型在初始锚点框的基础上输出对应的预测框，计算预测框与真实框之间的差距，并执行反向
更新操作，从而更新整个网络的参数；Yolov5模型在每次训练时，根据数据集的名称自适应的计算出最佳的锚点框；在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中；为了进一步提升Yolov5算法的推理速度，通过Yolov5主干网络部分引入focus结构和CSP结构自适应的添加最少的黑边到缩放之后的图片中；focus结构基于切片操作实现；在Yolov5网络模型中，原始608
×
608
×
3的图像输入Focus结构，采用切片操作，先变成304
×
304
×
12的特征图，再经过一次32个卷积核的卷积操作，最终变成304
×
304
×
32的特征图；用一个focus层替代三个普通下采样卷积层，能够减少计算量和参数量；而Yolov5中采用两种CSP结构，在得到伤口区域的回归检测边界框后，自动截取边界框内的伤口图像ROI，提取到的ROI大小因伤口大小而异，对每个ROI进行水平、垂直翻转等数据增强操作；在数据增强时，为了保留伤口的颜色特征，不对伤口图像的颜色进行修改，保证扩充后的图像与原始图像是相似的；将预处理步骤得到的增强后的子图像作为用作卷积神经网络的输入，用于伤口分类网络的训练及验证；定位伤口区域不仅能够保护病人的隐私，而且使得系统更加高效率、精准的完成后续不同伤口的分类。4.如权利要求3所述的基于深度学习的伤口图像分类方法，其特征在于：选用DenseNet121作为主干网络；此外，在DenseNet121的第4个Densblock后添加了CBAM混合域注意力机制模块，使网络学会关注重点信息，从而提高分类的准确率；考虑到伤口图像数据集太小，并且自然图像与医学图像之间的巨大差异不利于直接进行迁移学习，所以先在相似图像上进行二次预训练，再放在伤口图像数据集上进行微调；所述相似图像指ISIC的皮肤镜图像。5.如权利要求4所述的基于深度学习的伤口图像分类方法，其特征在于：步骤三中，用于图像分类的预训练网络通常在数量巨大的图像数据库ImageNet上进行训练，ImageNet数据集一共包含14197122张被注释的图片，共1000个类别，所述类别包括不同的动物、植物、汽车；由于伤口图像数据集很小且与原始ImageNet数据集不相似，采集伤口样本时的角度、光线条件、像素不同，所以除了在自然图像上进行预先训练外，在训练伤口图像之前，还使用一组来自开源档案ISIC的皮肤镜图像进行模型训练；在相似图像的相对大型数据集上训练伤口分类模型会减少与ImageNet数据集的差距；通过微调的训练方式调整所有网络层的参数，改变低阶特征提取的特征，从而提升分类效果。6.如权利要求5所述的基于深度学习的伤口图像分类方法，其特征在于：步骤三中所述的深度学习网络模型分别为VGG16，ResNet18、ResNet50和DenseNet12，网络的输入端只使用图像，而不使用患者其它的数据；卷积神经网络建立的分类模型直接将伤口的二维图像输入模型，将伤口类型作为输出；其中ResNet深度残差网络是为了克服由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题；其内部的残差块使用跳跃连接，缓解在深度神经网络中增加深度带来的梯度消失问题；残差块的实现方法为：设原先的网络输入X，输出为F(X)，现在令输出：H*X)＝F(X)+X
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)则深度残差网络就只需要学习一个残差函数：F(X)＝H(X)
‑
X
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)当F(X)＝0时，即变为恒等映射H(X)＝X，所述结构把优化的目标由H(X)转化成H(X)
‑
X；
在准确率饱和时就变为恒等映射的学习来保证最后精度不会下降；残差块里有2个具有相同输出通道数的3
×
3卷积层，在每个卷积层后接一个批量规一化层和ReLU激活函数；然后再跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前；这就要求经过2个卷积层的输出与输入的形状一样，这样才能相加；若改变通道数，则需要加一个1
×
1卷积层来将输入变换成与输出一样的形状；而DenseNet密集卷积网络的每层的输入除了前一层的输出外还包含前面所有层的输出，因此K层的模型会有K(K
‑
1)/2个连接；一般的卷积神经网络最后的输出层只会利用最高层次的特征；在DenseNet中，使用不同层次的特征，通过对特征的反复利用达到更好的效果和更少的参数；所述密集连接有正则化的效果，对过拟合有抑制作用，所以在伤口训练数据不足时使用DenseNet表现依旧良好；DenseNet模型主要包...
【专利技术属性】
技术研发人员：董立泉，郭秀文，孔令琴，赵跃进，刘明，褚旭红，
申请(专利权)人：北京理工大学长三角研究院嘉兴，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。