内窥镜图像鲁棒腔道检测方法、系统、终端及介质技术方案

本发明专利技术公开了一种内窥镜图像鲁棒腔道检测方法、系统、终端及介质，该方法包括：对于给定的若干内窥镜图像，划分为干净图像与伪影图像，再将所述干净图像与所述伪影图像分别划分为训练集、测试集；建立用于鲁棒腔道检测的神经网络模型；利用训练集对神经网络模型进行训练；利用测试集对神经网络模型进行测试。通过本发明专利技术，能够利用干净的内窥镜图像与少量带伪影图像，对内窥镜图像中的腔道进行检测；可以提升内窥镜图像检测方法的鲁棒性，可广泛运用在内窥镜手术中。在内窥镜手术中。在内窥镜手术中。

【技术实现步骤摘要】
内窥镜图像鲁棒腔道检测方法、系统、终端及介质


[0001]本专利技术涉及计算机视觉
，特别涉及一种内窥镜图像鲁棒腔道检测方法、系统、终端及介质。

技术介绍

[0002]图像中的目标检测是当前计算机视觉和图像处理领域的一个热点问题，即对于给定图像，输出图像中某类或某几类目标框的方法。目前而言，目标检测算法按其方法框架可分为基于传统图像处理的方法和基于深度学习和神经网络的方法。其中，基于深度学习的目标检测方法近年来应用广泛，通常包括模型建立、模型训练和模型测试部分，又可分为一阶段检测网络和二阶段检测网络方法。
[0003]基于传统图像处理技术的目标检测方法主要通过在图像上提取若干候选框，并对候选框进行特征提取，然后通过分类器进行分类。由于该方法计算复杂，泛化性差，目前仅在有限的场景下(如目标简单、图像分辨率较低的情况)使用。近年来，深度学习算法逐渐在目标检测任务上得到了应用。基于深度学习的目标检测算法，可分为两阶段方法与一阶段方法。两阶段方法主要包括R
‑
CNN、Fast R
‑
CNN，Faster R
‑
CNN等算法，通过第一阶段提取物体候选区域，第二阶段对候选区域进行分类，得到图像检测结果。一阶段算法的代表性方法为YOLO，通过全图特征直接预测出各个检测框结果，比两阶段方法在速度上有更高的提升。其中，YOLOv3
[1]是一种应用广泛且效果较好的目标检测模型。
[0004]但是以上方法均未考虑跨域特征和训练样本分布不均衡的问题，即在内窥镜图像检测中表现为图像中出现伪影的问题。伪影的出现对目标检测方法带来较大干扰，降低了目标检测算法的效果。

技术实现思路

[0005]本专利技术针对上述现有技术中存在的问题，提出一种内窥镜图像鲁棒腔道检测方法、系统、终端及介质，能够利用干净的内窥镜图像与少量带伪影图像，对内窥镜图像中的腔道进行检测；可以提升内窥镜图像检测方法的鲁棒性，可广泛运用在内窥镜手术中。
[0006]为解决上述技术问题，本专利技术是通过如下技术方案实现的：
[0007]根据本专利技术的第一方面，提供一种内窥镜图像鲁棒腔道检测方法，其包括：
[0008]S11：构建数据集；
[0009]对于给定的若干内窥镜图像，划分为干净图像与伪影图像，再将干净图像与所述伪影图像分别划分为训练集、测试集；
[0010]S12：建立用于鲁棒腔道检测的神经网络模型；
[0011]S13：训练模型；
[0012]利用所述S11得到的训练集对所述12建立的神经网络模型进行训练；
[0013]S14：测试模型；
[0014]利用所述S11得到的测试集对所述S13训练得到的神经网络模型进行测试。
[0015]较佳地，所述S12建立的神经网络模型为带有特征提取和融合的目标检测神经网络模型。
[0016]较佳地，所述S12具体包括：
[0017]S121：对所述干净图像进行图像特征提取，得到干净图像的图像特征；并对所述伪影图像进行图像特征提取和伪影特征提取，得到伪影图像的图像特征和伪影特征；
[0018]S122：将所述伪影特征分别与所述干净图像的图像特征和所述伪影图像的图像特征进行融合，得到两种融合图像特征；
[0019]S123：将所述两种融合图像特征输入目标检测网络进行检测，得到检测结果；
[0020]S124：利用预设标注的真实值与所述检测结果构建损失函数，利用所述S11的训练集对神经网络模型进行训练，优化神经网络模型参数。
[0021]较佳地，所述S122具体包括：将所述伪影特征与所述干净图像的图像特征和所述伪影图像的图像特征分别相加，得到两种融合图像特征；
[0022]所述S123具体包括：将所述干净图像的图像特征、所述伪影图像的图像特征和所述融合图像特征分别输入检测网络，得到检测结果。
[0023]较佳地，所述S124中的损失函数最小化问题定义为：
[0024][0025]上式中，θ代表模型参数，n为每次训练的图像数，即模型每次训练输入的图像块中包含图像的数量；w1,w2,w3,w4,w
d
是各损失函数的权重；L1是干净图像的图像特征的检测结果与真实值的损失，L2是干净图像的图像特征与伪影特征融合的检测结果与真实值的损失，L3是伪影图像的图像特征与伪影特征融合的检测结果与真实值的损失，L4是伪影图像的图像特征的检测结果的损失，L
d
是伪影特征提取网络惩罚项。
[0026]较佳地，所述L1、L2、L3、L4的损失函数形式都是YOLO型损失函数L
YOLO
，其形式如下：
[0027]L
YOLO
＝L
x
+L
y
+L
w
+L
h
+L
conf_obj
+L
conf_noobj
+L
cls
[0028]其中L
x
,L
y
,L
w
,L
h
分别是目标检测框的横坐标、纵坐标、宽度和高度误差损失，L
conf_obj
和L
conf_noobj
分别是物体和非物体的置信度损失，L
cls
是分类置信度损失；
[0029]所述横坐标损失为：
[0030][0031]其中表示该预测框位置上有物体，N
×
N是待检测特征图的大小，x,x
′
分别是真实框和预测框的横坐标；
[0032]所述纵坐标损失为：
[0033][0034]其中y,y
′
分别是真实框和预测框的纵坐标；
[0035]所述宽度损失为：
[0036][0037]其中w,w
′
分别是真实框和预测框的宽度；
[0038]所述高度损失为：
[0039][0040]其中h,h
′
分别是真实框和预测框的高度；
[0041]所述物体置信度损失为：
[0042][0043]其中c
ij
代表目标框在某位置下有物体的预测概率；
[0044]所述非物体置信度损失为：
[0045][0046]其中表示该预测框位置上没有物体，c
ij
代表目标框在某位置下有物体的预测概率；
[0047]所述分类置信度损失为：
[0048][0049]其中p
ij
(c)表示该预测框位置上有类别为c的物体的概率，p
′
ij
(c)表示该预测框位置上有类别为c的物体的预测概率。
[0050]较佳地，所述L
d
为：
[0051][0052]其中m是伪影特征图，即伪影特征提取网络的输出。
[0053]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜图像鲁棒腔道检测方法，其特征在于，包括：S11：构建数据集；对于给定的若干内窥镜图像，划分为干净图像与伪影图像，再将所述干净图像与所述伪影图像分别划分为训练集、测试集；S12：建立用于鲁棒腔道检测的神经网络模型；S13：训练模型；利用所述S11得到的训练集对所述12建立的神经网络模型进行训练；S14：测试模型；利用所述S11得到的测试集对所述S13训练得到的神经网络模型进行测试。2.根据权利要求1所述的内窥镜图像鲁棒腔道检测方法，其特征在于，所述S12建立的神经网络模型为带有特征提取和融合的目标检测神经网络模型。3.根据权利要求2所述的内窥镜图像鲁棒腔道检测方法，其特征在于，所述S12具体包括：S121：对所述干净图像进行图像特征提取，得到干净图像的图像特征；并对所述伪影图像进行图像特征提取和伪影特征提取，得到伪影图像的图像特征和伪影特征；S122：将所述伪影特征分别与所述干净图像的图像特征和所述伪影图像的图像特征进行融合，得到两种融合图像特征；S123：将所述两种融合图像特征输入目标检测网络进行检测，得到检测结果；S124：利用预设标注的真实值与所述检测结果构建损失函数，利用所述S11的训练集对神经网络模型进行训练，优化神经网络模型参数。4.根据权利要求3所述的内窥镜图像鲁棒腔道检测方法，其特征在于，所述S122具体包括：将所述伪影特征与所述干净图像的图像特征和所述伪影图像的图像特征分别相加，得到两种融合图像特征；所述S123具体包括：将所述干净图像的图像特征、所述伪影图像的图像特征和所述融合图像特征分别输入检测网络，得到检测结果。5.根据权利要求4所述的内窥镜图像鲁棒腔道检测方法，其特征在于，所述S124中的损失函数最小化问题定义为：上式中，θ代表模型参数，n为每次训练的图像数，即模型每次训练输入的图像块中包含图像的数量；w1,w2,w3,w4,w
d
是各损失函数的权重；L1是干净图像的图像特征的检测结果与真实值的损失，L2是干净图像的图像特征与伪影特征融合的检测结果与真实值的损失，L3是伪影图像的图像特征与伪影特征融合的检测结果与真实值的损失，L4是伪影图像的图像特征的检测结果的损失，L
d
是伪影特征提取网络惩罚项。6.根据权利要求5所述的内窥镜图像鲁棒腔道检测方法，其特征在于，所述L1、L2、L3、L4的损失函数形式都是YOLO型损失函数L
YOLO
，其形式如下：L
YOLO
＝L
x
+L
y
+L
w
+L
h
+L
conf_obj
+L
conf...

【专利技术属性】
技术研发人员：杨杰，张天忆，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：