胃镜图像智能目标检测方法、系统、电子设备及存储介质技术方案

本发明专利技术公开了一种胃镜图像智能目标检测方法、系统、电子设备及存储介质。获取获取同一患者的相同部位的待检测的胃镜白光图像、蓝激光成像图像和联动成像模式图像，然后对上述三种图像进行目标区域的分割，接着分别将其输入至相应的识别模型进行病灶类型的识别，最后根据三种识别模型的结果获取胃镜图像中目标的病灶类型及概率。本发明专利技术采用不同的成像模式的图像来识别胃镜图像中的目标，能够克服现有技术中单独采用其中一种图像来识别目标的准确度不高的问题；且对于三种不同成像模式的图像能够根据图像的特点采用适合的目标识别模型，最后根据三种模型的输出结果及其自身特点来得到目标的病灶类型和概率，提高了目标识别的准确度和精度。准确度和精度。准确度和精度。

【技术实现步骤摘要】
胃镜图像智能目标检测方法、系统、电子设备及存储介质


[0001]本专利技术涉及目标检测
，特别是涉及一种胃镜图像智能目标检测系统及方法、系统、电子设备及存储介质。

技术介绍

[0002]目前，胃镜是诊断胃部疾病的重要手段，具体可以根据胃镜采集的胃粘膜上皮图像，判断当前患者是否患有胃癌或胃溃疡等疾病。
[0003]随着人工智能技术的发展，越来越多的医疗辅助技术与人工智能相结合，例如对医疗图像进行图像处理，然后利用深度学习对处理后的图像进行特征提取，然后输入到训练好的模型进行目标识别。人工智能技术可以降低以往人工对可能含病灶图像进行筛查识别的工作量，以及提高检测结果的准确率。
[0004]目前，胃镜图像数据集主要包括内镜中三种模式影像：白光图像、蓝激光成像技术(blue laser imaging，BLI)图像和内镜下联动成像模式(linked colorimaging，LCI)图像。而目前的基于胃镜图像进行深度学习目标识别的方法通常是利用胃镜的白光图像进行一系列预处理，并输入至训练好的模型来识别病灶点的位置以及区域，以给医生提供辅助。但是由于蓝激光成像和LCI图像有着其独特的特点，可以放大一些细微差别，能更好的识别出病灶。且现有的目标识别技术目标区域的选取不够精确，且现有的识别算法例如YOLO，Fast
‑
RCNN的检测准确率不高。基于上述问题，提供一种改进的胃镜图像的识别方法，来提高识别的准确率。

技术实现思路

[0005]本专利技术提供一种胃镜图像智能目标检测方法、系统、电子设备及存储介质，以解决现有技术检测准确率低等缺陷。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种胃镜图像智能目标检测方法：
[0008]获取同一患者的相同部位的待检测的胃镜白光图像、蓝激光成像图像和联动成像模式图像，其中，保持三种图像拍摄的角度相同；
[0009]利用精确的网格划分方法来分割出上述三种图像的目标区域；
[0010]将白光图像相应的目标区域图像输入至第一识别模型，得到第一目标位置、第一病灶类型、第一病灶概率；
[0011]将蓝激光成像图像相应的目标区域图像输入至第二识别模型，得到第二目标位置、第二病灶类型、第二病灶概率；
[0012]将联动成像模式图像相应的目标区域图像输入至第三识别模型，得到第三目标位置、第三病灶类型、第三病灶概率；
[0013]将得到目标位置的三种图像经处理调整到视角、位置相对一致，对比三张图像中的目标位置，取第一至第三目标位置的交集为最终的目标位置，若第一、二、三病灶类型相
同，则确定最终的目标病灶类型为第一或第二或第三类型，且其概率为第一、二、三的病灶概率的加权和；
[0014]若第一病灶类型与第二、第三病灶类型不相同，且第二、第三病灶类型相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第二、三的病灶概率的加权和；
[0015]若第一病灶类型与第二病灶类型相同、与第三病灶类型不相同，则分别计算第一概率与第二概率的加权和M，将M与第三病灶概率相比，取概率值较大的概率对应的病灶类型为最终的目标病灶类型；
[0016]若第一病灶类型与第二病灶类型不相同，且第一、第三病灶类型相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第一、三的病灶概率的加权和；
[0017]若第一第二、第三病灶类型均不相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为三的病灶概率。
[0018]可选的，利用精确的网格划分方法来分割出上述三种图像的目标区域之前，还包括：对图像进行预处理。预处理包括随机裁剪，采样一个片段，使得裁剪部分与目标重叠到一定比例，裁剪完成后重新缩放到固定尺寸；还可以包括随机水平翻转。
[0019]可选的，利用精确的网格划分方法来分割出上述三种图像的目标区域，包括：分别收集若干张患者的胃镜白光图像、蓝激光成像图像和联动成像模式图像，首先通过目标分割，得到目标图像区域，其中目标分割采用精确的标注方法，将图像分成n
×
n个网格，搜索能够包含目标图像的最优的目标有效区域；对于n
×
n个网格可以搜索出若干个包含目标的目标有效区域，对于得到的若干个目标有效区域，对其中的每个网格提取其局部特征，并根据特征计算其属于目标区域的得分，得分最高的区域为分割出的最优有效区域。
[0020]可选的，第一识别模型为利用Resnet18作为基础网络，在Resnet18第五，第六卷积层中加入注意力模块，将第六卷积层输出的特征F6经过上采样后与第五卷积层输出的特征F5融合得到特征F5
’
,将特征F5
’
再次经过上采样与第四卷积层输出的特征F4融合得到特征F4
’
,对经过Resnet18的最后一层卷积层的特征记为F，分别将特征F、F6、F5
’
、F4
’
输入至分类回归子网络，完成目标的分类和检测。
[0021]可选的，第二识别模型为利用沙漏网络作为主干网络，主干网络包含3个堆叠的沙漏网络，每个沙漏网络由3个4
×
4卷积层和1个跳跃连接残差块构成；在输入到沙漏网络前使用6
×
6的卷积网络和2个残差块对输入的图像进行预处理；从沙漏网络输出的特征经过特殊的池化层，特殊的池化层对主干网络输出的特征图进行水平方向从右向左的平均池化，得到特征图A，然后再从底至上做平均池化，得到另一个特征图B，将上述两个特征图的每个像素值求和，得到特征图C，特征图C经过激活层，全连接层后输出目标预测。
[0022]可选的，第三识别模型为采用VGG16作为基础网络，将其中的第6，7个全连接层替换为普通的卷积层，之后加入5个卷积层，分别表示为 conv_a1～conv_a5,最后经过平均池化输出记为conv_b1，提取卷积层conv_a1， conv_a3，conv_a5以及conv_b1层的各个特征图来分别构造检测框，并利用NMS 筛选得到最终的目标预测结果。
[0023]本专利技术实施例提供的一种胃镜图像智能目标检测系统，系统包括：
[0024]成像模块，其用于获取同一患者的相同部位的待检测的胃镜白光图像、蓝激光成像图像和联动成像模式图像，其中，保持三种图像拍摄的角度相同；
[0025]目标区域分割模块，利用精确的网格划分方法来分割出上述三种图像的目标区
域；
[0026]第一识别模块，将白光图像相应的目标区域图像输入至第一识别模型，得到第一目标位置、第一病灶类型、第一病灶概率；
[0027]第二识别模块，将蓝激光成像图像相应的目标区域图像输入至第二识别模型，得到第二目标位置、第二病灶类型、第二病灶概率；
[0028]第三识别模块，将联动成像模式图像相应的目标区域图像输入至第三识别模型，得到第三目标位置、第三病灶类型、第三病灶概率；
[0029]目标检测分析模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种胃镜图像智能目标检测方法，其特征在于，包括：获取同一患者的相同部位的待检测的胃镜白光图像、蓝激光成像图像和联动成像模式图像，其中，保持三种图像拍摄的角度相同；利用精确的网格划分方法来分割出上述三种图像的目标区域；将白光图像相应的目标区域图像输入至第一识别模型，得到第一目标位置、第一病灶类型、第一病灶概率；将蓝激光成像图像相应的目标区域图像输入至第二识别模型，得到第二目标位置、第二病灶类型、第二病灶概率；将联动成像模式图像相应的目标区域图像输入至第三识别模型，得到第三目标位置、第三病灶类型、第三病灶概率；将得到目标位置的三种图像经处理调整到视角、位置相对一致，对比三张图像中的目标位置，取第一至第三目标位置的交集为最终的目标位置，若第一、二、三病灶类型相同，则确定最终的目标病灶类型为第一或第二或第三类型，且其概率为第一、二、三病灶概率的加权和；若第一病灶类型与第二、第三病灶类型不相同，且第二、第三病灶类型相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第二、三病灶概率的加权和；若第一病灶类型与第二病灶类型相同、与第三病灶类型不相同，则计算第一概率与第二概率的加权和M，将M与第三病灶概率相比，取概率值较大的概率对应的病灶类型为最终的目标病灶类型；若第一病灶类型与第二病灶类型不相同，且第一、第三病灶类型相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第一、三病灶概率的加权和；若第一第二、第三病灶类型均不相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第三病灶概率。2.根据权利要求1所述的一种胃镜图像智能目标检测方法，其特征在于，所述利用精确的网格划分方法来分割出上述三种图像的目标区域，包括：分别收集若干张患者的胃镜白光图像、蓝激光成像图像和联动成像模式图像，首先通过目标分割，得到目标图像区域，其中目标分割采用精确的标注方法，将图像分成n
×
n个网格，搜索能够包含目标图像的最优的目标有效区域；对于n
×
n个网格可以搜索出若干个包含目标的目标有效区域，对于得到的若干个目标有效区域，对其中的每个网格提取其局部特征，并根据特征计算其属于目标区域的得分，得分最高的区域为分割出的最优有效区域。3.根据权利要求1所述的一种胃镜图像智能目标检测方法，其特征在于，所述第一识别模型为利用Resnet18作为基础网络，在Resnet18第五，第六卷积层中加入注意力模块，将第六卷积层输出的特征F6经过上采样后与第五卷积层输出的特征F5融合得到特征F5
’
,将特征F5
’
再次经过上采样与第四卷积层输出的特征F4融合得到特征F4
’
,对经过Resnet18的最后一层卷积层的特征记为F，分别将特征F、F6、F5
’
、F4
’
输入至分类回归子网络，完成目标的分类和检测。4.根据权利要求1所述的一种胃镜图像智能目标检测方法，其特征在于，所述第二识别模型为利用沙漏网络作为主干网络，主干网络包含3个堆叠的沙漏网络，每个沙漏网络由3个4
×
4卷积层和1个跳跃连接残差块构成；在输入到沙漏网络前使用6
×
6的卷积网络和2个
残差块对输入的图像进行预处理；...

【专利技术属性】
技术研发人员：牛倩倩，秦进，吴芃诺，
申请(专利权)人：郑州大学第一附属医院，
类型：发明
国别省市：