一种内窥镜息肉图像分割方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种内窥镜息肉图像分割方法、装置及存储介质，方法包括：获取批量内窥镜息肉图像并标注其息肉所在位置作为之后模型训练和参数优化的真实mask；基于位置动态卷积块和Super

【技术实现步骤摘要】
一种内窥镜息肉图像分割方法、装置及存储介质


[0001]本专利技术涉及医学图像处理
，具体涉及一种内窥镜息肉图像分割方法、装置及存储介质。

技术介绍

[0002]内窥镜技术是医学中重要的检测人体身体内部疾病的方法，在诊断肠胃病中使用很多。内窥胃肠镜就是将内镜从人的鼻腔或口腔中伸入并到达人体的肠胃部，通过镜头将人体肠胃内部的一些图像显示在计算机中，并根据所呈现的图像来查找患者息肉所在的位置，进而再根据息肉的情况来诊断患者所患的疾病。
[0003]然而为了能够准确诊断患者的疾病，就需要精准定位分割患者的息肉，一个准确度高的息肉分割是对内窥镜息肉图像临床指标进行定量分析的前提，而目前基本上都是由临床医生亲自对息肉图像主观地进行定位和分割。而基于内窥镜息肉图像的复杂性，临床医生往往很难精准分割息肉，操作繁琐，效率不高。因此，一个高效、准确的息肉分割方法对临床诊断有着非常重要的价值。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提出的一种内窥镜息肉图像分割方法，可得到准确度高的息肉分割图像。
[0005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜息肉图像分割方法，其特征在于，包括以下步骤，获取待测图像并输入到事先构建的息肉图像分割模型，得到分割图像，确定息肉所在位置；其中，所述息肉图像分割模型构建步骤如下：S1、获取批量内窥镜息肉图像并使用labelme工具标注其息肉所在位置作为之后模型训练和参数优化的真实mask；S2、首先构建位置动态卷积模块，原始息肉图像输入后通过一层3*3的普通卷积层和一层位置动态卷积层来进行初级特征提取，并初步突出息肉图像的位置特征，然后构建Super
‑
Transformer模块，将得到的最终的初级特征图输入到Super
‑
Transformer模块，Super
‑
Transformer模块首先将输入的初级特征图分为4*4的patches，并根据初级特征图反映的位置特征为每个patch赋予不同的Super权重，并利用Super权重进行Super multi
‑
head self
‑
attention机制计算得到高级特征图，并且更加突出息肉的分割位置特征，重复多次运算后得到最终的高级特征图，最后通过一层前馈神经网络全连接层获取最终的分割结果，从而构建初步息肉图像分割模型；S3、通过所获取图像对步骤S2所构建的初步息肉图像分割模型进行训练并得到预测分割图像，然后参考标注的真实mask计算BCE loss和Super loss，并使用批梯度下降法进行参数优化，进行多轮训练和优化后得到息肉图像分割优化模型；S4、获得待测图像并输入到息肉图像分割优化模型，得到分割图像，确定息肉所在位置。2.根据权利要求1所述的内窥镜息肉图像分割方法，其特征在于，步骤S1具体包括以下分步骤：S1.1、从各个医院中收集内窥镜各类息肉的图像以及视频，如果为视频数据，对视频数据进行分帧得到图片数据；S1.2、将所得到的图片数据通过随机角度旋转、水平或垂直翻转、随机方向随机距离的位移、饱和度的调整这些方法对数据进行增广；S1.3、将增广后的息肉图像随机裁剪成512*512大小；S1.4、通过Python中的labelme工具标注每个图片中息肉所在的区域，并打好标签生成json文件得到最终的息肉真实mask。3.根据权利要求1所述的内窥镜息肉图像分割方法，其特征在于，步骤S2具体包括以下分步骤：S2.1、使用位置动态卷积模块对息肉图像进行初级特征提取，并对息肉初始图像进行下采样减小分辨率；在位置动态卷积模块中，运用多层卷积块来逐步提取息肉图像的初级特征；输入的图像裁剪为512*512大小，首先将图片通过一个3*3的普通卷积初步提取息肉图像特征，然后将生成的特征图通过一个位置动态卷积来进一步获取息肉图像的初级特征即息肉图像的位置特征；所述位置动态卷积在原有的普通卷积操作的基础上增添位置信息，通过息肉图像中不同的位置以及息肉在图像中可能出现的位置对不同位置设定一个位置偏置值，若判断某个像素所对应为息肉类别的概率越大，则该位置偏置值设定越高，在做卷积的过程中，对于不
同位置，在原来公共的卷积核权重的基础上增加一个位置偏置值；生成一层息肉图像的初级特征图，对生成的初级特征图进行步长为2的下采样和Sigmoid非线性激活，然后再通过一层卷积块，在通过多层卷积块之后，将会得到最终的息肉图像初级特征图；S2.2、将位置动态卷积模块最终得到的初级特征图输入至Super
‑
Transformer模块中，在Super
‑
Transformer模块中首先构建Position embedding模块，在该模块中，首先将输入的初级特征图划分为4*4的patches，假设输入的初级特征图的张量维度为W*H*3，则划分后，对于每个patch，其张量维度为，其中C为每个patch的通道数；将宽和高的维度展平，变为，然后为每个patch加上位置信息，并根据之前初级特征图的结果，对每个patch出现息肉的比例和概率赋予不同的Super权重；然后将所有patch输入到encoder层中，在该层中将会使用Super multi
‑
head self
‑
attention为各patch进行特征值的计算；将输入encoder的patch张量记为x1，x2，
…
，x
16
，首先通过一个input embedding层将x1，x2，
…
，x
16
映射到一个更高的维度上得到向量a1，a2，
…
，a
16
，对于Super multi
‑
head self
‑
attention，首先将self
‑
attention机制中有原来的三个参数query、key和value变为五个参数super、query、key、value和bias，其中query、key和value的含义和原来的self
‑
attention一样，super的含义为根据不同的Super权重为每个patch赋予不同重要性的超级值，bias代表偏置；在该机制中将会生成五个共享矩阵W
...

【专利技术属性】
技术研发人员：韩军伟，徐晨初，史航飞，张贺晔，屈亚威，韩龙飞，张鼎文，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：