内窥镜仪器分割方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开内窥镜仪器分割方法、装置、计算机设备及存储介质，方法包括：将内窥镜样本图像X输入第一网络，获得第一网络的初步全局特征图F

【技术实现步骤摘要】
内窥镜仪器分割方法、装置、计算机设备及存储介质
本专利技术涉及图像处理
，特别涉及内窥镜仪器分割方法、装置、计算机设备及存储介质。
技术介绍
在诸多癌症中，大肠癌是全球发病率第三和死亡率第二高的癌症，成为威胁人类生命安全的主要杀手之一。调查结果进一步表明，结直肠炎症、血管病变、息肉等大肠疾病是大肠癌早期的常见病症。因此，上述疾病的早期筛查对大肠癌的预防至关重要。在临床工作中，由于微创手术具有创伤小、疼痛轻、恢复速度快的优点，被广泛应用于肠胃疾病的筛查治疗。微创手术依赖于内窥镜仪器的辅助，有利于医生直观地观察病灶的形态特征，被认为是大肠疾病筛查的金标准。大量临床观察发现，受拍摄角度、内窥镜医师经验和复杂的人体组织影响，内窥镜仪器容易遮挡病变区域，造成疾病的误诊漏诊等情况。采用内窥镜仪器分割技术将仪器分割可为研究人员提供必要的区域信息，以便后续疾病诊断、数据分析等工作的开展。比如，将分割出的仪器移除并结合图像修复技术将相应区域重塑，进而辅助临床医师进行数据分析工作。未来还可应用于手术机器人的信息反馈系统，进行仪器的追踪和姿态估计等。因此，确定仪器位置并分割具有重要的临床意义。目前针对大肠内窥镜仪器分割的研究很少，现有的医学图像分割技术大多在自然场景的分割方法的基础上进行改进。例如，Long等人提出可适应任意尺寸输入的全卷积神经网络(FullyConvolutionalNetworks,FCN)，在网络中设计反卷积操作，基于像素级的分类实现对图像的分割。Ronneberger等人从encoder-decoder框架入手，通过跳跃连接的方式将原始图像和上采样的特征图拼接，并将拼接后的特征图作为下一个上采样的特征，提出了适用于医学图像分割的U-Net网络。Xue等人将生成对抗网络(GenerativeAdversarialNetworks,GAN)引入医学图像分割领域，首先利用生成器生成分割图，再应用判别器判断分割标签的真伪，通过迭代优化实现精准的分割任务。但这些深度学习网络依赖大量的有标注数据，不适用于标注困难的医学图像。近几年，有研究学者提出将图像分割技术应用于手术机器人的实时仪器追踪定位系统，比如，Shvets等人将LinkNet和TernausNet模型分别修改为LinkNet-34和TernausNet-16用于仪器分割，其中TernausNet-16的的准确率更高。Islam等人提出了一种多分辨率特征融合模块的实时仪器分割模型，将主分支给出的两张高分辨率和低分辨率特征图进行融合。实验表明，该多分辨率方法的性能优于PSPNet和ICNet等通用语义分割模型。但这些仪器分割技术应用场景更偏向于手术机器人对仪器的智能定位，大肠疾病筛查并未涉及，且不能解决标注样本数据不足的问题。鉴于此，基于半监督学习的网络模型(如Mean-teachers算法)受到越来越多的欢迎，可有效地应对数据样本不足的问题且力争获得较好的分割性能。但由于此类模型对数据加噪，图像信息容易遭到破坏，不利于医学图像中目标区域精细的边缘特征提取。
技术实现思路
本专利技术的目的是提供内窥镜仪器分割方法、装置、计算机设备及存储介质，旨在解决现有分割方法要求高、准确性有待提高的问题。第一方面，本专利技术实施例提供一种内窥镜仪器分割方法，其中，包括：将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F1，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F1作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F2，并将最终全局特征图F2作为内窥镜仪器分割模型的最终输出结果；利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。第二方面，本专利技术实施例提供一种内窥镜仪器分割装置，其中，包括：第一网络单元，用于将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F1，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F1作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；中间处理单元，用于将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；第二网络单元，用于将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F2，并将最终全局特征图F2作为内窥镜仪器分割模型的最终输出结果；优化识别单元，用于利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。第三方面，本专利技术实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如第一方面所述的内窥镜仪器分割方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的内窥镜仪器分割方法。本专利技术实施例提供了内窥镜仪器分割方法、装置、计算机设备及存储介质，方法包括：将内窥镜样本图像X输入第一网络，获得第一网络的初步全局特征图F1，将多个注意力特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；将所述待处理特征图输入至第二网络，获得第二网络的最终全局特征图F2，并将最终全局特征图F2作为内窥镜仪器分割模型的最终输出结果；利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥本文档来自技高网...

【技术保护点】
1.一种内窥镜仪器分割方法，其特征在于，包括：/n将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F

【技术特征摘要】
1.一种内窥镜仪器分割方法，其特征在于，包括：
将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F1，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F1作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；
将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；
将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F2，并将最终全局特征图F2作为内窥镜仪器分割模型的最终输出结果；
利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。


2.根据权利要求1所述的内窥镜仪器分割方法，其特征在于，所述将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F1，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F1作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’，包括：
将内窥镜样本图像X输入第一网络，先通过2层第一卷积层依次对所述内窥镜样本图像X进行第一卷积处理，输出得到包含低层语义特征的第一低层特征图；
通过3层第二卷积层依次对所述第一低层特征图进行第二卷积处理，得到包含高层语义特征的3个第一高层特征图；
通过第一平行部分解码器对3个所述第一高层特征图以平行连接的方式进行聚合，得到初步全局特征图F1；
按顺序分别对所述3个第一高层特征图进行注意力机制处理，得到对应的第一注意力特征图、第二注意力特征图和第三注意力特征图；
将所述初步全局特征图F1作为全局指导信号依次反向与第三注意力特征图、第二注意力特征图和第一注意力特征图相结合，分别得到第三增强特征图F’L5、第二增强特征图F’L4和第一增强特征图F’L3，并将所述第一增强特征图F’L3作为第一网络的预测特征图F’。


3.根据权利要求2所述的内窥镜仪器分割方法，其特征在于，所述将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图，包括：
将所述第一增强特征图F’L3、第二增强特征图F’L4和第三增强特征图F’L5分别与所述内窥镜样本图像X相乘得到对应的第一中间特征图I1、第二中间特征图I2和第三中间特征图I3；
将所述内窥镜样本图像、所述第一中间特征图I1、第二中间特征图I2和第三中间特征图I3相加并取平均值，得到待处理特征图。


4.根据权利要求1所述的内窥镜仪器分割方法，其特征在于，所述将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二...

【专利技术属性】
技术研发人员：岳广辉，韩婉婉，周天薇，李思莹，李苑，汪天富，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44