手术器械分割方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种手术器械分割方法、装置、设备及存储介质，利用CNN提取局部特征、用Transformer提取全局特征，克服了现有技术仅有底层灰度及纹理特征造成的鲁棒性较差的问题，使得本申请实施例提供的方法具有鲁棒性高的优点。在编码器解码器之间构建了一个跳层连接模块，有效地弥补了下采样过程中边缘信息的损失，使得本申请实施例提供的方法具有分割边缘清晰的优点。另外，在优选的实施方式下，在分割网络设计在训练过程中引入了Di ce Loss和Foca lLoss的联合损失函数训练分割网络，并对分割掩码使用二值开运算处理，克服了现有技术中分割精度低，网络不易收敛的问题，使得该方法具有分割精度高、收敛快的优点。

【技术实现步骤摘要】

本专利技术涉及医学图像处理，特别是涉及一种基于局部特征和全局特征提取的腹腔镜下手术器械分割方法、装置、设备及存储介质。

技术介绍

1、机器人辅助手术是随着机器人技术和成像系统的发展而迅速发展起来的一门新兴技术。在视觉、触觉和机器人手臂精确运动方面的创新使外科医生能够进行精确的微创手术。机器人器械和组织的实时语义分割是机器人辅助手术的关键步骤。准确有效的手术场景分割不仅有助于器械的识别和跟踪，而且还提供了不同组织和器械的上下文信息。通过图像分割技术对达芬奇手术机器人导航用的内窥镜实时影像进行分析,分割标记视频中手术器械的位置,对帮助医生在手术操作过程中定位器械、提高手术操作精准度以及参与器械控制等下游任务都有重要意义。

2、近年来,基于编码器-解码器架构的卷积神经网络(cnn)被应用到包括手术视频分割在内的一系列图像分割任务中,该架构使用跳跃连接将低级特征与高级特征相结合,实现像素级别的精确定位,上采样中大量的特征通道可以将上下文信息传播至更高分辨率的层。该结构在许多分割竞赛中取得了出色的效果,但由于卷积运算具有局部性,因此在处理长距离关系依赖时本文档来自技高网...

【技术保护点】

1.一种手术器械分割方法，其特征在于，包括：

2.根据权利要求1所述的手术器械分割方法，其特征在于，对所述分割结果进行二值开运算处理，将二值开运算处理后的分割掩码图作为所述待分割腹腔镜图像的目标分割掩码图。

3.根据权利要求1所述的手术器械分割方法，其特征在于，所述第一CNN网络以及所述第二CNN网络包括的层数相同，每层包括四个卷积层。

4.根据权利要求1所述的手术器械分割方法，其特征在于，所述第一Transformer模型以及所述第二Transformer模型均的层数相同，每层包括层标准化结构、多头自注意力结构以及多层感知机结构。

5.根...

【技术特征摘要】

1.一种手术器械分割方法，其特征在于，包括：

2.根据权利要求1所述的手术器械分割方法，其特征在于，对所述分割结果进行二值开运算处理，将二值开运算处理后的分割掩码图作为所述待分割腹腔镜图像的目标分割掩码图。

3.根据权利要求1所述的手术器械分割方法，其特征在于，所述第一cnn网络以及所述第二cnn网络包括的层数相同，每层包括四个卷积层。

4.根据权利要求1所述的手术器械分割方法，其特征在于，所述第一transformer模型以及所述第二transformer模型均的层数相同，每层包括层标准化结构、多头自注意力结构以及多层感知机结构。

5.根据权利要求1所述的手术器械分割方法，其特征在于，所述目标分割网络训练过程中...

【专利技术属性】
技术研发人员：宋红，王聆煊，杨健，肖德强，范敬凡，付天宇，艾丹妮，蔡夫鸿，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：