一种基于内窥镜图像的实时的神经外科手术器械分割方法、设备及存储介质技术

本发明专利技术属于医学图像处理领域和图像分割技术领域，更具体地，涉及一种基于内窥镜图像的实时的神经外科手术器械分割方法。提出了一套针对内窥镜神经外科手术场景的实时器械实例分割方法，能够应用到临床中，起到在术中实时辅助神经外科手术的作用。本发明专利技术还提出了一套针对光斑、倒影、模糊等噪声的数据增广方法，丰富样本的同时，提高模型的学习能力和适应性。性。性。

【技术实现步骤摘要】
一种基于内窥镜图像的实时的神经外科手术器械分割方法、设备及存储介质


[0001]本专利技术属于医学图像处理领域和图像分割
，更具体地，涉及一种基于内窥镜图像的实时的神经外科手术器械分割方法、设备及存储介质。

技术介绍

[0002]现有的实例分割方法主要分为两级(two-stage)和单级(one-stage)两种类型。目前在神经外科内窥镜图像场景下并没有相关的实时实例分割工作。
[0003]数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。现有的数据增广主要包括：水平/垂直翻转、旋转、缩放、裁剪、剪切、平移、对比度、色彩抖动、噪声等。但是传统的数据增广方法中并没有针对内窥镜手术图像的，也没有针对包含光斑、倒影、模糊场景的。
[0004]中国专利CN111724365A，公开日为2020.09.29，公开了一种血管内动脉瘤修复手术介入器械检测方法，利用了训练好的快速注意力网络生成介入器械的二值分割掩膜，然后将二值分割掩膜覆盖在待检测图像上获得介入器械的图像。该专利技术是基于X光透射图像的，提高了器械与组织背景的分类准确率以及速度。并没有针对神经外科内窥镜手术的场景进行研发，无法解决该场景下容易出现的光斑、倒影、模糊等噪声带来的挑战。同时上述实例分割技术大多是在术前诊查阶段为医生提供帮助的，并不能在术中提供实时提示。
[0005]目前效果较好的实例分割算法都是从目标检测方法中衍生的，但是实例分割却比目标检测难度大的多。两级检测器的精度依赖于特征定位，该过程有序，无法加速。单级检测器将该过程改进成为并行过程，但是这样一来就要在定位之后进行很多后续的计算，也难以加速。因此实时的实例分割任务一直难以突破。

技术实现思路

[0006]本专利技术为克服上述现有技术中的至少一个缺陷，提供一种于内窥镜图像的实时的神经外科手术器械分割方法、设备及存储介质，能够适应外科手术的实施分割任务，分割速度快。
[0007]为解决上述技术问题，本专利技术采用的技术方案是：一种基于内窥镜图像的实时的神经外科手术器械分割方法，包括以下步骤：
[0008]S1.采集内窥镜手术图像数据，采用人工标注的方式为图像打上标签，标签将前景即器械与背景进行空间上的分割和语义上的分类；构建数据集，设置交叉验证样本，建立器械实例分割数据库，分为训练集和验证集；
[0009]S2.对数据集进行数据增广，包括翻转、旋转、调整图像强度、添加光斑/ 高斯噪声、图像混合，从而增加数据集的样本数量，丰富样本；
[0010]S3.构建网络模型，包括一个特征主干网络，一个特征金字塔网络，一个原型预测分支和一个掩膜系数预测分支；输入是一个二维图像，输出为对该图像的预测结果，包括一
组目标检测的边界框、掩膜以及对应类别；
[0011]S4.用训练数据集作为训练样本，使用反向传播策略对步骤S3中构造的网络模型进行训练，最小化损失函数，得到优化后的网络权重；
[0012]S5.测试模型，使用验证数据样本对训练好的网络模型进行测试，将验证图像输入网络模型，得到预测结果，与标签对比，判断网络是否具有较好适应性。
[0013]进一步的，在所述的步骤S2中，在选择具体的数据增广方式时，对于图片翻转、图片旋转、调整图像强度和添加光斑/高斯噪声这几种增广方式，采用随机生成概率的方式为每张图片选择对应的增广方式。
[0014]进一步的，所述的随机概率的方式具体包括：首先，分别设置图片旋转概率、图片翻转概率、调整图像强度概率、添加光斑/高斯噪声概率；然后，生成 0～1的浮点随机数，当随机数大于提前设定的阈值概率时，则对当前图片使用对应增广方式。
[0015]进一步的，所述的添加光斑/高斯噪声具体包括：为了消除光斑的影响，通过图像处理在原始图像中加入一些椭圆光斑；这些光斑随机大小，并且在图像中随机位置分布，从而使网络将光斑学习为噪声而不是背景或前景。
[0016]进一步的，椭圆光斑的添加具体包括：随机生成小于8的整数作为光斑数量，用ellipse在背景全黑与原图大小相等的图像上生成椭圆光斑，将该图与原图进行相加。
[0017]进一步的，所述的图像混合具体包括以下步骤：
[0018]A1.挑选图像a和图像b，其中图像b中包含有组织纹理倒影的器械；提取图a和图b标签颜色数量，其中单张图片的标签有多种颜色以区分不同的器械；
[0019]A2.将图像b中的有倒影的器械裁剪下来，这个过程可以通过将带有倒影的器械图像的背景设为黑色(0,0,0)来得到；
[0020]A3.用步骤A2得到的背景全黑的器械图对图像a进行覆盖，也就是两张图进行像素点相加，得到新图c；
[0021]A4.将图b的图像标签覆盖到图a标签的对应位置，并根据颜色数量，为相应该新器械的标签重新安排颜色，得到图c的标签。
[0022]进一步的，所述的图像混合具体包括以下步骤：
[0023]B1.挑选图像a和图像b，提取图a和图b标签颜色数量；
[0024]B2.对图像a的器械进行覆盖，包括：对图像进行旋转，有器械的部分被旋转后的图像取代；在旋转无法覆盖所有器械的情况下，用剩余有器械的部分附近的等大小区域进行覆盖，即为平移；
[0025]B3.裁剪图b中的器械，将图b中的背景设为黑色(0,0,0)；
[0026]B4.将除了器械之外背景全黑的图b与进行器械覆盖之后的图a进行图像相加，也就是对应的像素点相加，相加的时候对图b中器械部分的像素乘以一个系数transparency，而图a的相同部分则乘以1-transparency；相加之后图像得到新图c；图c在器械部分会有一定透明度，即能在器械上看到部分属于背景的图像，以此来模拟倒影；
[0027]B5.为图c生成标签，由于图a的器械已被背景覆盖，所以图c的标签即为图b的器械标签。
[0028]进一步的，所述的网络模型主要分为两个并行任务，包括：a.原型生成：生成一系列大小与原图一致且不依赖于单一实例的原型掩膜；b.掩膜系数：对每个实例预测一系列
的掩膜系数，用于编码一个实例在原型掩膜空间中的表示；之后将原型掩膜和预测的相应系数进行线性组合，并与预测的边界框进行裁剪，就可以得到整幅图像的实例分割结果。
[0029]本专利技术还提供一种电子设备，包括：
[0030]存储器，用于存储计算机程序；
[0031]处理器，用于执行所述计算机程序时实现如上所述方法的步骤。
[0032]本专利技术还提供一种计算机可读存储介质，其特征在于，所述的计算机可读存储介质上存储有计算机程序，所述的计算机程序被处理器执行时实现以上所述方法的步骤
[0033]与现有技术相比，有益效果是：
[0034]1.速度快，能够实现针对神经外科的内窥镜图像进行实时的实例分割，不仅可以将视野中器械跟其它组织区分开，还可以对视野中的器械实体进行区分；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内窥镜图像的实时的神经外科手术器械分割方法，其特征在于，包括以下步骤：S1.采集内窥镜手术图像数据，采用人工标注的方式为图像打上标签，标签将前景即器械与背景进行空间上的分割和语义上的分类；构建数据集，设置交叉验证样本，建立器械实例分割数据库，分为训练集和验证集；S2.对数据集进行数据增广，包括翻转、旋转、调整图像强度、添加光斑/高斯噪声、图像混合，从而增加数据集的样本数量，丰富样本；S3.构建网络模型，包括一个特征主干网络，一个特征金字塔网络，一个原型预测分支和一个掩膜系数预测分支；输入是一个二维图像，输出为对该图像的预测结果，包括一组目标检测的边界框、掩膜以及对应类别；S4.用训练数据集作为训练样本，使用反向传播策略对步骤S3中构造的网络模型进行训练，最小化损失函数，得到优化后的网络权重；S5.测试模型，使用验证数据样本对训练好的网络模型进行测试，将验证图像输入网络模型，得到预测结果，与标签对比，判断网络是否具有较好适应性。2.根据权利要求1所述的基于内窥镜图像的实时的神经外科手术器械分割方法，其特征在于，在所述的步骤S2中，在选择具体的数据增广方式时，对于图片翻转、图片旋转、调整图像强度和添加光斑/高斯噪声这几种增广方式，采用随机生成概率的方式为每张图片选择对应的增广方式。3.根据权利要求2所述的基于内窥镜图像的实时的神经外科手术器械分割方法，其特征在于，所述的随机概率的方式具体包括：首先，分别设置图片旋转概率、图片翻转概率、调整图像强度概率、添加光斑/高斯噪声概率；然后，生成0～1的浮点随机数，当随机数大于提前设定的阈值概率时，则对当前图片使用对应增广方式。4.根据权利要求1所述的基于内窥镜图像的实时的神经外科手术器械分割方法，其特征在于，所述的添加光斑/高斯噪声具体包括：为了消除光斑的影响，通过图像处理在原始图像中加入一些椭圆光斑；这些光斑随机大小，并且在图像中随机位置分布，从而使网络将光斑学习为噪声而不是背景或前景。5.根据权利要求4所述的基于内窥镜图像的实时的神经外科手术器械分割方法，其特征在于，椭圆光斑的添加具体包括：随机生成小于8的整数作为光斑数量，用ellipse在背景全黑与原图大小相等的图像上生成椭圆光斑，将该图与原图进行相加。6.根据权利要求1所述的基于内窥镜图像的实时的神经外科手术器械分割方法，其特征在于，所述的图像混合具体包括...

【专利技术属性】
技术研发人员：黄凯，龚瑾，郭英，何海勇，郭思璐，宋日辉，梁宏立，
申请(专利权)人：中山大学附属第三医院，
类型：发明
国别省市：