一种手术室环境下手术器械实例分割模型训练及优化方法技术

本发明专利技术公开了一种手术室环境下手术器械实例分割模型训练及优化方法，属于实例分割模型技术领域。一种手术室环境下手术器械实例分割模型训练及优化方法，包括以下步骤：S1、对手术器械进行拍照采集数据，并根据要求对所拍摄的照片进行标签标注；S2、将S1中标注完成的标签数据进行转化，转化为可以直接输入实例分割模型的数据类型；S3、根据实例分割模型的结构特点对图像数据进行预处理，然后输入模型中进行模型训练；S4、对原始实例分割模型进行结构调整，在模型在精度变化不大的情况下对其进行模型压缩，提高模型检测清点速度；本发明专利技术有效有效减小了人力资源的消耗，同时也提高了手术器械实例分割模型检测清点的速度。器械实例分割模型检测清点的速度。器械实例分割模型检测清点的速度。

【技术实现步骤摘要】
一种手术室环境下手术器械实例分割模型训练及优化方法


[0001]本专利技术涉及实例分割模型
，尤其涉及一种手术室环境下手术器械实例分割模型训练及优化方法。

技术介绍

[0002]随着科技的不断进步，计算机技术与医疗的联系越来越来紧密，而将计算机视觉应用到医疗领域的例子也越来越多，云阅片和机器人无接触送药等事实也证明这些技术确实提供了非常大的助力。而在医疗过程中，手术器械是医生进行手术的基本工具，不同手术器械负责不同的手术部位，高度专职化，器械的完备与否直接影响到手术效果，所以时候手术器械在术前术后都需要进行清点，保证数量统一。对现有的器械清点方式进行调研发现，现在的器械清点主要依赖传统的人工清点，需要熟练工进行点数记录，非常耗费人力资源。
[0003]而计算机视觉技术中的实例分割模型在训练后，可以实现对输入图像中的物体进行像素级的识别，实现自动分类和计数，可以高效的代替人工清点，减少人力资源的消耗。因此为了降低手术室环境下手术器械清点过程中耗费的资源，专利技术一种训练和优化计算机视觉中的实例分割模型进行手术室环境下手术器械自动清点的方法意义重大。

技术实现思路

[0004]本专利技术目的是提供一种手术室环境下手术器械实例分割模型训练及优化方法，能够实现训练和优化实例分割模型对手术室环境下的手术器械进行识别。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种手术室环境下手术器械实例分割模型训练及优化方法，包括以下步骤：
[0007]S1、手术器械数据采集与标注：对手术器械进行拍照采集数据，并根据要求对所拍摄的照片进行标签标注；
[0008]S2、标签数据转化：将S1中标注完成的标签数据进行转化，转化为可以直接输入实例分割模型的数据类型；
[0009]S3、实例分割模型训练：根据实例分割模型的结构特点对图像数据进行预处理，然后输入模型中进行模型训练，使模型可以根据图像数据学习特征，实现手术器械清点；
[0010]S4、实例分割模型优化：对原始实例分割模型进行结构调整，在模型在精度变化不大的情况下对其进行模型压缩，使压缩后的模型的参数量减少，提高模型检测清点速度。
[0011]优选地，所述S1进行拍照数据采集时，将所有待检测的手术器械分别按照同类型器械紧靠摆放、同类型器械交叉摆放，不同类型紧靠摆放，不同类型器械交叉摆放、所有器件交叉紧靠混合摆放五种摆放方式依次摆放，用于模拟实际应用中各种复杂情况，确保图像信息采集的丰富性和平衡性。
[0012]优选地，所述S1中提到的照片标签标注工作，具体包括以下步骤：
[0013]A1、将采集过图像数据的手术器械设定标签名；
[0014]A2、将所有采集到的手术器械图片输入到图像标注软件中；
[0015]A3、利用标注软件将每一张图像中的所有手术器械使用多边形工具描绘出器械轮廓，在所得的多边形轮廓旁标注上满足实例分割模型训练所需的信息，并标记上所对应的标签名；
[0016]A4、完成标记后，将相对应的标签名、图片名和多边形轮廓位置信息均保存在JSON类型文件中。
[0017]优选地，所述S2中提到的标签数据转化，具体包括以下步骤：
[0018]B1、将不同摆放方式的图像数据转换成一份图像数据，分别遍历打开所有JSON文件，将所有标签名数据和多边形轮廓位置数据提取保存到一份新的JSON文件，并按JSON文件中的图片名检索指定图片，然后将该图片按遍历顺序重命名，保存到一个新的文件夹中，转换结束，得到一份包含所有图像数据的JSON文件和图片文件；
[0019]B2、将总的JSON文件装换为实例分割模型所需求的COCO格式，打开JSON文件，遍历其中的所有信息，提取出指定的信息，并对信息字典名改名，按照要求排序，并生成总的图片序列名和标签序列名，依次写入新的JSON文件中，然后打乱图片序列名，将所有图片按照一定比例划分为训练集，验证集和测试集，每个数据集中都包含一份图片数据和JSON数据。
[0020]优选地，所述S3中提到的实例分割模型训练，具体包括以下步骤：
[0021]C1、对图像数据进行预处理，处理好的数据首先进入实例分割模型的BackBone中进行特征提取；
[0022]C2、将按批量输入的图片可以看成是尺寸为(B，C，W，H) 的四维向量，通过Patch Partition使用kernelsize和stride均为4的卷积操作将图片的H和W降为原来的1/4；
[0023]C3、通过Patch Embedding进行维度变换处理，将H，W展开，并和C交换，得到(B，W*H，C)的三维向量；
[0024]C4、将C3中所得三维向量输入实例分割模型的Block中，归一化后恢复到(B，C，W，H)；
[0025]C5、在C4所得结果的基础上再进行窗口划分，将W和H两个维度进行剪切，划分成数个大小相同的四维向量，使每个小向量的维度为(B，C，w，h)；
[0026]C6、再进行维度变化变为(B，w*h，C)，将为每个不同位置窗口的向量设置一个位置编码，使其进行selfattention时融合进位置信息；
[0027]C7、通过实例分割模型输出一组组向量，称为特征图，特征图的每一个点设定预定个的ROI，从而获得多个候选ROI；
[0028]C8、将C7中所得ROI送入RPN层网络中进行二值分类和BB 回归，过滤掉一部分候选的ROI，接着对这些剩下的ROI进行 ROIAlign操作；
[0029]C9、使用FPN(FeaturePyramidNetworks)网络进行类别分类和 BB回归，使用FCN(FullyConvolutionalNetworks)进行Mask生成。
[0030]优选地，所述S4中提到的实例分割模型优化，具体包括以下步骤：
[0031]D1、对模型结构进行分析，将图片输入Backbone中时进行卷积操作的Patch Partition结构的4
×
4卷积核换成两个2
×
2小卷积核级联，在两个卷积层中间插入一个Leaklyrelu激活函数层和BN层；
[0032]D2、对实例分割模型的结构进行优化，将原来的全连接层换成卷积核为3x3，stride为1，padding为1，通道数不变的卷积层；
[0033]D3、将原来4个stage中实例分割模型Block的个数(2，2，6， 2)降为(1，1，2，1)，同时将dropout的参数设为0.4。
[0034]与现有技术相比，本专利技术提供了一种手术室环境下手术器械实例分割模型训练及优化方法，具备以下有益效果：
[0035]本专利技术提出了一种手术室环境下手术器械实例分割模型的训练及优化方法，能够有效对现有实例分割模型进行训练和优化，在保证模型准确率的基础上，对手术器械实例分割模型进行了有效压缩，有效减小了人力资源的消耗，同时也提高了手术器械实例分割模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
Partition使用kernel size和stride均为4的卷积操作将图片的H和W降为原来的1/4；C3、通过Patch Embedding进行维度变换处理，将H，W展开，并和C交换，得到(B，W*H，C)的三维向量；C4、将C3中所得三维向量输入实例分割模型的Block中，归一化后恢复到(B，C，W，H)；C5、在C4所得结果的基础上再进行窗口划分，将W和H两个维度进行剪切，划分成数个大小相同的四维向量，使每个小向量的维度为(B，C，w，h)；C6、再进行维度变化变为(B，w*h，C)，将为每个不同位置窗口的向量设置一个位置编码，使其进行self attention时融合进位置信息；C7、通过实例分割模型输出一组组向量，称为特征图，特征图的每一个点设定预定个的ROI，从而获得多个候选ROI；C8、将C7中所得ROI送入RPN层网络中进行二值分类和BB回归，过滤掉一部分候选的ROI，接着对这些剩下的ROI进行ROIAlign操作；C9、使用...

【专利技术属性】
技术研发人员：田洪涛，高兴莲，黄鹏，
申请(专利权)人：田洪涛，
类型：发明
国别省市：