【技术实现步骤摘要】
本专利技术属于医学图像分割领域，更具体地，涉及基于框标注训练的息肉分割模型建立方法及息肉分割方法。
技术介绍
1、息肉(polyp)，是指人体组织表面长出的赘生物，现代医学通常把生长在人体黏膜表面上的赘生物统称为息肉，医学上一般按出现的部位给它命名，如出现在胃壁上的叫“胃息肉”，肠腔内的称为“肠息肉”，以此类推。若某一部位有两个以上的息肉，又称“多发性息肉”。临床上，常利用内窥镜辅助完成息肉的检查。息肉属于良性肿瘤的一种，临床表现多见炎性息肉、腺瘤性息肉和某些胃肠道息肉综合征，这些病变虽属良性，但其中一部分有恶变倾向，因此，在早期，能够准确从内窥镜图像中分割出息肉，对于降低某些恶性肿瘤的专利技术率和死亡率具有重要意义。
2、随着人工智能相关技术的发展，基于深度学习的辅助诊断技术被广泛应用于各种医疗相关场景中，比如基于深度学习模型对内窥镜图像进行息肉分割，但目前，这些工作方法都是基于像素级别的掩膜标签来训练卷积神经网络(convolutional neural network)实现的。然而，息肉和周围正常组织之间的边界往往十分模糊，即使是有经验的医生也无法准确地描绘出息肉边缘。相比较，如果标注工作只需要通过画矩形标注框(标注框)来表示息肉，则能有效减轻标注负担。基于框标注的结果监督模型训练，又称为“盒监督”。
3、然而目前基于框标注的分割方法大多针对于自然场景，其前景和背景往往具有较大的颜色差异，所以这些方法往往可以利用图片的色彩信息作为区分前景与背景的先验信息，或者可以产生质量较高的伪标签供模型训练。然而
技术实现思路
1、针对现有技术的缺陷和改进需求，本专利技术提供了基于框标注训练的息肉分割模型建立方法及息肉分割方法，旨在解决框标注无法为息肉分割模型提供丰富的监督信息，因而无法保证训练所得模型的息肉分割性能的问题。
2、为实现上述目的，按照本专利技术的一个方面，提供了一种基于框标注训练的息肉分割模型建立方法，包括：
3、初始化步骤：获得标注了息肉标注框的内窥镜图像集，并建立第一深度学习模型，用于从内窥镜图像中分割出息肉，得到息肉掩膜；
4、模型训练步骤：将内窥镜图像集中的内窥镜图像作为输入，对第一深度学习模型进行训练，使第一深度学习模型通过反向传播进行优化，以最小化训练损失，训练结束后，将第一深度学习模型作为息肉分割模型；
5、训练损失包括基于屏蔽他盒策略计算的标注框与第一深度学习模型预测输出的息肉掩膜间的投影损失，息肉掩膜为被监督图像；基于屏蔽他盒策略计算投影损失的方式如下：
6、将每一张内窥镜图像i的标注框转换为n个数据对；每个数据对包含一个标注框bi及其他标注框所构成的集合n为标注框个数；
7、对于每一个数据对，获得标注框bi与对应的单标注框图像bi，并从被监督图像中屏蔽掉属于集合中标注框的像素，得到单实例图像；
8、计算所有单标注框图像与对应单实例图像之间的投影损失；
9、其中，单标注框图像bi中，位于标注框bi内的像素为1，位于标注框bi外的像素为0。
10、进一步地，初始化步骤还包括：建立第二深度学习模型作为教师模型，用于从内窥镜图像中分割出息肉，得到息肉掩膜，并以第一深度学习模型作为学生模型；
11、并且，模型训练步骤还包括：每次学生模型的参数更新后，都传递至教师模型；
12、并且，训练损失还包括：掩膜损失；掩膜损失用于表征教师模型预测的息肉掩膜与学生模型预测的息肉掩膜之间各像素的差异。
13、进一步地，掩膜损失的计算方式为：
14、
15、其中，lmask表示掩膜损失；m表示学生模型预测的息肉掩膜；mt表示教师模型预测的息肉掩膜，b表示单标注框图像构成的集合，ο表示点乘；f()表示计算各像素的差异。
16、进一步地，训练损失还包括：前、背景特征对比度损失；
17、前、背景特征对比度损失的计算方式包括：
18、从教师模型提取的特征中选取部分特征上采样至原始内窥镜图像大小后融合为教师特征ft，从学生模型提取的特征中选取对应的部分特征上采样至原始内窥镜图像大小后融合为学生特征f；
19、根据教师模型预测的息肉掩膜mt从教师特征ft中提取出前景典型特征pf，并计算背景典型特征pb；
20、分别计算学生特征f与前景典型特征pf间的相似度rf以及学生特征f与背景典型特征pb间的相似度rb，并根据相似度rf和相似度rb构建前景响应图mf；前景响应图mf中，值越大的像素点，表示学生特征f相比于背景越接近于前景；
21、以前景响应图mf为被监督图像，基于屏蔽他盒策略计算标注框与前景响应图mf间的投影损失，得到前、背景特征对比度损失。
22、进一步地，
23、
24、其中，t(·)表示使用预设阈值进行二值化，m是中值为1的像素点的总数目，表示点乘。
25、进一步地，
26、
27、其中，softmax1(·)表示沿第一个维度进行softmax运算；是教师特征转ft中背景像素点集合。
28、进一步地，
29、按照本专利技术的又一个方面，提供了一种内窥镜图像息肉分割方法，包括：
30、将待分割的内窥镜图像输入至由本专利技术提供的基于框标注训练的息肉分割模型建立方法建立得到的息肉分割模型，得到息肉掩膜；
31、将待分割的内窥镜图像与息肉掩膜点乘，得到息肉分割结果。
32、按照本专利技术的又一个方面，提供了一种计算机可读存储介质，包括存储的计算器程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本专利技术提供的基于框标注训练的息肉分割模型建立方法建立得到的息肉分割模型，或者，本专利技术提供的内窥镜图像息肉分割方法。
33、总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
34、(1)本专利技术提供的基于框标注训练的息肉分割模型建立方法，模型的训练损失包括了基于屏蔽他盒策略计算的标注框与第一深度学习模型预测输出的息肉掩膜间的投影损失，具体地，将含标注框的内窥镜图像分离为单标注框图像，对于每一个单标注框图像，则从模型输出的分割结果中屏蔽掉位于其余标注框中的内容，得到与该单标注框图像相对应的分割结果，由此根据真实框标注将模型的输出结果转化为对应数量的“类实例化”输出，使得在息肉分割模型的训练中能够使用projection loss准确衡量模型输出的分割结果与框标注信息之间的损失，为模型训练提供有效的监督信息，在基于框标本文档来自技高网...
【技术保护点】
1.一种基于框标注训练的息肉分割模型建立方法，其特征在于，包括：
2.如权利要求1所述的基于框标注训练的息肉分割模型建立方法，其特征在于，所述初始化步骤还包括：建立第二深度学习模型作为教师模型，用于从内窥镜图像中分割出息肉，得到息肉掩膜，并以所述第一深度学习模型作为学生模型；
3.如权利要求2所述的基于框标注训练的息肉分割模型建立方法，其特征在于，所述掩膜损失的计算方式为：
4.如权利要求1～3任一项所述的基于框标注训练的息肉分割模型建立方法，其特征在于，所述训练损失还包括：前、背景特征对比度损失；
5.如权利要求4所述的基于框标注训练的息肉分割模型建立方法，其特征在于，
6.如权利要求5所述的基于框标注训练的息肉分割模型建立方法，其特征在于，
7.如权利要求6所述的基于框标注训练的息肉分割模型建立方法，其特征在于，
8.一种内窥镜图像息肉分割方法，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，包括存储的计算器程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质
...【技术特征摘要】
1.一种基于框标注训练的息肉分割模型建立方法，其特征在于，包括：
2.如权利要求1所述的基于框标注训练的息肉分割模型建立方法，其特征在于，所述初始化步骤还包括：建立第二深度学习模型作为教师模型，用于从内窥镜图像中分割出息肉，得到息肉掩膜，并以所述第一深度学习模型作为学生模型；
3.如权利要求2所述的基于框标注训练的息肉分割模型建立方法，其特征在于，所述掩膜损失的计算方式为：
4.如权利要求1～3任一项所述的基于框标注训练的息肉分割模型建立方法，其特征在于，所述训练损失还包括：前、背景特征对比度损失；
5.如权利要求4所...
【专利技术属性】
技术研发人员：王植炜，李强，胡强，石洪宽，张贻彤，李婷，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。