基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法及装置制造方法及图纸

本发明专利技术涉及一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法及装置，方法包括：获取病理切片并进行快速点标注，将形成的点标注集外扩形成样本图像块，筛选生成抽象特征的图片级的单标签与单标签集；利用单标签分类网络对单标签集进行预训练获取图片级伪多分类标签集；利用多标签分类网络对图片级伪多分类标签集进行预训练得到伪掩码并生成分割网络训练的伪标注；构建并训练分割网络，计算分割结果和伪掩码损失后得到分割结果图；本发明专利技术减少了对图像级无噪声多标签的依赖从而减少经济与人力的成本，同时无需预先对病理图片切割大量样本图片块，避免了因为覆盖肿瘤异质性而导致的大量筛选投入，从而提高了工作效率

【技术实现步骤摘要】
基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法及装置


[0001]本专利技术涉及人工智能
，特别涉及一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法及装置
。

技术介绍

[0002]肿瘤微环境
(TME)
不仅在肿瘤的起始和进展中起着重要作用，还影响癌症患者的治疗效果和预后
。TME
是由不同类型的组织组成的，包括肿瘤上皮细胞
、
肿瘤浸润淋巴细胞
(TILs)、
肿瘤相关间质等
。
之前的研究已经证明，它们在临床上与肿瘤的进一步发展息息相关
。
因此准确地区别和分割
TME
中不同类型的组织十分重要
。
传统的分割方法是使用手动像素级标注的特征进行组织分割，如纹理
、
形态学特征
、
颜色等
。
[0003]最近，深度学习在医学图像分割任务中取得了巨大的成功
。
然而，获得大量的像素级标注需要大量的人力财力，特别是对病理图像
。
由于其多样性和复杂性，病理图像的标注需要有病理临床背景的人才能处理它
。
此外，由于肿瘤的异质性，它可能有各种形态学外观
。
同时，千兆像素级别的全数字病理切片
(WSI)
也增加了手动标注的难度
。
[0004]在过去的研究中，研究者们尝试了许多方法，来减轻医学图像分割过程中图像标注的负担，通常采用相较于像素级标注信息量更少的弱标注方式，利用网络提取标注中更丰富的语义信息，在保证分割性能的同时提高标注效率，减轻标注负担
。
目前的弱标注方法包括图片级标注
、
线标注
、
框标注和点标注，其中图片级标注是图像分类任务的主流标注方式，相关的分割任务研究数量最多，而点标注相关的研究较少
。

技术实现思路

[0005]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法及装置，在低倍率大视野下对病理切片快速点标注，通过弱监督机制作用，能够快速且高效地实现病理图像组织分割，同时节省了经济与人力的成本
。
[0006]为了达到上述目的，本专利技术采用以下技术方案：
[0007]第一方面，本专利技术提供了一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法，包括下述步骤：
[0008]获取病理切片并进行快速点标注，完成点标注积累，形成点标注集，将点标注集中任意点标注向周围区域外扩，形成样本图片块
x
与样本图片集
X
，经过特征筛选生成抽象特征的图片级的单标签
p
与单标签集
D
single
；
[0009]利用单标签集
D
single
，对预先设立的单标签分类网络进行预训练，获取图片级伪多分类标签集
D
cls
；
[0010]利用图片级伪多分类标签集
D
cls
，对预先设立的多标签分类网络进行预训练，利用多标签分类网络得到三个中间层的伪掩码并生成分割网络训练的伪标注
GT
bn7，
[0011]构建分割网络
f
seg
，同时在所述伪标注的监督下训练分割网络
f
seg
，分别计算分割网络的分割结果和伪掩码的损失，将分割结果和伪掩码的损失加权求和得到分割结果图
。
[0012]作为优选的技术方案，所述将点标注集中任意点标注向周围区域外扩，形成样本图片块
x
与样本图片集
X
，具体为：
[0013]基于该任意点标注位置，沿着坐标轴的方向各自延展
d/2
，形成宽高为
d
的样本图片块
x
，生成含有混合多类别点标注的样品图片块集
X
；
[0014]筛选出由点标注类别为
point
外扩生成的样品图片块，
[0015]point∈{class1，
...
，
class
n
}
[0016]其中
class
i
表示点标注的类别；
[0017]生成抽象特征的图片级单标签
p
：
[0018][0019]其中
n
是类别数量，
label
i
表示单标签
p
的向量参数；
[0020]生成单标签集
D
single
。
[0021]作为优选的技术方案，所述单标签分类网络进行预训练，具体为：
[0022]基于残差网络搭建单标签分类网络，以单标签集
D
single
作为监督信号训练单标签分类网络，使得单标签分类网络偏向学习具有真实标注的单标签类；
[0023]单标签集中任意样本输入过程中具有损失，根据损失函数
L
EM
计算样本图片块
x
的预测输出和标签
p
的损失；所述损失函数，如下式：
[0024][0025]H(fi)
＝
‑
[f
i
log(f
i
)+(1
‑
f
i
)log(1
‑
f
i
)][0026]其中
f
single
(x)
表示样本
x
的预测输出，
f
i
表示样本
x
在第
i
个类上模型的输出概率，
H(
·
)
表示标签为0的类别的损失函数，
n
表示标签的类别数量，
p
i
表示样本第
i
个类的标签；
[0027]将任意样本图片块预测值与设定阈值
α
作比较判断，生成对应的图片级伪多分类标签
y
，获取图片级伪多分类标签集
D
cls
。
[0028]作为优选的技术方案，所述多标签分类网络的预训练，其特征在于，具体包括以下步骤：
[0029]从伪多标签训练集
D
cls
中提取样本图片块
x
作为输入，提取深层特征图
m
；
[0030]采用渐变式丢弃的注意力机制对深层特征图进行注意力优化；获取所有类激活图的平均值，生成基于渐变式丢弃的注意力图
A
，并与特征图
m
...

【技术保护点】

【技术特征摘要】
1.
一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法，其特征在于，包括以下步骤：获取病理切片并进行快速点标注，完成点标注积累，形成点标注集，将点标注集中任意点标注向周围区域外扩，形成样本图片块
x
与样本图片集
X
，经过特征筛选生成抽象特征的图片级的单标签
p
与单标签集
D
single
；利用单标签集
D
single
，对预先设立的单标签分类网络进行预训练，获取图片级伪多分类标签集
D
cls
；利用图片级伪多分类标签集
D
cls
，对预先设立的多标签分类网络进行预训练，利用多标签分类网络得到三个中间层的伪掩码并生成分割网络训练的伪标注构建分割网络
f
seg
，同时在所述伪标注的监督下训练分割网络
f
seg
，分别计算分割网络的分割结果和伪掩码的损失，将分割结果和伪掩码的损失加权求和得到分割结果图
。2.
根据权利要求1所述一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法，其特征在于，所述将点标注集中任意点标注向周围区域外扩，形成样本图片块
x
与样本图片集
X
，具体为：基于该任意点标注位置，沿着坐标轴的方向各自延展
d/2
，形成宽高为
d
的样本图片块
x
，生成含有混合多类别点标注的样品图片块集
X
；筛选出由点标注类别为
point
外扩生成的样品图片块，
point∈{class1，
...
，
class
n
}
其中
class
i
表示点标注的类别；生成抽象特征的图片级单标签
p
：其中
n
是类别数量，
label
i
表示单标签
p
的向量参数；生成单标签集
D
single
。3.
根据权利要求1所述一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法，其特征在于，所述单标签分类网络进行预训练，具体为：基于残差网络搭建单标签分类网络，以单标签集
D
single
作为监督信号训练单标签分类网络，使得单标签分类网络偏向学习具有真实标注的单标签类；单标签集中任意样本输入过程中具有损失，根据损失函数
L
EM
计算样本图片块
x
的预测输出和标签
p
的损失；所述损失函数，如下式：
H(f
i
)
＝
‑
[f
i
log(f
i
)+(1
‑
f
i
)log(1
‑
f
i
)]
其中
f
single
(x)
表示样本
x
的预测输出，
f
i
表示样本
x
在第
i
个类上模型的输出概率，
H(
·
)
表示标签为0的类别的损失函数，
n
表示标签的类别数量，
p
i
表示样本第
i
个类的标签；将任意样本图片块预测值与设定阈值
α
作比较判断，生成对应的图片级伪多分类标签
y
，获取图片级伪多分类标签集
D
cls
。
4.
根据权利要求1所述一种基于全数字病理切片不准确点标注的弱监督病理图像组织分割方法，其特征在于，所述多标签分类网络的预训练，其特征在于，具体包括以下步骤：从伪多标签训练集
D
cls
中提取样本图片块
x
作为输入，提取深层特征图
m
；采用渐变式丢弃的注意力机制对深层特征图进行注意力优化；获取所有类激活图的平均值，生成基于渐变式丢弃的注意力图
A
，并与特征图
m
按位相乘之后获得丰富的特征表达通过全局平均池和全连接层计算第
k
个组织类别的概率个组织类别的概率其中
GAP(.)
表示全局平均池，
ω
k
表示第
k
个类别的权重；根据分类标签计算分类网络损失函数的值：其中
y
表示伪多分类标签，表示预测分类结果，
f
loss
表示多标签分类损失函数；...

【专利技术属性】
技术研发人员：刘再毅，韩楚，乐俊聪，林佳泰，韩国强，王浩，吴宏江，
申请(专利权)人：广东省人民医院，
类型：发明
国别省市：