电镜图像分割模型训练及互作分析方法、装置和设备制造方法及图纸

本公开提供一种电镜图像分割模型训练及互作分析方法、装置和设备，属于生物医学、图像处理等技术领域。该训练方法包括：基于电镜图像切片的空间相似性、局部异质性和分割目标的小目标、狭长和近圆的几何特性，利用极少量有标注切片和适量的无标注切片对分割模型进行二阶段的微监督训练。本公开提供的微监督训练方法在保证模型性能的前提下极大降低训练过程对分割标注的依赖。互作分析方法包括：基于三维细胞器的分割结果，定位各种细胞器发生互作的区域以及互作区域的面积、数量等互作信息，实现三维空间中的互作分析。本公开提供的细胞器互作分析方法可以实现多种细胞器在真实空间中的互作状态的分析，提高获取的细胞器间的互作信息的准确性。间的互作信息的准确性。间的互作信息的准确性。

【技术实现步骤摘要】
电镜图像分割模型训练及互作分析方法、装置和设备


[0001]本公开涉及生物医学、图像处理等
，尤其涉及一种电镜图像分割模型训练及细胞器互作分析方法、装置、电子设备和存储介质。

技术介绍

[0002]细胞器是细胞内具有特定形态结构和功能的微器官。细胞器之间会发生相互作用，通过相互协调来完成一系列重要生理功能，细胞器的相互作用通常发生在膜接触位点(MCSs)，在细胞生物学和生理及病理学研究中，MCSs量化是研究细胞在不同生理及病理状态下的功能和各个功能相关性的重要途径。对电镜切片细胞器的分割结果的互作分析可以获取互作区域的位置、面积等信息，对细胞内MCSs的确定和相关的生理功能的研究具有重要意义。
[0003]在相关技术中，采集细胞电镜图像，并对细胞电镜图像中的相关细胞器进行专家标注，获取带分割标签的细胞电镜图像，基于这些图像，对构建的图像切片分割模型进行全监督训练，得到用于分割细胞器的分割模型，并用该模型对电镜切片进行处理，得到细胞器的二维分割结果。基于该二维分割结果进行细胞器互作分析。
[0004]在上述相关技术中，基于全监督训练的模型性能严重依赖于标注数据的质量和数量，但分割标注需要相关专家精细的人工注释，所以标注数据的获取难度巨大。而且目前的细胞器互作分析方法适用于二维空间，无法反应三维空间中细胞器真实的互作情况。

技术实现思路

[0005]本公开提供了电镜图像分割模型训练及细胞器互作分析方法、装置、电子设备和存储介质，用以缓解现有技术中分割模型的训练严重依赖标注数据的缺陷和细胞器互作分析方法只适用于二维空间的局限性。
[0006]第一方面，本公开的实施例提供了一种电镜图像分割模型训练方法，其特征在于，所述方法包括：
[0007]获取多个有标注图像切片和对应的分割标签以及多个无标注图像切片，所述有标注图像切片的总数量除以多个图像切片的总数量的比值不大于第一阈值，所述多个图像切片包括所述多个有标注图像切片和所述多个无标注图像切片，所述多个图像切片是采用电子显微镜通过沿预设坐标轴扫描待拍摄的样本对象得到的；
[0008]基于电镜图像切片的切片相似性，在所述多个无标注图像切片中确定与所述有标注图像切片相似的多个目标图像切片，和/或，基于电镜图像切片中待分割目标的小目标性和/或电镜图像的局部异质性，在多个候选裁剪尺寸中确定目标裁剪尺寸；
[0009]基于所述多个有标注图像切片和对应的分割标签、所述多个目标图像切片和/或所述目标裁剪尺寸，确定用于对电镜图像分割模型进行训练的训练集；
[0010]基于所述训练集，对所述电镜图像分割模型中的第一网络模型和第二网络模型进行基于一致性正则化的互监督训练，得到中间分割模型；
[0011]分别将所述多个图像切片输入所述中间分割模型，得到所述多个图像切片各自的分割伪标签；
[0012]基于所述多个图像切片和所述多个图像切片各自的分割伪标签，对所述中间分割模型进行自训练，得到电镜图像分割模型。
[0013]在一些可选的实施方式中，所述基于所述训练集，对第一网络模型和第二网络模型进行基于一致性正则化的互监督训练，得到中间分割模型，包括：
[0014]基于电镜图像切片中待分割目标的狭长性和/或近圆性，确定第一损失函数；
[0015]基于所述训练集和所述第一损失函数，对所述第一网络模型和所述第二网络模型进行基于一致性正则化的互监督训练，得到中间分割模型，所述中间分割模型为在互监督训练结束之后所述第一网络模型和所述第二网络模型中平均交并比最大的网络模型。
[0016]在一些可选的实施方式中，所述基于所述多个图像切片和所述多个图像切片各自的分割伪标签，对所述中间分割模型进行自训练，得到电镜图像分割模型，包括：
[0017]基于电镜图像切片中待分割目标的狭长性和/或近圆性，确定第二损失函数；
[0018]基于所述多个图像切片、所述多个图像切片各自的分割伪标签和所述第二损失函数，对所述中间分割模型进行自训练，得到所述电镜图像语义分割模型，其中，所述电镜图像分割模型为语义分割模型。
[0019]在一些可选的实施方式中，所述基于电镜图像切片的切片相似性，在所述多个无标注图像切片中确定与所述有标注图像切片相似的多个目标图像切片，包括：
[0020]针对每个有标注图像切片，基于电镜图像切片的切片相似性，确定所述有标注图像切片分别与每个无标注图像切片的相似度；将所述多个无标注图像切片中与所述有标注图像切片相似度大于第二阈值的无标注图像切片，确定为与所述有标注图像切片相似的多个目标图像切片。
[0021]在一些可选的实施方式中，所述基于所述多个有标注图像切片和对应的分割标签、所述多个目标图像切片和/或所述目标裁剪尺寸，确定用于对电镜图像分割模型进行训练的训练集，包括：
[0022]基于所述目标裁剪尺寸，对每个目标图像切片进行裁剪，得到所述每个目标图像切片对应的多个第一样本图像；
[0023]基于所述目标裁剪尺寸，对每个有标注图像切片进行裁剪，得到所述每个有标注图像切片对应的多个第二样本图像；
[0024]基于所述目标裁剪尺寸，对所述每个有标注图像切片对应的分割标签进行切割，得到每个第二样本图像所对应的分割标签；
[0025]确定用于对电镜图像分割模型进行训练的训练集，所述训练集中包括所述每个目标图像切片所对应的多个第一样本图像以及所述每个有标注图像切片所对应的多个第二样本图像和对应的分割标签。
[0026]在一些可选的实施方式中，所述基于电镜图像切片中待分割目标的小目标性和/或电镜图像的局部异质性，在多个候选裁剪尺寸中确定目标裁剪尺寸，包括：
[0027]基于电镜图像切片中待分割目标的小目标性和电镜图像的局部异质性，将所述多个候选裁剪尺寸中除最大裁剪尺寸和最小裁剪尺寸之外的剩余裁剪尺寸，确定为多个目标裁剪尺寸；
[0028]针对每个目标裁剪尺寸，基于所述目标裁剪尺寸，对每个有标注图像切片进行切割，得到所述每个有标注图像切片对应的多个第三样本图像，对所述每个有标注图像切片的分割标签进行切割，得到每个第三样本图像所对应的分割标签；基于所述每个有标注图像对应的多个第三样本图像和所述每个第三样本图像的分割标签，对预设模型进行全监督训练，得到所述目标裁剪尺寸所对应的训练完成的分割模型；
[0029]将所述多个目标裁剪尺寸所对应的训练完成的分割模型中，平均交并比最大的分割模型对应的目标裁剪尺寸，确定为所述目标裁剪尺寸。
[0030]第二方面，本公开的实施例提供了一种电镜图像分割模型训练装置，其特征在于，所述装置包括：
[0031]第一获取模块，被配置成获取多个有标注图像切片和对应的分割标签以及多个无标注图像切片，所述有标注图像切片的总数量除以多个图像切片的总数量的比值不大于第一阈值，所述多个图像切片包括所述多个有标注图像切片和所述多个无标注图像切片，所述多个图像切片是采用电子显微镜通过沿预设坐标轴扫描待拍摄的样本对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电镜图像分割模型训练方法，其特征在于，所述方法包括：获取多个有标注图像切片和对应的分割标签以及多个无标注图像切片，所述有标注图像切片的总数量除以多个图像切片的总数量的比值不大于第一阈值，所述多个图像切片包括所述多个有标注图像切片和所述多个无标注图像切片，所述多个图像切片是采用电子显微镜通过沿预设坐标轴扫描待拍摄的样本对象得到的；基于电镜图像切片的切片相似性，在所述多个无标注图像切片中确定与所述有标注图像切片相似的多个目标图像切片，和/或，基于电镜图像切片中待分割目标的小目标性和/或电镜图像的局部异质性，在多个候选裁剪尺寸中确定目标裁剪尺寸；基于所述多个有标注图像切片和对应的分割标签、所述多个目标图像切片和/或所述目标裁剪尺寸，确定用于对电镜图像分割模型进行训练的训练集；基于所述训练集，对所述电镜图像分割模型中的第一网络模型和第二网络模型进行基于一致性正则化的互监督训练，得到中间分割模型；分别将所述多个图像切片输入所述中间分割模型，得到所述多个图像切片各自的分割伪标签；基于所述多个图像切片和所述多个图像切片各自的分割伪标签，对所述中间分割模型进行自训练，得到电镜图像分割模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述训练集，对第一网络模型和第二网络模型进行基于一致性正则化的互监督训练，得到中间分割模型，包括：基于电镜图像切片中待分割目标的狭长性和/或近圆性，确定第一损失函数；基于所述训练集和所述第一损失函数，对所述第一网络模型和所述第二网络模型进行基于一致性正则化的互监督训练，得到中间分割模型，所述中间分割模型为在互监督训练结束之后所述第一网络模型和所述第二网络模型中平均交并比最大的网络模型。3.根据权利要求1所述的方法，其特征在于，所述基于所述多个图像切片和所述多个图像切片各自的分割伪标签，对所述中间分割模型进行自训练，得到电镜图像分割模型，包括：基于电镜图像切片中待分割目标的狭长性和/或近圆性，确定第二损失函数；基于所述多个图像切片、所述多个图像切片各自的分割伪标签和所述第二损失函数，对所述中间分割模型进行自训练，得到所述电镜图像语义分割模型，其中，所述电镜图像分割模型为语义分割模型。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于电镜图像切片的切片相似性，在所述多个无标注图像切片中确定与所述有标注图像切片相似的多个目标图像切片，包括：针对每个有标注图像切片，基于电镜图像切片的切片相似性，确定所述有标注图像切片分别与每个无标注图像切片的相似度；将所述多个无标注图像切片中与所述有标注图像切片相似度大于第二阈值的无标注图像切片，确定为与所述有标注图像切片相似的多个目标图像切片。5.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述多个有标注图像切片和对应的分割标签、所述多个目标图像切片和/或所述目标裁剪尺寸，确定用于对电镜图像分割模型进行训练的训练集，包括：
基于所述目标裁剪尺寸，对每个目标图像切片进行裁剪，得到所述每个目标图像切片对应的多个第一样本图像；基于所述目标裁剪尺寸，对每个有标注图像切片进行裁剪，得到所述每个有标注图像切片对应的多个第二样本图像；基于所述目标裁剪尺寸，对所述每个有标注图像切片对应的分割标签进行切割，得到每个第二样本图像所对应的分割标签；确定用于对电镜图像分割模型进行训练的训练集，所述训练集中包括所述每个目标图像切片所对应的多个第一样本图像以及所述每个有标注图像切片所对应的多个第二样本图像和对应的分割标签。6.根据权利要求1至3任一项所述的方法，其特征在于，所述基于电镜图像切片中待分割目标的小目标性和/或电镜图像的局部异质性，在多个候选裁剪尺寸中确定目标裁剪尺寸，包括：基于电镜图像切片中待分割目标的小目标性和电镜图像的局部异质性，将所述多个候选裁剪尺寸中除最大裁剪尺寸和最小裁剪尺寸之外的剩余裁剪尺寸，确定为多个目标裁剪尺寸；针对每个目标裁剪尺寸，基于所述目标裁剪尺寸，对每个有标注图像切片进行切割，得到所述每个有标注图像切片对应的多个第三样本图像，对所述每个有标注图像切片的分割标签进行切割，得到每个第三样本图像所对应的分割标签；基于所述每个有标注图像对应的多个第三样本图像和所述每个第三样本图像的分割标签，对预设模型进行全监督训练，得到所述目标裁剪尺寸所对应的训练完成的分割模型；将所述多个目标裁剪尺寸所对应的训练完成的分割模型中，平均交并比最大的分割模型对应的目标裁剪尺寸，确定为所述目标裁剪尺寸。7.一种电镜图像分割模型训练装置，其特征在于，所述装置包括：第一获取模块，被配置成获取多个有标注图像切片和对应的分割标签以及多个无标注图像切片，所述有标注图像切片的总数量除以多个图像切片的总数量的比值不大于第一阈值，所述多个图像切片包括所述多个有标注图像切片和所述多个无标注图像切片，所述多个图像切片是采用电子显微镜通过沿预设坐标轴扫描待拍摄的样本对象得到的；第一确定模块，被配置成基于电镜图像切片的切片相似性，在所述多个无标注图像切片中确定与所述有标注图像切片相似的多个目标图像切片，和/或，基于电镜图像切片中待分割目标的小目标性和/或电镜图像的局...

【专利技术属性】
技术研发人员：周岩峰，杨戈，王辰龙，李一凡，宋乐，
申请(专利权)人：百图生科北京智能技术有限公司，
类型：发明
国别省市：