一种基于一致性语义分割的图像分析方法、设备及系统技术方案

本发明专利技术涉及一种基于一致性语义分割的图像分析方法、系统及设备。包括：获取待预测的心脏染色切片图像；将待预测的心脏染色切片图像输入目标区域分割模型，得到目标区域；基于目标区域分别计算得到梗死区域面积、危险区域面积和左心室区域面积；基于梗死区域面积、危险区域面积和左心室区域面积计算并输出相关指标：梗死区域/危险区域、危险区域/左心室区域、梗死区域/左心室区域。本发明专利技术方法旨在基于一致性学习的语义分割网络构建目标区域分割模型，实现梗死区域面积的预测分析结果，旨在发掘其在病理学影像数据中的分析能力和潜在应用价值。用价值。用价值。

【技术实现步骤摘要】
一种基于一致性语义分割的图像分析方法、设备及系统


[0001]本专利技术涉及计算机视觉和病理学图像分析领域，更具体地，涉及一种基于一致性语义分割的图像分析方法、设备、系统、计算机可读存储介质及其应用。

技术介绍

[0002]缺血性心脏病，包括心肌梗塞，是一种严重危害人类健康的心血管疾病。在缺血性心脏病、心肌梗死和相关药物的研究中，通常对接受不同治疗或药物的动物进行对比实验，对心脏切片进行染色，通过计算不同染色区域的面积，以验证治疗和药物的效果。药物的效果通常根据动物心脏切片上左心室不同梗塞面积比例确定。大鼠心脏切片图像的分割和梗死面积的测量是处理缺血性心脏病动物实验数据中梗死面积测量的重要组成部分。对来自各种生物组织的病理切片的可靠和准确的实验数据进行有效分析仍然是一个挑战。
[0003]心脏切片图像的梗死面积测量是一项困难又耗时的工作，当前研究人员处理大鼠心脏染色切片计算心梗面积的方法是使用一些通用图像处理软件，如ImageJ，通过人工标注得到最终不同染色区域面积的实验数据。拍摄的样本图像分辨率高达6000x4000，每组实验的样本图像较多，标注过程枯燥且耗时，在科研工作中占用了大量时间，而且受实验动物样本数量和个体差异的制约，需要分析的心脏切片样本图像数量多，且组内和组间个体的染色图像差异大。
[0004]近年来，随着计算机视觉领域的发展，使用计算机技术辅助处理各种医学数据与模型的方法成为一个热门研究和应用领域。目前基于人工智能技术在医学图像处理领域的发展，将其应用于解决并简化人工标注和统计工作成为可能。

技术实现思路

[0005]本申请的目的在于，本申请实施例提供一种基于一致性语义分割的图像分析方法、系统、设备、计算机可读存储介质及其应用，其旨在为有效解决大鼠心脏染色切片图像梗死区域面积预测问题，节省数据处理的人力和时间成本，提高实验数据的获取速度和分割统计准确度，基于深度学习算法和医学图像处理技术，提供了一种心肌梗死大鼠心脏染色切片图像梗死区域面积分割方法，设计一种新的半监督的网络内一致性约束与网络间一致性约束结合的语义分割模型，能够更加准确预测图像的分割结果，提高分割效果及分割速度，以给医生在梗死面积测量的辅助分析方面中提供更充分的支持和潜在应用价值。
[0006]根据本申请的第一方面，本申请一实施例提供了一种基于一致性语义分割的图像分析方法，其包括：
[0007]获取待预测的心脏染色切片图像；
[0008]将所述待预测的心脏染色切片图像输入一致性语义分割模型，得到目标区域，其中，所述目标区域包括梗死区域、危险区域、左心室区域；
[0009]基于所述目标区域分别计算得到梗死区域面积、危险区域面积和左心室区域面积；
[0010]基于梗死区域面积、危险区域面积和左心室区域面积计算并输出相关指标：梗死区域/危险区域、危险区域/左心室区域、梗死区域/左心室区域。
[0011]进一步，获取待预测的心脏染色切片图像，还包括根据基于RGB颜色空间量化的心脏染色切片颜色区域对待预测的心脏染色切片图像依次进行采样；优选的，所述采样的过程包括：根据所述心脏染色切片颜色区域对具有弱标注的待预测的心脏染色切片图像依次进行采样，按颜色对每一个类采样多个样本点，将每类样本点的平均值作为类中心点，通过计算并比较每个像素点与所有类中心点的欧式距离，得到像素点分类到最近距离所属的类，如下式所示：
[0012]c
(i)
＝argmin(dist(x
i,j
)),j∈{1,2，3}
[0013]其中，函数argmin(
·
)用于为检索最小距离所属类的下标，dist(
·
)用于计算每个像素点与所有类中心点的欧式距离，c
(i)
表示待预测的心脏染色切片图像中位置索引为i的像素所属类，j为类别索引，标号1、2、3所属类为三种颜色，所代表的是对应的三种目标区域。
[0014]进一步，所述一致性语义分割模型基于下列语义分割网络中的任意一种或几种构建：全卷积网络、U
‑
Net、Mask2Former、DeepLab3+、ST++、DiT；
[0015]优选的，所述一致性语义分割模型通过半监督语义分割方法实现，所述半监督语义分割基于伪标记生成方法与语义分割网络实现模型一致性学习和训练，具体的，所述半监督语义分割通过编码器对输入的图像生成编码特征图像，然后将所述编码特征图像中的特征信息解码为所述输入的图像相对应的语义分割图像，在网络训练中完成无监督部分和有监督部分的一致性学习和训练；
[0016]可选的，所述编码器基于下列网络模型中的任意一种或几种构建：卷积神经网络、深度神经网络、LSTM/GRU；
[0017]优选的，所述编码器的编码过程为：以卷积神经网络作为主干网络构建编码器结构，输入图像得到特征图，将特征图通过金字塔池化模块中有限个不同输出尺度的自适应平均池化层，得到自适应平均池化后的包含局部和全局上下文特征信息的不同尺度特征图，对不同尺度特征图进行重采样，得到最终的与输入金字塔池化模块前的特征图相同尺寸大小的编码特征图像。
[0018]进一步，所述一致性学习和训练基于编码器对输入图像的特征提取能力和若干个辅助解码器与主解码器配合完成预测结果训练的一致性，根据无监督一致性损失函数和交叉伪监督损失函数优化计算的无监督损失值和基于交叉熵损失函数优化计算的有监督损失值，得到模型训练的总损失值，再根据总损失值更新网络参数，直到总损失值达到最小，得到训练好的一致性语义分割模型。
[0019]进一步，所述一致性语义分割模型在训练过程中使用的数据包括基于心脏染色切片图像构建的弱标注数据集、伪标注数据集和无标注数据集，其中，所述弱标注数据集中的图像包含背景与前景两部分粗分类标注信息，将所述弱标注数据集中的图像输入全卷积网络进行监督训练，通过计算监督损失值和梯度下降对所述全卷积网络的权重进行更新，得到训练好的全卷积神经网络模型，所述训练好的全卷积神经网络模型能够将无标注数据集中的无标注图像生成弱标注图像；优选的，所述监督损失值L基于骰子损失和交叉熵损失计算得到：
[0020][0021]其中，y表示图像的标签，下标i为图像像素位置的索引，N是弱标注数据集样本实例的数目，ε为平滑系数，^代表全卷积网络的预测图像；
[0022]再进一步，所述伪标注数据集中的图像包含多个不同目标区域标注信息的细分类标注，其中，所述不同目标区域包括梗死区域、危险区域、左心室区域。
[0023]进一步，在一些实施例中，所述一致性语义分割模型的网络结构中的特征扰动模块位于编码器与辅助解码器之间，基于编码器生成的编码特征图像进行特征扰动，通过对编码特征图像产生的特征信息添加不同类型噪声输入到主解码器，根据主解码器的预测结果指导辅助解码器预测结果学习，实现无监督的一致性训练；优选的，所述主解码器由1x1的卷积层和有限个转置卷积组成。
[0024]可选的，所述不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于一致性语义分割的图像分析方法，包括：获取待预测的心脏染色切片图像；将所述待预测的心脏染色切片图像输入一致性语义分割模型，得到目标区域，其中，所述目标区域包括梗死区域、危险区域、左心室区域；基于所述目标区域分别计算得到梗死区域面积、危险区域面积和左心室区域面积；基于梗死区域面积、危险区域面积和左心室区域面积计算并输出相关指标：梗死区域/危险区域、危险区域/左心室区域、梗死区域/左心室区域。2.根据权利要求1所述的基于一致性语义分割的图像分析方法，其特征在于，所述获取待预测的心脏染色切片图像，还包括根据基于RGB颜色空间量化的心脏染色切片颜色区域对待预测的心脏染色切片图像依次进行采样；优选的，所述采样的过程包括：根据所述心脏染色切片颜色区域对具有弱标注的待预测的心脏染色切片图像依次进行采样，按颜色对每个类采样多个样本点，将每类样本点的平均值作为类中心点，通过计算并比较每个像素点与所有类中心点的欧式距离，得到像素点分类到最近距离所属的类，如下式所示：c
(i)
＝argmin(dist(x
i,j
)),j∈{1,2，3}其中，函数argmin(
·
)用于为检索最小距离所属类的下标，dist(
·
)用于计算每个像素点与所有类中心点的欧式距离，c
(i)
表示待预测的心脏染色切片图像中位置索引为i的像素所属类，j为类别索引，标号1、2、3所属类为三种颜色，三种颜色所代表的是对应的三种目标区域。3.根据权利要求1所述的基于一致性语义分割的图像分析方法，其特征在于，所述基于所述目标区域分别计算得到梗死区域面积、危险区域面积和左心室区域面积，通过计算不同目标区域所占像素的数量得到相应的各个区域面积。4.根据权利要求1所述的基于一致性语义分割的图像分析方法，其特征在于，所述一致性语义分割模型基于下列语义分割网络中的任意一种或几种构建：全卷积网络、U
‑
Net、Mask2Former、DeepLab3+、ST++、DiT；优选的，所述一致性语义分割模型通过半监督语义分割方法实现，所述半监督语义分割基于伪标记生成方法与语义分割网络实现模型一致性学习和训练，具体的，所述半监督语义分割通过编码器对输入的图像生成编码特征图像，然后将所述编码特征图像中的特征信息解码为所述输入的图像相对应的语义分割图像，在网络训练中完成无监督部分和有监督部分的一致性学习和训练；可选的，所述编码器基于下列网络模型中的任意一种或几种构建：卷积神经网络、深度神经网络、LSTM/GRU；优选的，所述编码器的编码过程为：以卷积神经网络作为主干网络构建编码器结构，输入图像得到特征图，将特征图通过金字塔池化模块中有限个不同输出尺度的自适应平均池化层，得到自适应平均池化后的包含局部和全局上下文特征信息的不同尺度特征图，对不同尺度特征图进行重采样，得到最终的与输入金字塔池化模块前的特征图相同尺寸大小的编码特征图像。5.根据权...

【专利技术属性】
技术研发人员：王耀辉，朱小柯，魏寅祥，王贵玲，张海龙，
申请(专利权)人：河南大学，
类型：发明
国别省市：