一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法技术

本发明专利技术公开了一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法，采用编码器和解码器的网络结构，在编码器特征提取部分采用串并联多注意力的残差结构，并在解码器部分引入多尺度深监督和焦点损失，使网络提取更丰富的通道、局部空间和全局空间特征，多尺度深监督能融合不同尺度输出，更关注数量较少且难分割的多发性骨髓瘤细胞。本发明专利技术克服了多发性骨髓瘤细胞形态精细分割困难的缺点，具有自动化、成本低、效率高等优点，对早期的医学诊断和预后评估具有重大意义。后评估具有重大意义。后评估具有重大意义。

【技术实现步骤摘要】
一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法


[0001]本专利技术属于生物医学图像处理
，具体涉及一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法。

技术介绍

[0002]骨髓细胞形态学分析是恶性血液系统疾病诊断中的一项重要工作，通常在临床血液学检验中进行，如检测白血病、多发性骨髓瘤、淋巴瘤骨髓侵犯等。多发性骨髓瘤的诊断和预后评估都离不开在骨髓涂片中观察到的浆细胞形态，并且浆细胞形态可以作为多发性骨髓瘤一个独立的预后因素。细胞形态学专家通过在普通光学显微镜下观察骨髓以及外周血细胞涂片瑞氏染色，将细胞分类及占比罗列，查看有无异常形态的浆细胞，并进行原始浆细胞、幼稚浆细胞和成熟浆细胞的大体分类，来判断是否有恶性浆细胞(即骨髓瘤细胞)。然而，即使经过专家多年的经验积累，分析骨髓瘤细胞的精细分割仍需要付出相当多的精力，并且肉眼观察不能给出单个骨髓瘤细胞形态的定量数据。因此，开发一种有效的自动分析方法迫在眉睫。
[0003]骨髓瘤细胞形态学识别和计数包括两个主要阶段：识别和分割。在这些步骤中，骨髓瘤细胞分割是非常重要的，因为它影响到最终分割参数的性能。特别是在实际的显微镜下的骨髓瘤细胞图像中，人工无法测量细胞核和细胞质的面积，无法做核质比的计算。而骨髓瘤细胞通过细胞核和细胞质的分割后，可以容易地计算出细胞核和细胞质面积，从而进一步计算出其单个骨髓瘤细胞形态的定量数据，进而进行高效快速地预后分析。因此，研究重点在于突破骨髓瘤细胞通过细胞核和细胞质的分割限制，使高性价比的医学和生物医学研究规模扩大。
>[0004]医学图像分割是医学图像处理与分析领域中复杂且关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，使图像中解剖或病理结构的变化更加清晰，为临床诊疗和病理学研究提供可靠的依据，辅助医生作出更为准确的诊断。由于医学图像自身的复杂性，在分割过程中需要解决不均匀及个体差异等一系列问题，所以一般的图像分割方法难以直接应用于医学图像分割。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。
[0005]医学图像分割的早期方法通常依赖于边缘检测、模板匹配技术、统计形状模型、活动轮廓和传统机器学习技术。这些方法在一定程度上取得了不错的效果，但由于特征表示的困难，图像分割仍然是计算机视觉领域中最具挑战性的课题之一。特别是医学图像的特征提取比普通RGB图像更难，因为前者往往存在模糊、噪声、对比度低等问题。由于深度学习技术的快速发展，医学图像分割将不再需要手工制作的特征，卷积神经网络成功实现了图像的层次特征表示，从而成为图像处理和计算机视觉领域最热门的研究课题。
[0006]近些年来，从早期的全卷积网络(Fully Convolutional Networks,FCN)、U
‑
Net，发展到现在的金字塔场景分析网络(Pyramid Scene Parsing Network，PSPNet)、DeepLab等，这些都在图像分割任务上取得了一定的进展，但这些方法在区别特定肿瘤细胞和一般
肿瘤细胞及普通细胞分割上容易出现误识别和错识别，边界分割不好，染色细胞和背景区域之间不平衡等问题。

技术实现思路

[0007]本专利技术针对现有技术的不足，提供一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法，包括以下步骤：
[0008]步骤1，收集样本数据，构建金标准数据集；
[0009]步骤2，对步骤1构建的金标准数据集进行数据增强；
[0010]步骤3，构建基于深度学习的多发性骨髓瘤细胞形态精细分割网络；
[0011]步骤4，利用步骤2数据增强后的金标准数据集对步骤3构建的多发性骨髓瘤细胞形态精细分割网络进行训练；
[0012]步骤5，利用步骤4训练好的网络模型进行多发性骨髓瘤细胞细胞核和细胞质的精细分割。
[0013]而且，所述步骤1中使用分割标注软件对收集的普通细胞数据集进行标注，作为第一金标准数据集，使用分割标注软件对收集的多发性骨髓瘤细胞数据集进行标注，作为第二金标准数据集。
[0014]而且，所述步骤2中除了采用常用的增强方式包括翻转、平移、旋转、缩放、裁剪、锐化和色彩变换外，引入生成对抗网络生成样本数据和马赛克增强两种数据增强方式。生成对抗网络可以生成更多形态和数量的多发性骨髓瘤细胞图像，丰富样本数据多样性。马赛克增强将多张细胞图像缩放后拼接合成一张多发性骨髓瘤细胞图像，可以增加每个样本中的多发性骨瘤瘤细胞的数量，减少目标细胞、非目标细胞及背景的不平衡，同时也能增加样本多样性，提高网络性能。
[0015]而且，所述步骤3中网络采用编码器和解码器结构，编码器部分采用串并联多注意力的残差结构，将两个串联双注意力结构进行并联，可以有效地提取局部空间，非局部空间、通道和空间通道的上下文信息。串联结构分别是通道注意力和空间注意力串联分支，能够提取丰富的通道和局部空间特征，通道注意力和非局部注意力串联分支，可以提取丰富的通道和非局部空间特征，然后将两个串联双注意力结构进行并联，可以进一步提高提取特征的丰富度。通道注意力模块将输入的特征图分别经过最大池化和平均池化，形成两个权重向量，再分别经过同一个共享全连接层，映射成每个通道的权重，将权重相加后经Sigmoid函数输出归一化通道注意力权值特征图，最后与原特征图按通道相乘，完成通道注意力对原始特征的重新标定。空间注意力模块将输入的特征图按通道进行最大池化和平均池化，得到的两张特征图进行堆叠，形成特征图空间权重，然后经一次卷积层后提升为原来的维度，最后将经过Sigmoid激活函数标准化处理后的特征图与原输入的特征图进行合并，完成空间注意力对原始特征的重新标定。不同于空间注意力通过局部区域获取局部关系，非局部注意力是某一像素点处的响应为其他所有点处的特征权重和，将每一个点与其他所有点相关联，捕获长距离依赖，实现非局部空间思想，其结构为输入的特征图分别通过1
×1×
1卷积进行线性映射，得到三个特征图，经维度变换操作后对其中两个特征图进行点乘操作，再由归一化指数函数得到自注意力的权重系数，与之前卷积得到的第三个特征图进行点乘，最后与原输入特征图做残差运算，得到非局部注意力特征图，完成非局部注意力对原
始特征的重新标定。在解码器部分引入多尺度深监督策略，以融合浅层和深层特征分割结果，提升大目标和小目标分割识别能力。
[0016]在损失函数上，引入焦点损失以有效解决样本类别不平衡的问题，使得网络更关注于在图片中数量较少的难分割骨髓瘤细胞。损失函数采用多分类的Dice Loss和Focal Loss加权求和的方式，具体计算方式如下：
[0017][0018][0019][0020][0021]式中，TP
p
(c)、FN
p
(c)、FP
p
(c)分别表示对于类别c的真阳性、假阴性、假阳性；p
n
(c)为第n个样本预测为类别c的概率；g
n
(c)表示第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法，其特征在于，包括以下步骤：步骤1，收集样本数据，构建金标准数据集；步骤2，对步骤1构建的金标准数据集进行数据增强；步骤3，构建基于深度学习的多发性骨髓瘤细胞形态精细分割网络；采用编码器和解码器结构，编码器部分采用串并联多注意力的残差结构，将两个串联双注意力结构进行并联，串联结构分别是通道注意力和空间注意力串联分支、通道注意力和非局部注意力串联分支，在解码器部分引入多尺度深监督策略，以融合浅层和深层特征分割结果，提升大目标和小目标分割识别能力；步骤4，利用步骤2数据增强后的金标准数据集对步骤3构建的多发性骨髓瘤细胞形态精细分割网络进行训练；步骤5，利用步骤4训练好的网络模型进行多发性骨髓瘤细胞细胞核和细胞质的精细分割。2.如权利要求1所述的一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法，其特征在于：步骤1中使用分割标注软件对收集的普通细胞数据集进行标注，作为第一金标准数据集，使用分割标注软件对收集的多发性骨髓瘤细胞数据集进行标注，作为第二金标准数据集。3.如权利要求1所述的一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法，其特征在于：步骤2除了采用常用的增强方式包括翻转、平移、旋转、缩放、裁剪、锐化和色彩变换外，引入生成对抗网络生成样本数据和马赛克增强两种数据增强方式；生成对抗网络能够生成更多形态和数量的多发性骨髓瘤细胞图像，丰富样本数据多样性；马赛克增强将多张细胞图像缩放后拼接合成一张多发性骨髓瘤细胞图像，能够增加每个样本中的多发性骨瘤瘤细胞的数量，减少目标细胞、非目标细胞及背景的不平衡，同时也能增加样本多样性，提高网络性能。4.如权利要求1所述的一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法，其特征在于：步骤3中将通道注意力和空间注意力串联，能够提取丰富的通道和局部空间特征；将通道注意力和非局部注意力串联，能够提取丰富的通道和非局部空间特征；将两个串联双注意力结构进行并联，能够进一步提高提取特征的丰富度；通道注意力模块将输入的特征图分别经过最大池化和平均池化，形成两个权重向量，再分别经过同一个共享全连接层，映射成每个通道的权重，将权重相加后经Sigmoid函数输出归一化通道注意力权值特征图，最后与原特征图按通道相乘，完成通道注意力对原始特征的重新标定；空间注意力模块将输入的特征图按通道进行最大池化和平均池化，得到的两张特征图进行堆叠，形成特征图空间权重，然后经一次卷积层后提升为原来的维度，最后将经过Sigmoid激活函数标准化处理后的特征图与原输入的特征图进行合并，完成空间注意力对原始特征的重新标定；不同于空间注意力通过局部区域获取局部关系，非局部注意力是某一像素点处的响...

【专利技术属性】
技术研发人员：周芙玲，喻亚兰，沈辉，邵亮，吴三云，刘晓燕，罗萍，何靖，吴金娴，黎鑫琦，朱明林，
申请(专利权)人：武汉大学中南医院，
类型：发明
国别省市：