基于颜色反卷积与自注意力模型的组织病理学图像分类方法技术

本发明专利技术涉及基于颜色反卷积与自注意力模型的组织病理学图像分类方法，并提供了离线图像颜色反卷积与在线图像颜色反卷积两种方案，离线图像颜色反卷积方案通过先对RGB图像进行反卷积得到HED颜色空间图像，之后将HED图像输入自注意力模型得到图像的分类结果；在线颜色反卷积方案中将反卷积操作以卷积层的形式加入到自注意力模型中，先通过对模型进行训练并寻找合适的反卷积参数，之后迁移反卷积参数并再次利用加入反卷积操作的自注意力模型对图像进行分类；采用以上技术方案有效地将组织病理学图像反卷积与自注意力模型相结合，提高组织病理学图像分类的正确率。织病理学图像分类的正确率。织病理学图像分类的正确率。

【技术实现步骤摘要】
基于颜色反卷积与自注意力模型的组织病理学图像分类方法


[0001]本专利技术属于医学组织细胞图像处理领域，具体涉及一种结合颜色反卷积与自注意力模型的组织细胞图像分类方法。

技术介绍

[0002]根据世界卫生组织国际癌症研究机构发布数据，2020年，全球新增癌症病例约1930万，死亡人数约1000万。其中乳腺癌新增人数达226万，占到全球新增癌症病例的11.7％，超过肺癌220万新增病例，成为全球第一大癌。在乳腺癌诊断过程中，由病理学家检查乳腺组织切片仍然是临床诊断的金标准。数字病理学的发展，使数字组织细胞图像数量呈爆炸式增长，且随着人们健康意识的提高以及乳腺癌诊断的逐步普及，急需寻找能够对组织病理学图像进行快速分析的自动化方法。
[0003]在组织病理学中，最常用的染色剂是苏木精和伊红。其中苏木精与核酸结合，使细胞核染成深蓝色或紫色，而伊红则粘附在组织中的蛋白质上，从而使细胞质和细胞外基质染成粉红色。而通过颜色反卷积操作，能够对经过苏木精
‑
伊红染色的组织细胞RGB图像进行颜色去卷积，根据特定染色剂的吸光率，计算每种染色剂的贡献，从而达到将组织染色进行染色分离的效果。
[0004]以往对组织病理学图像分类往往采用手工提取图像特征或使用机器学习的方法，然而这些方法存在步骤繁琐、效率低下、准确率低等特点，难以在实际组织细胞图像的分类过程中使用。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供通过对组织细胞图像进行反卷积操作，之后利用自注意力模型对反卷积后的图像进行分类，从而提高组织病理学图像分类的正确率的基于颜色反卷积与自注意力模型的组织病理学图像分类方法。
[0006]本专利技术的基于颜色反卷积与自注意力模型的组织病理学图像分类方法，采用以下方案：其包括采用离线图像颜色反卷积方法或在线图像颜色反卷积方法；
[0007]离线图像颜色反卷积方法步骤如下：
[0008]S100、获取经过苏木精
‑
伊红染色的组织病理学图像数据集，所述数据集中的组织病理学图像为标准的RGB三通道彩色图像，其像素构成矩阵H
t
；
[0009]S200、将矩阵H
t
中像素值为0的像素点值置为1
×
10
‑7，之后对每个像素值进行标准化，构成新的矩阵H
t
'；
[0010]S300、将新的矩阵H
t
'与颜色反卷积标准矩阵相乘，得到矩阵D
t
，矩阵D
t
即为像素矩阵H
t
颜色反卷积后的矩阵；
[0011]S400、对矩阵D
t
进行归一化，得到矩阵D
t
'，矩阵D
t
'的所有元素都在区间[0,1]内；
[0012]S500、将矩阵D
t
'中的每一个元素乘以255并保留整数，得到HED颜色空间图像；
[0013]S600、将HED颜色空间图像按一定的比例数量划分训练集、验证集、测试集，分别用
于后续对模型进行训练、验证、评估，并对所有图像进行缩放；对训练集图像进行在线数据增强；
[0014]S700、对增强后的图像进行归一化以及标准化；
[0015]S800、使用在ImageNet数据集上预训练好的swin
‑
transformer模型，将最后全连接层修改为单层MLP(Multilayer Perception)层，其中MLP层输出神经元个数为2，并将S700归一化后的训练集图像送入到模型中进行微调训练；
[0016]S900、训练过程中每隔固定的迭代次数使用验证集进行验证，选取迭代过程中在验证集上分类正确率最高的模型，之后使用测试集进行验证，从而得到最终的模型分类正确率。
[0017]在线图像颜色反卷积方法步骤如下：
[0018]T100、获取经过苏木精
‑
伊红染色的标准的RGB三通道组织病理学图像数据集；
[0019]T200、将数据集中图像按一定的比例数量划分训练集、验证集、测试集，分别用于后续对模型进行训练、验证、评估，并对所有图像进行缩放，缩放成大小为w
×
w的图像，之后对训练集图像进行在线数据增强操作；
[0020]T300、对增强后的图像进行与步骤S400相同的归一化操作，以及与步骤S700相同的标准化操作；
[0021]T400、使用在ImageNet数据集上预训练好的swin
‑
transformer自注意力模型，修改最后的全连接层，并在模型头部加入一个输入取反操作，即对每一个输入的数值x，都输出
‑
x。之后再加入一层卷积层，记为conv1，其中卷积核大小为1
×
1，输入通道数与输出通道数都为3，不使用偏置参数，修改后的模型记为de
‑
swt模型；
[0022]T500、使用在ImageNet数据集上预训练好的swin
‑
transformer模型，将模型最后的全连接层改为单一的MLP层，MLP层输出神经元个数为2，并在模型头部加入一个输入取反操作，即对每一个输入的数值x，都输出
‑
x，之后再加入一层卷积层，记为conv1，其中卷积核大小为1
×
1，输入通道数与输出通道数都为3，不使用偏置参数，修改后的模型记为de
‑
swt模型；
[0023]T600、将颜色反卷积标准矩阵按列拆分成3个3
×
1的矩阵，将其加载到de
‑
swt模型的conv1层的权重参数中；
[0024]T700、将步骤T300中标准化后的训练集输入到de
‑
swt模型中，使用特定的学习率lr进行微调训练，为了防止de
‑
swt模型在反向传播到conv1层时梯度消失，设置conv1层的学习率为p
×
lr，其中p为学习率放大倍数，利用p来增大模型在conv1层的学习率，使得conv1层的参数随着训练集的迭代而改变；
[0025]T800、在步骤T600的训练过程中，每隔一定的迭代次数间隔使用验证集数据对模型进行验证，选取在验证集上效果较优的模型，并提取模型conv1层的参数，按列组合为新的图像颜色反卷积矩阵，记为N；
[0026]T900、将颜色反卷积矩阵N的每一列数值加载到de
‑
swt模型的conv1层参数中，并将在ImageNet数据集上预训练好的swin
‑
transformer参数重新加载到de
‑
swt模型其余相应的层中，将p设置为1，使得conv1层中的学习率重新设置为lr；
[0027]T1000、使用训练集对步骤T800得到的de
‑
swt模型重新进行训练，每隔一定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于颜色反卷积与自注意力模型的组织病理学图像分类方法，其特征在于：其包括采用离线图像颜色反卷积方法或在线图像颜色反卷积方法；离线图像颜色反卷积方法步骤如下：S100、获取经过苏木精
‑
伊红染色的组织病理学图像数据集，所述数据集中的组织病理学图像为标准的RGB三通道彩色图像，其像素构成矩阵H
t
；S200、将矩阵H
t
中像素值为0的像素点值置为1
×
10
‑7，之后对每个像素值进行标准化，构成新的矩阵H
t
'；S300、将新的矩阵H
t
'与颜色反卷积标准矩阵相乘，得到矩阵D
t
，矩阵D
t
即为像素矩阵H
t
颜色反卷积后的矩阵；S400、对矩阵D
t
进行归一化，得到矩阵D
t
'，矩阵D
t
'的所有元素都在区间[0,1]内；S500、将矩阵D
t
'中的每一个元素乘以255并保留整数，得到HED颜色空间图像；S600、将HED颜色空间图像按一定的比例数量划分训练集、验证集、测试集，分别用于后续对模型进行训练、验证、评估，并对所有图像进行缩放；对训练集图像进行在线数据增强；S700、对增强后的图像进行归一化以及标准化；S800、使用在ImageNet数据集上预训练好的swin
‑
transformer模型，将最后全连接层修改为单层MLP层，其中MLP层输出神经元个数为2，并将S700归一化后的训练集图像送入到模型中进行微调训练；S900、训练过程中每隔固定的迭代次数使用验证集进行验证，选取迭代过程中在验证集上分类正确率最高的模型，之后使用测试集进行验证，从而得到最终的模型分类正确率。在线图像颜色反卷积方法步骤如下：T100、获取经过苏木精
‑
伊红染色的标准的RGB三通道组织病理学图像数据集；T200、将数据集中图像按一定的比例数量划分训练集、验证集、测试集，分别用于后续对模型进行训练、验证、评估，并对所有图像进行缩放，缩放成大小为w
×
w的图像，之后对训练集图像进行在线数据增强操作；T300、对增强后的图像进行与步骤S400相同的归一化操作，以及与步骤S700相同的标准化操作；T400、使用在ImageNet数据集上预训练好的swin
‑
transformer自注意力模型，修改最后的全连接层，并在模型头部加入一个输入取反操作，即对每一个输入的数值x，都输出
‑
x。之后再加入一层卷积层，记为conv1，其中卷积核大小为1
×
1，输入通道数与输出通道数都为3，不使用偏置参数，修改后的模型记为de
‑
swt模型；T500、使用在ImageNet数据集上预训练好的swin
‑
transformer模型，将模型最后的全连接层改为单一的MLP层，MLP层输出神经元个数为2，并在模型头部加入一个输入取反操作，即对每一个输入的数值x，都输出
‑
x，之后再加入一层卷积层，记为conv1，其中卷积核大小为1
×
1，输入通道数与输出通道数都为3，不使用偏置参数，修改后的模型记为de
‑
swt模型；T600、将颜色反卷积标准矩阵按列拆分成3个3
×
1的矩阵，将其加载到de
‑
swt模型的conv1层的权重参数中；T700、将步骤T300中标准化后的训练集输入到de
‑
swt模型中，使用特定的学习率lr进行微调训练，为了防止de
‑
swt模型在反向传播到conv1层时梯度消失，设置conv1层的学习
率为p
×

【专利技术属性】
技术研发人员：何柱，林铭炜，钟美荟，姚志强，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：