基于多注意力融合和高精度分割网络的病理细胞分类方法技术

本发明专利技术公开了一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法，包括：病理细胞图像的收集与预处理；构建多注意力融合模块，包括构造压缩激励模块和空间注意力模块；构建高精度分割网络，通过高精度分割网络在病理细胞图像上生成感兴趣区域；搭建基于多注意力融合和高精度分割网络的深度网络模型，利用预处理过的病理细胞图像对模型进行训练，得到病理细胞分类在正确率最高的网络模型；将需检测的病理细胞图像送入优化的网络模型中，获得对病理细胞样本的分类结果。本发明专利技术使模型能够学习到细胞图像中的通道权重和空间权重，可利用高精度分割网络提取图像中病理细胞区域的特征进行分类，从而有效减小计算量及噪声影响。影响。影响。

【技术实现步骤摘要】
基于多注意力融合和高精度分割网络的病理细胞分类方法


[0001]本专利技术属于数字图像处理与医学交叉
，具体涉及一种基于多注意力融合和高精度分割网络的病理细胞分类方法。

技术介绍

[0002]随着科学技术的发展，癌症早已不再是不治之症，早期的癌症治愈率在90％以上，而晚期的癌症治愈率仅有10％左右。因此，癌症的早期筛查对癌症的防治非常重要。巴氏涂片检测是筛查癌症的一种常见有效的方式。专业医师在显微镜下观察巴氏涂片中的细胞形态，对每个细胞进行分类并判断细胞样本是否发生癌变。依靠人力进行病理细胞分类需要的成本较高，且分类结果往往带有主观性偏差，影响筛查准确率，因此研究和开发对病理细胞医学图像自动分类的技术具有重大的意义。
[0003]目前已有一些病理细胞医学图像的分类方法，包括基于上下文建模的病理细胞医学图像的分类方法、基于图卷积神经网络的病理细胞医学图像的分类方法等等。中国专利申请(CN112200253A)“基于senet的宫颈细胞图像分类方法”，利用SENet实现对宫颈病理细胞医学图像的分类。该方法主要存在以下缺点：(1)SENet使用了通道注意力机制，仅计算了通道权重，没有计算空间权重，因此该方法中的网络模型对病理细胞医学图像的重点区域关注度不够，导致网络模型不能充分提取细胞特征，对细胞分类的正确率较差；(2)该方法将网络模型从整张细胞图像提取到的全局特征送入分类器进行分类，不仅计算量较大，而且全局特征往往包含一些不属于细胞的噪声，影响模型分类的正确率。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺陷，提供一种基于多注意力融合和高精度分割网络的病理细胞分类方法，采用空间注意力与通道注意力的融合使得模型能够学习到细胞图像中的通道权重和空间权重，同时，利用高精度分割网络提取图像中病理细胞区域的特征进行分类，可有效减小计算量及噪声的影响。
[0005]为解决上述技术问题，本专利技术采用以下技术方案。
[0006]一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法，包括以下步骤：
[0007]步骤1、病理细胞医学图像的收集与预处理；
[0008]步骤2、构建多注意力融合模块，包括构造压缩激励模块，使得网络模型能够学习不同通道之间的关系；构造空间注意力模块，帮助网络模型识别细胞图像中的关键特征区域；
[0009]步骤3、构建高精度分割网络，通过高精度分割网络在病理细胞医学图像上生成感兴趣区域；
[0010]步骤4、搭建基于多注意力融合和高精度分割网络的深度网络模型，深度网络模型中包括多注意力融合模块和高精度分割网络模块，利用预处理过的病理细胞医学图像对深
度网络模型进行训练，得到病理细胞分类在正确率最高的深度网络模型；
[0011]步骤5、将需要检测的病理细胞医学图像送入经过步骤4优化的深度网络模型中，获得对病理细胞样本的分类结果。
[0012]具体地，所述的步骤1过程包括：
[0013]步骤1.1.收集用病理细胞制成的巴氏涂片在显微镜视野下的图像，对由专业医师对每个病理细胞医学图像中的病理细胞进行以下分类：高核质比形态符合HSIL标准的细胞、HSIL或SCC中的异常角化细胞、HSIL或SCC中的异常裸核、挖空细胞、形态符合LSIL标准的非挖空细胞、异常腺细胞、异常化生细胞、正常裸核、正常中表层细胞、病原微生物细胞、正常副基底层细胞、典型鳞状上皮化生、典型角化；
[0014]步骤1.2.对收集到的病理细胞医学图像进行图像增强，包括随机角度旋转、翻转、裁剪、位移及按比例缩放等，使得到的病理细胞医学图像数据集更加丰富；
[0015]步骤1.3.使用labelme标注工具对每张病理细胞医学图像进行标注，包括病理细胞医学图像中的病理细胞的分类标签及细胞轮廓坐标。
[0016]具体地，所述的步骤2包括：
[0017]步骤2.1.构造压缩激励模块，包括：
[0018]压缩：对病理细胞医学图像进行全局平均池化，经过压缩操作后，病理细胞医学图像的尺寸由H
×
W
×
C被压缩为1
×1×
C，聚合了跨空间的特征；其中，H表示病理细胞医学图像的高，W表示病理细胞医学图像的宽，C表示病理细胞医学图像的通道数；压缩操作的计算公式为：
[0019][0020]其中u
c
(i,j)表示病理细胞医学图像在(i,j)位置上不同通道的像素值；
[0021]激励：学习病理细胞医学图像的每个通道的权重，其包含两个全连接层，最终输出1
×1×
C的向量；激励操作的计算公式为：
[0022]S＝F
ex
(z,W)＝σ(g(z,w))＝σ(W2δ(W1z))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0023]其中σ表示sigmoid激活函数，δ表示ReLu函数；W1指第一个全连接层的权重参数，W2指的是第二个全连接层的权重参数；
[0024]Scale：将在激励操作中学到的每个通道的权重乘以原始特征，Scale操作的计算公式为：
[0025]u
′
c
(i,j)＝S
×
u
c
(i,j)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0026]其中u
c
是输入到Scale操作公式中的病理细胞医学图像，u
′
c
表示Scale操作公式输出的病理细胞医学图像；
[0027]步骤2.2.构造空间注意力模块：首先，利用全局平均池化的方法来聚合病理细胞医学图像的通道特征，沿通道方向的全局平均池化，其公式：
[0028][0029]其中x(i,j)表示病理细胞医学图像上点(i,j)的特征；
[0030]然后用一个1
×
1的卷积来学习注意力图的权重G，其计算公式：
[0031]u＝F
Conv
＝Mx(i，j)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0032]其中M是由1
×
1卷积学到的权重矩阵；
[0033]最后进行Scale操作，计算公式为：
[0034]u
′
c
(i,j)＝G
×
u
c
(i,j)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)。
[0035]具体地，所述的步骤3包括：
[0036]在病理细胞医学图像上的每个像素点上生成多个矩形锚框，锚框选取3种尺寸及3种不同的长宽比，共计9个锚框；对每个锚框进行分类、偏移量回归任务；其中锚框分类任务使用二元交叉熵损失函数：
[0037]L
cls
(p,y)＝
‑
y log(p)
‑
(1
‑
y)log(1
‑...

【技术保护点】

【技术特征摘要】
1.一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法，其特征在于，包括以下步骤：步骤1、病理细胞医学图像的收集与预处理；步骤2、构建多注意力融合模块，包括构造压缩激励模块，使得网络模型能够学习不同通道之间的关系；构造空间注意力模块，帮助网络模型识别细胞图像中的关键特征区域；步骤3、构建高精度分割网络，通过高精度分割网络在病理细胞医学图像上生成感兴趣区域；步骤4、搭建基于多注意力融合和高精度分割网络的深度网络模型，深度网络模型中包括多注意力融合模块和高精度分割网络模块，利用预处理过的病理细胞医学图像对深度网络模型进行训练，得到病理细胞分类在正确率最高的深度网络模型；步骤5、将需要检测的病理细胞医学图像送入经过步骤4优化的深度网络模型中，获得对病理细胞样本的分类结果。2.根据权利要求1所述的一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法，其特征在于，所述的步骤1过程包括：步骤1.1.收集用病理细胞制成的巴氏涂片在显微镜视野下的图像，对由专业医师对每个病理细胞医学图像中的病理细胞进行以下分类：高核质比形态符合HSIL标准的细胞、HSIL或SCC中的异常角化细胞、HSIL或SCC中的异常裸核、挖空细胞、形态符合LSIL标准的非挖空细胞、异常腺细胞、异常化生细胞、正常裸核、正常中表层细胞、病原微生物细胞、正常副基底层细胞、典型鳞状上皮化生、典型角化；步骤1.2.对收集到的病理细胞医学图像进行图像增强，包括随机角度旋转、翻转、裁剪、位移及按比例缩放等，使得到的病理细胞医学图像数据集更加丰富；步骤1.3.使用labelme标注工具对每张病理细胞医学图像进行标注，包括病理细胞医学图像中的病理细胞的分类标签及细胞轮廓坐标。3.根据权利要求1所述的一种基于多注意力融合机制和高精度分割网络的病理细胞分类方法，其特征在于，所述的步骤2具体为：步骤2.1.构造压缩激励模块，包括：压缩：对病理细胞医学图像进行全局平均池化，经过压缩操作后，病理细胞医学图像的尺寸由H
×
W
×
C被压缩为1
×1×
C，聚合了跨空间的特征；其中，H表示病理细胞医学图像的高，W表示病理细胞医学图像的宽，C表示病理细胞医学图像的通道数；压缩操作的计算公式为：其中u
c
(i，j)表示病理细胞医学图像在(i，j)位置上不同通道的像素值；激励：学习病理细胞医学图像的每个通道的权重，其包含两个全连接层，最终输出1
×1×
C的向量；激励操作的计算公式为：S＝F
ex
(z，W)＝σ(g(z，w))＝σ(W2δ(W1z))
ꢀꢀꢀ
(2)其中σ表示sigmoid激活函数，δ表示ReLu函数；W1指第一个全连接层的权重参数，W2指的是第二个全连接层的权重参数；Scale：将在激励操作中学到的每个通道的权重乘以原始特征，Scale操作的计算公式
为：u
′
c
(i，j)＝S
×
u
c
(i，j)
ꢀꢀꢀ
(3)其中u
c
是输入到Scale操作公式中的病理细胞医学图像，u
′
c
表示Scale操作公式输出的病理细胞医学图像；步骤2.2.构造空间注意力模块：首先，利用全局平均池化的方法来聚合病理细胞医学图像的通道特征，沿通道方向的全局平均池化，其公式：其中x(i，j)表示病理细胞医学图像上点(i，j)的特征；然后用一个1
×
1的卷积来学习注意力图的权重G，其计算公式：G＝F
Conv
＝Mx(i，j)
ꢀꢀꢀ
(5)其中M是由1
×
1卷积学到的权重矩阵；最后进行Scale操作，计算公式为：u

【专利技术属性】
技术研发人员：胡鹤轩，丁秋阳，黄倩，杨天金，胡强，巫义锐，张晔，狄峰，胡震云，周晓军，沈勤，吕京澴，
申请(专利权)人：玖壹叁陆零医学科技南京有限公司，
类型：发明
国别省市：