基于视觉转换器和图卷积网络的宫颈细胞图像分类方法技术

本发明专利技术公开了一种基于视觉转换器和图卷积网络的宫颈细胞图像分类方法，其步骤包括：1、获取宫颈液基细胞图像数据集并进行预处理；2、对于视觉转换器分支，输入图像进行分块，再利用位置编码和视觉转换器进行特征编码，挖掘图像内部的长距离依赖关系；3、对于图卷积网络分支，输入图像进行超像素分割，将每个超像素对应的卷积神经网络特征进行池化处理并作为图结构中的结点，利用图卷积网络对细胞内部图结构进行建模，感知细胞内部的空间拓扑关系；4、融合两个分支产生的特征形成宫颈细胞的最终特征表示并用于分类。本发明专利技术通过对宫颈液基细胞结构内部长距离依赖关系以及空间拓扑结构信息进行提取，完成对宫颈细胞的表征提取及分类。分类。分类。

【技术实现步骤摘要】
基于视觉转换器和图卷积网络的宫颈细胞图像分类方法


[0001]本专利技术涉及计算机视觉
，特别涉及一种基于视觉转换器和图卷积神经网络的宫颈细胞图像分类方法。

技术介绍

[0002]宫颈细胞分类作为妇产科宫颈病变的初筛手段已被广泛地应用于临床工作中。在实际诊疗过程中，病理医生需要在显微镜下用肉眼检查数以万计的细胞。而每位病理医生每天需要处理大量病患的标本，常常会产生阅片疲劳，误诊现象时有发生。因此，需要一种高效且定量的宫颈细胞诊断方法，减轻病理医生的阅片负担，同时提高宫颈细胞识别准确率。目前，针对宫颈细胞图像分类的算法主要以基于传统特征分类算法以及基于深度学习的监督学习分类算法两类为主。
[0003]传统的分类方法一般利用手工设计的特征对图像特征进行建模，通过训练分类器将不同类别的特征进行区分。常用的手工视觉特征包括颜色、纹理、边缘等低层特征，难以描述图像潜在的高层语义信息。然而，病理图像结构复杂，类型多变的特点导致手工提取特征无法对图像特征进行较好的建模，使得分类效果不尽人意。
[0004]近年来，深度学习模型在计算机视觉各个领域中取得了显著的效果，一些研究人员已经将卷积神经网络应用于宫颈细胞分类任务中，如残差网络(ResNet)、密集卷积网络(Densenet)，但它们仅仅利用神经网络提取单张图片的全局特征，忽略了宫颈细胞的局部特征，从而难以较好地解决细胞类内差异大和类间相似性高的问题。

技术实现思路

[0005]本专利技术为克服现有技术的不足之处，提出一种基于视觉转换器和图卷积网络的宫颈细胞图像分类方法，旨在解决由于病理图像结构复杂、类型多变，特征信息丰富，导致宫颈细胞图像分类困难的问题，通过构建基于视觉转换器以及基于图卷积网络的双分支网络，获取宫颈细胞图像内部远距离依赖关系以及空间拓扑结构信息，从而得到不同类别宫颈细胞相对应的表征，完成宫颈液基细胞图像的准确高效分类。
[0006]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0007]本专利技术一种基于视觉转换器和图卷积网络的宫颈细胞图像分类方法的特点包括如下步骤：
[0008]步骤1、对宫颈数字切片图像中的细胞核位置以及细胞核类别进行标注，并按照所标注的细胞核位置进行裁剪，从而得到每个细胞图像及其相应类别，记为其中，表示第i个细胞图像，C、H和W分别表示图像的通道数、高度和宽度，y
i
表示第i个细胞图像X
i
对应的类别；i＝1,2,
…
,N；N表示细胞图像的数量；
[0009]步骤2、构建由L个编码器构成的视觉转换器ViT作为第一个分支，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
[0010]步骤2.1、对第i个细胞图像X
i
进行分块处理，得到包含m个图像块的序列其中，表示第i个细胞图像X
i
的第j个图像块；p
×
p表示每个图像块的维度，且m＝H
×
W/p2；
[0011]步骤2.2、设置一个可学习的分类标记x
class
，并利用式(1)得到m个图像块和分类标记x
class
的D维嵌入表示z0，并作为第1个编码器的输入；
[0012][0013]式(1)中，E
pos
表示m个图像块和分类标记x
class
在第i个细胞图像X
i
中的空间位置；E表示所设置的嵌入矩阵；
[0014]步骤2.3、利用式(2)得到m个图像块和分类标记x
class
在第l个编码器的多头注意力机制层的输出z
l
′
：
[0015]z
l
′
＝MSA(LN(z
l
‑1))+z
l
‑1,l＝1,
…
,L
ꢀꢀꢀ
(2)
[0016]式(2)中，LN()表示归一化层的处理；z
l
‑1表示第l
‑
1个编码器的输出；
[0017]步骤2.4、利用式(3)得到第l个编码器的多层感知器的输出z
l
，从而得到最后一个编码器的输出z
L
：
[0018]z
l
＝MLP(LN(z
′
l
))+z
′
l
,l＝1,
…
,L
ꢀꢀꢀ
(3)
[0019]步骤2.5、对包含m+1个D维特征的输出z
L
求均值，从而得到第i个细胞图像X
i
的ViT特征表示
[0020]步骤3、构建图卷积网络作为第二个分支；
[0021]步骤3.1、利用SLIC算法对第i个细胞图像X
i
进行过分割，得到第i个细胞图像X
i
的超像素集合；
[0022]步骤3.2、使用预训练的残差网络ResNet提取第i个细胞图像X
i
的CNN特征图；
[0023]步骤3.3、根据超像素集合在CNN特征图上的位置，利用最大池化方式对每个超像素所在的CNN特征图中的CNN特征进行处理，从而得到每个超像素所对应的CNN特征向量表示；
[0024]步骤3.4、将每个超像素所对应的CNN特征向量表示分别作为图结构的结点，从而构成结点集合其中，S表示超像素的数目，t为每个超像素对应的CNN特征的维数；
[0025]步骤3.5、利用式(4)构造邻接矩阵
[0026][0027]式(4)中，B
α
表示第α个超像素，B
β
表示第β个超像素，A
αβ
表示邻接矩阵A中第α个超像素B
α
和第β个超像素B
β
之间的空间近邻关系；
[0028]步骤3.6、根据图卷积网络的分层传播规则，利用式(5)更新结点的关系感知表示：
[0029][0030]式(5)中，是第q层可训练的权重，σ(
·
)是激活函数；是第q层结点的特征，d
q
是第q层结点特征的维数；表示第q+1层结点的特征，且
表示第q+1层中第s个结点输出的特征，当q＝0时，令H
(0)
＝B；并有：
[0031][0032]式(6)中，D表示对角度矩阵，且D
ss
表示对角度矩阵D中第s行第s列的元素，A
us
表示邻接矩阵A中第u行第s列的元素；I表示单位矩阵；
[0033]步骤3.7、利用式(7)得到图卷积网络中最后第Q层的结点输出特征所聚合得到的第i个细胞图像X
i
的图卷积特征表示z
g
：
[0034][0035]式(7)中，concat(
·
)代表特征向量拼接操作，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉转换器和图卷积网络的宫颈细胞图像分类方法，其特征包括如下步骤：步骤1、对宫颈数字切片图像中的细胞核位置以及细胞核类别进行标注，并按照所标注的细胞核位置进行裁剪，从而得到每个细胞图像及其相应类别，记为其中，表示第i个细胞图像，C、H和W分别表示图像的通道数、高度和宽度，y
i
表示第i个细胞图像X
i
对应的类别；i＝1,2,
…
,N；N表示细胞图像的数量；步骤2、构建由L个编码器构成的视觉转换器ViT作为第一个分支，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；步骤2.1、对第i个细胞图像X
i
进行分块处理，得到包含m个图像块的序列其中，表示第i个细胞图像X
i
的第j个图像块；p
×
p表示每个图像块的维度，且m＝H
×
W/p2；步骤2.2、设置一个可学习的分类标记x
class
，并利用式(1)得到m个图像块和分类标记x
class
的D维嵌入表示z0，并作为第1个编码器的输入；式(1)中，E
pos
表示m个图像块和分类标记x
class
在第i个细胞图像X
i
中的空间位置；E表示所设置的嵌入矩阵；步骤2.3、利用式(2)得到m个图像块和分类标记x
class
在第l个编码器的多头注意力机制层的输出z
′
l
：z
′
l
＝MSA(LN(z
l
‑1))+z
l
‑1,l＝1,
…
,L
ꢀꢀꢀꢀ
(2)式(2)中，LN()表示归一化层的处理；z
l
‑1表示第l
‑
1个编码器的输出；步骤2.4、利用式(3)得到第l个编码器的多层感知器的输出z
l
，从而得到最后一个编码器的输出z
L
：z
l
＝MLP(LN(z
′
l
))+z
′
l
,l＝1,
…
,L
ꢀꢀꢀꢀ
(3)步骤2.5、对包含m+1个D维特征的输出z
L
求均值，从而得到第i个细胞图像X
i
的ViT特征表示步骤3、构建图卷积网络作为第二个分支；步骤3.1、利用SLIC算法对第i个细胞图像X

【专利技术属性】
技术研发人员：史骏，唐昆铭，祝新宇，孙宇，李俊，郑钰山，姜志国，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：