一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法技术

本发明专利技术公开了一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法，包括：收集宫颈癌图像数据集，得到用于半监督网络的训练数据集和测试数据集；对训练数据集中标注和未标注的宫颈癌图像进行数据增强，包括对宫颈癌图像进行平移变换、旋转变换、缩放变换；搭建主干网络，包括AlexNet和混合注意力机制；搭建虚拟对抗训练网络，采用给定的输入并且增加扰动，模型给出不同的输出；模型因扰动对灵敏度进行处罚；宫颈癌图像通过虚拟对抗训练网络得到相关的特征并送入分类器进行分类，最终对测试的宫颈癌图像输出所属类别。本发明专利技术可充分利用已标注数据以及未标注数据，通过模型进行分类，从而辅助医生更好的诊断和治疗。而辅助医生更好的诊断和治疗。而辅助医生更好的诊断和治疗。

【技术实现步骤摘要】
一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法


[0001]本专利技术属于计算机视觉
，涉及基于注意力机制和基于虚拟对抗训练网络(Virtual Adversarial Training Network，VATN)利用深度学习方法对宫颈癌图像进行分类，尤其是一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法。

技术介绍

[0002]2018年所公开的报告披露，超过50万宫颈癌新病例和超过30万人死亡。通常，这种疾病是由十几种人类乳头瘤病毒(HPV)的一种或多种持续感染引起的。早期发现HPV诱导的癌前病变(癌症的前兆)，并在必要时提供适当的治疗，可以减少痛苦和过早死亡。然而在低收入和中等收入国家(LMIC)，临床和妇科服务和专业知识严重缺乏，也缺乏足够的机会获得有效的低成本子宫颈筛查项目。这种短缺与已报告的死亡率最高的地区高度相关。
[0003]宫颈癌图像是医学成像的现代医疗实践的重要组成部分。目前，利用先进的人工智能技术，如深度学习方法，实现自动医学图像分析已成为该领域的重要趋势之一。李等人融合全局上下文信息和注意力机制的卷积神经网络对宫颈细胞进行分类(Li J,Dou Q,Yang H,et al.Cervical cell multi
‑
classification algorithm using global context information and attention mechanism[J].Tissue and Cell,2022,74:101677.)。Hyeon等人提出了一种自动分类模型，采用预训练卷积神经网络进行特征提取，并比较了逻辑回归、随机森林、集成学习和支持向量机四种分类器的分类结果(Hyeon J,Choi H J,Lee B D,et al.Diagnosing cervical cell images using pre
‑
trained convolutional neural network as feature extractor[C]//2017IEEE International Conference on Big Data and Smart Computing(BigComp).IEEE,2017:390
‑
393.)。然而，注释医疗数据是一项面向专家、昂贵和耗时的任务。在大多数情况下，获取真相标签的要求很高，这需要有经验丰富的临床医生结合多模式的临床记录，并咨询其他专家。与有限的注释图像相比，临床中心存储了大量的原始宫颈癌图像，这激发了超越传统监督学习的方法，通过合并更广泛可用的未标记数据。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺陷，提供一种注意力机制的半监督的虚拟对抗训练网络的宫颈癌图像分类方法，利用已标注数据以及未标注数据，通过模型进行分类，辅助医生更好的诊断和治疗。
[0005]为解决上述技术难点，本专利技术采用以下技术方案。
[0006]一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法，所述的虚拟对抗训练网络包含一个主干网络和虚拟对抗训练模块，所述方法包括以下步骤：
[0007]步骤1、收集宫颈癌图像的数据集，包含以下宫颈癌图像：高核质比形态符合HSIL标准的细胞、HSIL或SCC中的异常角化细胞、HSIL或SCC中的异常裸核、挖空细胞、形态符合LSIL标准的非挖空细胞、异常腺细胞、异常化生细胞、正常裸核、正常中表层细胞、病原微生
物细胞、正常副基底层细胞、正常颈管细胞、正常子宫内膜腺细胞、典型鳞状上皮化生细胞、典型角化不全细胞，并由相关专家对宫颈癌图像进行标注，并选取了30％的宫颈癌的图像将标注隐去或选取未标注的宫颈癌图像，最终得到用于半监督网络的训练数据集和测试数据集；
[0008]步骤2、对训练数据集中标注和未标注的宫颈癌图像进行数据增强，包括对宫颈癌图像进行平移变换如公式(1)和旋转变换如公式(2)，缩放变换如公式(3)，三种变换操作以增加数据集的大小：
[0009][0010][0011][0012]其中x,y,w为像素点，α为旋转角度；
[0013]步骤3、搭建主干网络，其结构包括AlexNet和混合注意力机制，即：在AlexNet的基础上添加注意力机制对宫颈癌图像特征进行校正，校正后保留了有价值的宫颈癌图像特征，其中注意力机制操作,包括以下操作：squeeze类全局平均池化、excitation两次全连接；
[0014]步骤4、搭建虚拟对抗训练网络：采用成对的数据点，这些数据点在输入空间中非常接近，但在模型输出空间中非常遥远；然后训练模型以使它们的输出彼此接近；为此，采用给定的输入并且增加扰动，模型给出不同的输出；然后，模型因扰动对灵敏度进行处罚；由此构建一个完整的虚拟对抗训练网络；
[0015]步骤5、宫颈癌图像通过虚拟对抗训练网络得到相关的特征，再将特征送入分类器中进行分类，最终对测试的宫颈癌图像输出所属类别。
[0016]具体地，在步骤3中所述的squeeze类全局平均池化，包括：
[0017]将一个c通道，hxw的特征图，压成c通道1x1，结果表示全局信息：
[0018][0019]其中H,W为分别图像的长，宽，u
c
(i,j)为图像,z
c
表示全局信息。
[0020]具体地，在步骤3中所述的excitation两次全连接，包括：
[0021]对squeeze全局池化后得到的结果即一个C维向量，进行全连接，得到C/r维的向量并进行Reulu激活；并在Reulu激活上的C/r维向量进行一次全连接，将C/r维的向量变回C维向量，再进行sigmoid激活使得数值位于0
‑
1之间，得到权重矩阵：
[0022]s＝F
ex
(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0023]W1,W2为权重矩阵，σ为sigmoid激活函数。
[0024]具体地，所述步骤4中，包括：
[0025]步骤4.1.用表示一个已标记的数据集，用表示一个未标记的数据集；设x
*
表示x
l
或x
ul
；目标函数为：
[0026]L
qadv
:＝D[q(y∣x
*
),p(y∣x
*
+r
qadv
,θ)][0027]wherer
qadv
:＝argmax
r:‖r‖≤∈
D[q(y∣x
*
),p(y∣x
*
+r,θ)]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0028]其中，D[p,q]是一个非负度量函数，度量分布p、q之间的距离；称r
adv
是对抗的扰动，p(y∣x,θ)近似代表。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法，其特征在于，所述的虚拟对抗训练网络包含一个主干网络和虚拟对抗训练模块，所述方法包括以下步骤：步骤1、收集宫颈癌图像的数据集，包含以下宫颈癌图像：高核质比形态符合HSIL标准的细胞、HSIL或SCC中的异常角化细胞、HSIL或SCC中的异常裸核、挖空细胞、形态符合LSIL标准的非挖空细胞、异常腺细胞、异常化生细胞、正常裸核、正常中表层细胞、病原微生物细胞、正常副基底层细胞、正常颈管细胞、正常子宫内膜腺细胞、典型鳞状上皮化生细胞、典型角化不全细胞，并由相关专家对宫颈癌图像进行标注，并选取了30％的宫颈癌的图像将标注隐去或选取未标注的宫颈癌图像，最终得到用于半监督网络的训练数据集和测试数据集；步骤2、对训练数据集中标注和未标注的宫颈癌图像进行数据增强，包括对宫颈癌图像进行平移变换如公式(1)和旋转变换如公式(2)，缩放变换如公式(3)，以增加数据集的大小：小：小：其中x,y,w为像素点，α为旋转角度；步骤3、搭建主干网络，其结构包括AlexNet和混合注意力机制，即：在AlexNet的基础上添加注意力机制对宫颈癌图像特征进行校正，校正后保留了有价值的宫颈癌图像特征，其中注意力机制操作,包括以下操作：squeeze类全局平均池化、excitation两次全连接；步骤4、搭建虚拟对抗训练网络：采用成对的数据点，这些数据点在输入空间中非常接近，但在模型输出空间中非常遥远；然后训练模型以使它们的输出彼此接近；为此，采用给定的输入并且增加扰动，模型给出不同的输出；然后，模型因扰动对灵敏度进行处罚；由此构建一个完整的虚拟对抗训练网络；步骤5、宫颈癌图像通过虚拟对抗训练网络得到相关的特征，再将特征送入分类器中进行分类，最终对测试的宫颈癌图像输出所属类别。2.根据权利要求1所述的一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法，其特征在于，在步骤3中所述的squeeze类全局平均池化，包括：将一个c通道，hxw的特征图，压成c通道1x1，结果表示全局信息：其中H,W为分别图像的长，宽，u
c
(i,j)为图像,z
c
表示全局信息。
3.根据权利要求1所述的一种基于虚拟对抗训练网络的半监督宫颈癌图像分类方法，其特征在于，在步骤3中所述的excitation两次全连接，包括：对squeeze全局池化后得到的结果即一个C维向量，进行全连接，得到C/r维的向量并进行Reulu激活；并在Reulu激活上的C/r维向量进行一次全连接，将C/r维的向量变回C维向量，再进行sigmoid激活使得数值位于0
‑
1之间，得到权重矩阵：s＝F
ex
(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：胡鹤轩，杨天金，黄倩，胡强，巫义锐，张晔，狄峰，胡震云，周晓军，沈勤，吕京澴，
申请(专利权)人：玖壹叁陆零医学科技南京有限公司，
类型：发明
国别省市：