【技术实现步骤摘要】
本专利技术涉及宫颈细胞目标检测领域，特别涉及一种基于transformer的轻量化跨图像信息交互宫颈细胞目标检测方法。
技术介绍
1、宫颈癌是女性生殖道部分发病率最高的恶性肿瘤，给不计其数的女性造成了极大地痛苦。在我国，宫颈癌的发病率和死亡率均逐年升高，而且出现年轻化趋势。但是如果能在早期筛查出来，及时治疗，治愈率几乎可以达到100％。因此，提升宫颈癌细胞的筛查和分级效率是宫颈癌防控体系建设的重中之重。手工筛查对医生的经验要求较高，而且效率低下。很多医生在长期阅片后精神疲劳，会出现漏诊和误诊的情况。
2、近年来，计算机技术与人工智能在医学领域取得了显著进展。许多研究者探索了使用深度学习的方法，以实现宫颈癌的自动化或半自动化诊断。这不仅能显著提高医生的工作效率，还能对癌症细胞的相关数据进行统一量化，使宫颈癌筛查更容易推广，确保更多患者能够及时获得诊断和治疗。宫颈细胞筛查的核心步骤是从宫颈细胞样本数字图像中检测异常细胞。目前transformer网络架构已经广泛的应用于各种目标检测任务中，但在宫颈细胞目标检测任务中仍面临挑战。宫颈细胞检测的单张图像尺寸巨大，图像的长与宽高达数万像素，在传统transformer网络中，随着特征数量的增加，计算量会呈二次方增长，这给目标检测带来了负担。虽然许多研究者尝试限制transformer网络的信息交互范围，将网络轻量化使之可以用于大尺寸图像的目标检测任务。但是这种信息交互范围的限制使得每个像素的特征只能与周围像素的特征进行信息交互，这限制了网络对图像的整体信息分析能力。在宫颈细胞的
技术实现思路
1、本方法旨在解决宫颈异常细胞检测中的计算负担大、细胞对比难以学习，以及单张图像对比细胞不足的问题。提出了一种基于transformer的轻量化跨图像信息交互宫颈细胞目标检测方法。
2、上述专利技术目的主要是通过以下技术方案实现的：
3、s1、准备宫颈癌细胞目标检测数据，并进行数据增强；
4、首先，收集宫颈癌阳性样本，使用数字扫描仪获取样本的数字全景图像；再使用asap软件在数字全景图像上标注正异常细胞的5种类别以及位置，细胞的5种类别分别为正常细胞、不倾向于高级别病变的非典型鳞状细胞、低度鳞状上皮内病变细胞、倾向于高级别病变的非典型鳞状细胞、高度鳞状上皮内病变细胞；然后，将全景图像切分成长和宽为1024的瓦片图；接着，对瓦片图以及细胞图像进行翻转、旋转以及颜色变换的数据增强；最后按照8:1:1的比例将上述数据集分别划分为训练集、测试集以及验证集。
5、s2、构建基于transformer的轻量化跨图像信息交互宫颈细胞目标检测网络，该网络包含同时获取多层图像特征与初始全局特征的特征提取机制、轻量化全局交互的多层多尺度可变性注意力编码器、跨图像全局特征融合层以及利用跨图像全局特征优化解码器的目标检测机制；
6、s2-1、构建同时获取多层图像特征与初始全局特征的特征提取机制；
7、特征提取机制是模型的第一个模块，输入图像后会输出图像的多层特征以及初始全局特征，特征提取机制包含图像特征提取器和维度调整器；其中图像特征提取器使用resnet50网络，图像输入该网络后选择网络最后的三层特征图作为后续输入的多层图像特征；为适应编解码器的运算矩阵，在图像特征提取器与编码器之间引入三个单通道调整卷积网络和一个三层的特征提取卷积网络作为维度调整器；利用不同大小的通道调整卷积层，调整特征图的通道数；同时，特征图的最小层在调整维度后将输入到特征提取卷积网络，每层卷积都使特征图的长宽减半；第一层卷积神经网络输出的特征图将加入到多层图像特征中，而第三层神经网络的特征图在展平后作为初始全局特征；
8、s2-2、构建轻量化全局交互的多层多尺度可变性注意力编码器；
9、模型所使用的编码器为轻量化全局交互的多层多尺度可变性注意力编码器，该编码器以初始全局特征与多层图像特征作为输入，提取全局信息及各个像素周围的局部信息后将全局特征及多层图像特征输出；该编码器为transformer编码器结构，包含注意力计算层与前向传播层，其中注意力计算层使用deformable detr网络的可变性多尺度注意力机制让每个像素的特征与周围像素的特征进行局部信息交互，同时使用基于transformer的轻量化全局交互编码机制提取全局信息；基于transformer的轻量化全局交互编码机制是一种从图像特征中提取全局信息的注意力计算机制；它首先使用全局特征矩阵作与图像特征矩阵进行多头自注意力计算，计算出全局特征更新矩阵ga，计算公式如下：
10、
11、其中m是注意力头的数量，wm,q是第m个注意力头的注意力查询矩阵，wm,k是第m个注意力头的键矩阵，wm,v是第m个注意力头的值矩阵，[,]是将矩阵拼接的操作，f是图像特征矩阵，g是全局特征矩阵，wm是第m个注意力头的映射矩阵，r是向量长度，softmax是归一化函数；
12、为了缓解梯度消失以及梯度爆炸的问题，在计算出全局特征更新矩阵后，使用残差连接机制将更新前的全局特征与全局特征更新矩阵相加作为输出，计算公式如下：
13、gl＝gal-1+gl-1 (2)
14、其中gl是第l层编码器中的全局特征矩阵，gal-1是第l-1层的全局特征更新矩阵，gl-1是第l-1层的全局特征矩阵；
15、最后，经过特征提取后的全局特征以及多层图像特征会输入同一个前向传播网络；
16、s2-3、构建跨图像全局特征融合层；
17、可学习的跨图像全局特征融合层是编码器与解码器之间的中间结构，能够融合并存储同一样本中不同图像的全局特征；编码器提取的全局特征会传递给跨本文档来自技高网...
【技术保护点】
1.一种基于Transformer的轻量化跨图像信息交互宫颈细胞目标检测方法，其特征在于，包含以下步骤：
2.如权利要求1所述的一种基于Transformer的轻量化跨图像信息交互宫颈细胞目标检测方法，其特征在于，步骤S1中所述的准备宫颈细胞分类数据，并进行数据增强，具体步骤如下：
3.如权利要求1所述的一种基于Transformer的轻量化跨图像信息交互宫颈细胞目标检测方法，其特征在于，步骤S2中所述的构建基于Transformer的轻量化跨图像信息交互宫颈细胞目标检测网络，该网络包含同时获取多层图像特征与初始全局特征的特征提取机制、轻量化全局交互的多层多尺度可变性注意力编码器、跨图像全局特征融合层以及利用跨图像全局特征优化解码器的目标检测机制如下：
4.如权利要求1所述的一种基于Transformer的轻量化跨图像信息交互宫颈细胞目标检测方法，其特征在于，步骤S3通过两阶段的方式训练基于Transformer的轻量化跨图像信息交互宫颈细胞目标检测模型，第一阶段为全局特征提取能力训练，第二阶段为跨图像全局特征融合训练如下：
【技术特征摘要】
1.一种基于transformer的轻量化跨图像信息交互宫颈细胞目标检测方法，其特征在于，包含以下步骤：
2.如权利要求1所述的一种基于transformer的轻量化跨图像信息交互宫颈细胞目标检测方法，其特征在于，步骤s1中所述的准备宫颈细胞分类数据，并进行数据增强，具体步骤如下：
3.如权利要求1所述的一种基于transformer的轻量化跨图像信息交互宫颈细胞目标检测方法，其特征在于，步骤s2中所述的构建基于transformer的轻量化跨图像信息交互宫颈...
【专利技术属性】
技术研发人员：丁博，石峥，周雪锋，王艳杰，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。