一种基于改进的YOLOv7和Swin-Unet的异常细胞检测方法技术

本发明专利技术公开了一种基于改进的YOLOv7和Swin

【技术实现步骤摘要】
一种基于改进的YOLOv7和Swin
‑
Unet的异常细胞检测方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于改进的YOLOv7和Swin
‑
Unet的异常细胞检测方法。

技术介绍

[0002]病理细胞学检查指的是通过采取细胞学的标本，比如痰脱落细胞、液基细胞等，经过涂片、病理切片制片技术等方式做成病理细胞学切片，然后通过显微镜观察细胞的种类、类型等情况，对疾病做出诊断。比如乳腺癌、宫颈癌等疾病的筛查，多是应用病理细胞学检查而进行诊断的，其中宫颈癌作为世界范围最常见的妇科恶性肿瘤，严重威胁女性的生命。2016年世界卫生组织报道：每年全球有超过50万新发的宫颈癌病例，作为发展中国家的中国约占其中的28％，癌症的早期治疗效果好、费用低、难度小，但是无明显症状且不易发现，中国以细胞学(包括传统巴氏涂片)作为宫颈癌等常见女性癌症的主要筛查手段，可是总体筛查水平不高，主要是由于国内有经验的细胞病理学医师及辅助人员稀缺，因此利用计算机对病理细胞进行辅助检测是十分有必要和有价值的。
[0003]现有技术的检测方法，主要是基于深度学习方法，包括基于目标检测的方法以及基于实例分割的方法。中国专利申请(CN202111048528.2)“一种基于引入注意力机制的异常细胞检测方法”，采用先进的目标检测网络RetinaNet对可疑细胞进行筛选，然后通过利用引入注意力机制的Mean
‑
Teacher网络进行分类。该方法有效地实现了检测过程中的假阳性抑制，并提高了检测精度，但当检测样本噪声增加，重叠细胞团增加时，其表现不佳。主要表现为：(1)对重叠的异常细胞难以检测；(2)样本中包含组织液等非细胞单位时，检测精度明显下降；(3)引入的注意力机制没有充分结合多尺度的信息，检测性能有待提高。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺陷，提供一种基于改进的YOLOv7和Swin
‑
Unet的异常细胞检测方法，对难以检测的重叠异常细胞进行分阶段检测，利用目标检测对大目标性能好与实例分割的高精度的特性可有效检测难检的细胞样本，不易发生漏检与误检现象；在检测头部分采用最先进的动态头注意力机制，充分融合尺度、空间、任务三个维度的注意力，可大大提高检测精度。
[0005]为解决上述技术问题，本专利技术采用以下技术方案。
[0006]一种基于改进的YOLOv7和Swin
‑
Unet的异常细胞检测方法，包括以下步骤：
[0007]步骤1、收集病理细胞学检查中的细胞涂片图像，制作异常细胞检测数据集和异常细胞分割数据集；
[0008]步骤2、搭建改进的YOLOv7模型并进行训练，用于异常细胞与重叠细胞团的检测，以最新的YOLOv7模型为基础，针对多维度特征信息的提取问题进行改进，得到改进的YOLOv7模型结构，包含异常细胞检测数据预处理模块Process、主干网络Backbone、颈部网络Neck和检测网络Head；
[0009]步骤3、搭建一个检测结果筛选模块，对检测网络输出图像中的细胞进行分类，异常细胞图像作为输出，重叠细胞团图像作为分割模型的输入；
[0010]步骤4、搭建Swin
‑
Unet模型并进行训练，用于重叠细胞团图像的分割：以医学领域最常用的Unet模型为基础，针对多尺度下的细胞图像的局部关系与全局关系，引用Swin
‑
Transformer模块进行采样；Swin
‑
Unet模型结构包含编码器Encoder、颈部网络Neck、解码器Decoder；
[0011]步骤5、使用改进的YOLOv7和Swin
‑
Unet模型进行异常细胞检测。
[0012]所述的步骤1过程为：
[0013]1‑
1.收集病理细胞学检查中的细胞涂片图像，包括宫颈细胞图像、乳腺细胞图像，对原始细胞涂片图像进行滑窗裁剪，其中设置裁剪尺寸为640
×
640，滑窗重叠范围为50％，得到小区域的细胞图像，利用LabelImg工具对独立的异常细胞和重叠细胞团进行矩形框标注，将标签保存为XML文件，制成用于训练改进的YOLOv7模型的异常细胞检测数据集；
[0014]1‑
2.筛选异常细胞检测数据集中标签为重叠细胞团的细胞图像，并利用LabelImg工具的多边形标注功能细分分割区域，并进行区域标注，对异常细胞打上标签并保存，制成用于训练Swin
‑
Unet模型的异常细胞分割数据集。
[0015]具体地，在步骤2中，所述的改进的YOLOv7模型的搭建包括：
[0016]2‑
1.搭建异常细胞检测数据预处理模块，包括：对细胞图像进行翻转、平移的数据增强；利用高斯滤波对细胞图像进行减噪处理，高斯核函数如下式：
[0017][0018]其中，G(x,y)为去噪后的细胞图像像素值，x,y代表像素点的坐标，σ为高斯的标准方差，决定细胞图像的平滑程度；
[0019]2‑
2.搭建改进的YOLOv7模型的主干网络：输入细胞图像的特征图首先经过4层CBS模块的卷积，CBS模块包括Conv层、BN层、SiLU层，随后经过ELAN模块与MP模块的堆叠，输出三个特征图；ELAN包括多个CBS模块，其输入输出特征大小保持不变，通道数在开始的两个CBS模块会有变化，后面的几个输入通道都是和输出通道保持一致的，经过最后一个CBS模块输出为需要的通道；MP模块为Maxpool与CBS模块的输出向量拼接；
[0020]2‑
3.搭建改进的YOLOv7模型的颈部网络：利用PAFPN结构，对主干网络输出的三个特征图进行融合；
[0021]2‑
4.搭建改进的YOLOv7模型的头部网络：引入动态头DyHead模块进行特征图注意力融合；其动态头模块结构包括：用注意力函数的堆叠拟合尺度感知注意力、空间感知注意力和任务感知注意力；应用自我注意力的公式为：
[0022]W(F)＝π
C
(π
S
(π
L
(F)
·
F)
·
F)
·
F(2)
[0023]其中，F∈R
L
×
S
×
C
对应输入的特征向量，R为输入特征向量集合，L代表特征的尺度数，S＝H
×
W是将特征图的高度H和宽度W维度的重塑，C代表特征图的通道数，π
L
(x)、π
S
(x)、π
C
(x)分别对应任务、空间、尺度三个维度上独立的注意力函数，分别对应公式(3)(4)(5)：
[0024][0025][0026]π
C
(F)
·
F＝max(α1(F)
·
F
c
+β1(F),α本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的YOLOv7和Swin
‑
Unet的异常细胞检测方法，其特征在于，包括以下步骤：步骤1、收集病理细胞学检查中的细胞涂片图像，制作异常细胞检测数据集和异常细胞分割数据集；步骤2、搭建改进的YOLOv7模型并进行训练，用于异常细胞与重叠细胞团的检测，以最新的YOLOv7模型为基础，针对多维度特征信息的提取问题进行改进，得到改进的YOLOv7模型结构，包含异常细胞检测数据预处理模块Process、主干网络Backbone、颈部网络Neck和检测网络Head；步骤3、搭建一个检测结果筛选模块，对检测网络输出图像中的细胞进行分类，异常细胞图像作为输出，重叠细胞团图像作为分割模型的输入；步骤4、搭建Swin
‑
Unet模型并进行训练，用于重叠细胞团图像的分割：以医学领域最常用的Unet模型为基础，针对多尺度下的细胞图像的局部关系与全局关系，引用Swin
‑
Transformer模块进行采样；Swin
‑
Unet模型结构包含编码器Encoder、颈部网络Neck、解码器Decoder；步骤5、使用改进的YOLOv7和Swin
‑
Unet模型进行异常细胞检测；所述的步骤1过程为：1
‑
1.收集病理细胞学检查中的细胞涂片图像，包括宫颈细胞图像、乳腺细胞图像，对原始细胞涂片图像进行滑窗裁剪，其中设置裁剪尺寸为640
×
640，滑窗重叠范围为50％，得到小区域的细胞图像，利用LabelImg工具对独立的异常细胞和重叠细胞团进行矩形框标注，将标签保存为XML文件，制成用于训练改进的YOLOv7模型的异常细胞检测数据集；1
‑
2.筛选异常细胞检测数据集中标签为重叠细胞团的细胞图像，并利用LabelImg工具的多边形标注功能细分分割区域，并进行区域标注，对异常细胞打上标签并保存，制成用于训练Swin
‑
Unet模型的异常细胞分割数据集。2.根据权利要求1所述的一种基于改进的YOLOv7和Swin
‑
Unet的异常细胞检测方法，其特征在于，在步骤2中，所述的改进的YOLOv7模型的搭建包括：2
‑
1.搭建异常细胞检测数据预处理模块，包括：对细胞图像进行翻转、平移的数据增强；利用高斯滤波对细胞图像进行减噪处理，高斯核函数如下式：其中，G(x,y)为去噪后的细胞图像像素值，x,y代表像素点的坐标，σ为高斯的标准方差，决定细胞图像的平滑程度；2
‑
2.搭建改进的YOLOv7模型的主干网络：输入细胞图像的特征图首先经过4层CBS模块的卷积，CBS模块包括Conv层、BN层、SiLU层，随后经过ELAN模块与MP模块的堆叠，输出三个特征图；ELAN包括多个CBS模块，其输入输出特征大小保持不变，通道数在开始的两个CBS模块会有变化，后面的几个输入通道都是和输出通道保持一致的，经过最后一个CBS模块输出为需要的通道；MP模块为Maxpool与CBS模块的输出向量拼接；2
‑
3.搭建改进的YOLOv7模型的颈部网络：利用PAFPN结构，对主干网络输出的三个特征图进行融合；
2
‑
4.搭建改进的YOLOv7模型的头部网络：引入动态头DyHead模块进行特征图注意力融合；其动态头模块结构包括：用注意力函数的堆叠拟合尺度感知注意力、空间感知注意力和任务感知注意力；应用自我注意力的公式为：W(F)＝π
C
(π
S
(π
L
(F)
·
F)
·
F)
·
F(2)其中，F∈R
L
×
S
×
C
对应输入的特征向量，R为输入特征向量集合，L代表特征的尺度数，S＝H
×
W是将特征图的高度H和宽度W维度的重塑，C代表特征图的通道数，π
L
(x)、π
S
(x)、π
C
(x)分别对应任务、空间、尺度三个维度上独立的注意力函数，分别对应公式(3)(4)(5)：分别对应公式(3)(4)(5)：π
C
(F)
·
F＝max(α1(F)
·
F
c
+β1(F),α2(F)
·
F
c
+β2(F))(5)其中，公式(3)中，f(x...

【专利技术属性】
技术研发人员：胡鹤轩，方晓杰，黄倩，杨天金，胡强，巫义锐，张晔，狄峰，胡震云，周晓军，沈勤，吕京澴，
申请(专利权)人：玖壹叁陆零医学科技南京有限公司，
类型：发明
国别省市：