基于多尺度特征聚合的肉芽肿圆形表示定位方法及系统技术方案

本发明专利技术公开了一种基于多尺度特征聚合的肉芽肿圆形表示定位方法及系统，首先采集组织病理图像；然后通过检测网络的Patch Embedding模块进行初步的特征编码和提取；接着通过检测网络的多个多尺度注意力特征提取阶段，得到多尺度聚合特征输出；进一步通过检测网络的特征融合模块FPN，对每个特征提取阶段的输出特征进行至上而下的不同尺度特征融合；最后通过检测网络的三个检测头，对组织病理图像中的肉芽肿进行定位和检测；本发明专利技术使用基于多尺度特征聚合的Transformer结构来进行图像特征的提取，以实现对多种不同尺度特征的有效学习，从而达到对大目标小目标均能有效检测的效果。测的效果。测的效果。

【技术实现步骤摘要】
基于多尺度特征聚合的肉芽肿圆形表示定位方法及系统


[0001]本专利技术属于深度学习及医学图像识别
，涉及一种肉芽肿圆形表示定位方法及系统，具体涉及一种基于多尺度特征聚合的肉芽肿圆形表示定位方法及系统，属于深度学习在医疗领域中的应用。

技术介绍

[0002]肉芽肿是由巨噬细胞及其演化的细胞局限性浸润和增生所形成的边界清楚的结节状病灶，其本质为迟发超敏反应所致的炎症。根据肉芽肿发生的诱因不同，可以将其分为以下几类：感染性肉芽肿，由结核杆菌、麻风杆菌等细菌或真菌感染所致；异物肉芽肿，由手术缝线、滑石粉、人工血管等异物刺激长期存在而形成的慢性炎症；结节病肉芽肿，结节病发时发生的非坏死性上皮杨细胞肉芽肿。以十分常见的肺部肉芽肿为例，微生物感染性肉芽肿最为常见，肉芽肿会造成肉芽状性炎症，如果不及时治疗，感染可扩散到全肺而引起肺纤维化、空洞，以及肺结构改变，可能影响肺部功能，引起全身炎症反应综合征，甚至引起死亡；另外，如果发现肉芽肿病变中有恶性成分，则有癌变的可能，如不及时进行干预和治疗，后果可能更为严重。因此，肉芽肿的及时发现可以使患者更早的接受治疗，避免感染进一步扩散从而降低对患者身体的危害。病理学检查是临床上肉芽肿诊断的金标准，对于肉芽肿良恶性的鉴别也具有重要意义。而基于计算机辅助诊断的病理学诊断方法能够自动定位肉芽肿区域，可以在很大程度上减轻病理医生的工作负担，同时由于计算机自动定位方法识别肉芽肿用时较短，该方法也可以在一定程度上为患者争取更多的时间，具有重要的现实意义。
[0003]在组织病理切片中肉芽肿具有较为明显的特异性结构，多为圆形或椭圆形，特征较易学习，但是肉芽肿自动定位方法，如使用现有的单一阶段目标检测模型YOLO、双阶段目标检测模型FasterR
‑
CNN等进行肉芽肿定位或使用传统的基于纹理特征的手工特征提取方法来进行肉芽肿定位仍然存在一些难点。第一，肉芽肿在形状结构上的特征较为明显，需要更加有效地关注和运用这种特征。第二，同一病理切片中的不同肉芽肿都可能存在很大的尺寸差异，这使得肉芽肿定位任务更具挑战性。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供了一种基于多尺度特征聚合的肉芽肿圆形表示定位方法及系统。
[0005]本专利技术的方法所采用的技术方案是：一种基于多尺度特征聚合的肉芽肿圆形表示定位方法，包括以下步骤：
[0006]步骤1：采集组织病理图像；
[0007]步骤2：将采集的组织病理图像输入检测网络，通过所述检测网络的Patch Embedding模块进行初步的特征编码和提取；
[0008]所述Patch Embedding模块，由若干带步长的卷积组成，其数量及步长根据需要设
置；
[0009]步骤3：将步骤2的输出输入所述检测网络的多个连续多尺度注意力特征提取阶段中，得到多尺度特征输出；
[0010]所述多尺度注意力特征提取阶段，包括若干多尺度注意力特征聚合模块Attention Block和Linear Embedding模块；其中Attention Block数量设置一般遵循先增多后减少的规律，根据需要设置；
[0011]所述Linear Embedding模块采用Patch Embedding模块类似结构，仅在卷积层数量和下采样率上不同，所述卷积层数量和下采样率根据需要设置；
[0012]所述多尺度注意力特征聚合模块Attention Block，设置有n个KV计算分支和1个Q计算分支；每个KV计算分支都顺序设置下采样卷积层、全连接层、KV拆分层、深度卷积层和残差增强层；Q计算分支设置有一个全连接层和一个Q拆分层，Q拆分层具有n个拆分后的输出；拆分出来的n个Q
i
分别与n个KV计算分支残差增强层的输出通过自注意力计算层进行自注意力计算，在self
‑
attention层后通过一个concat层合并n个分支输出，再在其后顺序设置一个全连接层、一个深度卷积层、一个残差增强层和一个全连接层；
[0013]步骤4：将步骤3中每个阶段的输出输入所述检测网络的特征融合模块FPN，对步骤3中每个特征提取阶段的输出特征进行至上而下的不同尺度特征融合；
[0014]步骤5：将步骤4输出的融合特征输入所述检测网络的三个检测头，对组织病理图像中的肉芽肿进行定位和检测；
[0015]所述三个检测头，每个检测头均由两个卷积层、一个激活层和一个批归一化层构成。
[0016]作为优选，步骤2中，所述Patch Embedding模块通过带有步长的卷积生成C
×
H
×
W大小的输入序列X，其中H0、W0分别为输入组织病理图像的长和宽。
[0017]作为优选，步骤3中，通过多尺度注意力特征聚合模块Attention Block进行自注意力计算和特征聚合；
[0018]具体实现包括以下步骤：
[0019]步骤3.1：通过设置n个不同的下采样率r
i
，对输入序列X进行卷积核和步长均为r
i
的卷积操作，得到不同采样率的X
i
，此时X
i
的大小为其中，C、H、W分别为卷积通道数、图像的长和宽；
[0020]步骤3.2：对进行全连接操作后将其拆分为两个部分，分别表示为K
i
和V
i
；
[0021]步骤3.3：对拆分出的V
i
进行深度卷积和残差增强，即V
i
″
＝V
i
+LC(V
i
)；
[0022]步骤3.4：对输入序列X进行全连接操作得到自注意力计算中的Q，并将Q拆分为n个Q
i
序列；
[0023]步骤3.5：使用Q
i
、K
i
、V
i
″
进行自注意力计算，其中，d为维度，T表示转置；
[0024]步骤3.6：对n个x
i
进行拼接，得到自注意力序列输出Y；
[0025]步骤3.7：通过两个全连接层以及全连接层之间的深度卷积进一步补充局部信息，
即Y
′
＝FC(Y)、Z＝FC(σ(Y
′
+LC(Y
′
)))，其中σ为激活函数，FC()为全连接操作。
[0026]作为优选，步骤4中，通过将深层特征提取阶段输出的特征Z
i
采样至浅层特征提取阶段输出特征Z
i
‑1同样大小后，与Z
i
‑1相加实现反向的不同尺度特征的融合。
[0027]作为优选，步骤5中，三检测头分别为中心点检测头、半径检测头和中心点偏移检测头；
[0028]所述三个检测头，输出特征图尺寸一致均为仅在通道数量上有所不同，R为输出特征图相较于网络输入图像的下采样比例；
[0029]所述中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征聚合的肉芽肿圆形表示定位方法，其特征在于，包括以下步骤：步骤1：采集组织病理图像；步骤2：将采集的组织病理图像输入检测网络，通过所述检测网络的Patch Embedding模块进行初步的特征编码和提取；所述Patch Embedding模块，由若干带步长的卷积组成，其数量及步长根据需要设置；步骤3：将步骤2的输出输入所述检测网络的多个连续多尺度注意力特征提取阶段中，得到多尺度特征输出；所述多尺度注意力特征提取阶段，包括若干多尺度注意力特征聚合模块Attention Block和Linear Embedding模块；其中Attention Block数量设置一般遵循先增多后减少的规律，根据需要设置；所述Linear Embedding模块采用Patch Embedding模块类似结构，仅在卷积层数量和下采样率上不同，所述卷积层数量和下采样率根据需要设置；所述多尺度注意力特征聚合模块Attention Block，设置有n个KV计算分支和1个Q计算分支；每个KV计算分支都顺序设置下采样卷积层、全连接层、KV拆分层、深度卷积层和残差增强层；Q计算分支设置有一个全连接层和一个Q拆分层，Q拆分层具有n个拆分后的输出；拆分出来的n个Q
i
分别与n个KV计算分支残差增强层的输出通过自注意力计算层进行自注意力计算，在self
‑
attention层后通过一个concat层合并n个分支输出，再在其后顺序设置一个全连接层、一个深度卷积层、一个残差增强层和一个全连接层；步骤4：将步骤3中每个阶段的输出输入所述检测网络的特征融合模块FPN，对步骤3中每个特征提取阶段的输出特征进行至上而下的不同尺度特征融合；步骤5：将步骤4输出的融合特征输入所述检测网络的三个检测头，对组织病理图像中的肉芽肿进行定位和检测；所述三个检测头，每个检测头均由两个卷积层、一个激活层和一个批归一化层构成。2.根据权利要求1所述的基于多尺度特征聚合的肉芽肿圆形表示定位方法，其特征在于：步骤2中，所述Patch Embedding模块通过带有步长的卷积生成C
×
H
×
W大小的输入序列X，其中H0、W0分别为输入组织病理图像的长和宽。3.根据权利要求1所述的基于多尺度特征聚合的肉芽肿圆形表示定位方法，其特征在于：步骤3中，通过多尺度注意力特征聚合模块Attention Block进行自注意力计算和特征聚合；具体实现包括以下步骤：步骤3.1：通过设置n个不同的下采样率r
i
，对输入序列X进行卷积核和步长均为r
i
的卷积操作，得到不同采样率的X
i
，此时X
i
的大小为其中，C、H、W分别为卷积通道数、图像的长和宽；步骤3.2：对进行全连接操作后将其拆分为两个部分，分别表示为K
i
和V
i
；步骤3.3：对拆分出的V
i
进行深度卷积和残差增强，即V
i
″
＝V
i
+LC(V
i
)；步骤3.4：对输入序列X进行全连接操作得到自注意力计算中的Q，并将Q拆分为n个Q
i
序
列；步骤3.5：使用Q
i
、K
i
、V
i
″
进行自注意力计算，其中，d为维度，T表示转置；步骤3.6：对n个x
i
进行拼接，得到自注意力序列输出Y；步骤3.7：通过两个全连接层以及全连接层之间...

【专利技术属性】
技术研发人员：刘娟，金钰，冯晶，
申请(专利权)人：武汉大学，
类型：发明
国别省市：