一种基于高频分量特征提取的乳腺组织OCT图像分类方法技术

本发明专利技术公开了一种基于高频分量特征提取的乳腺组织OCT图像分类方法，步骤如下：采集并预处理乳腺组织OCT图像，得到待识别的乳腺组织OCT图像数据集，利用训练好的双重过滤残差网络模型对乳腺组织OCT图像进行目标识别，得到分类结果。本发明专利技术结合双维度注意力机制、八度卷积、和残差单元构建“双重过滤”残差网络模型，模型在提取图像特征时能调整高低频分量特征的占比，通过适当增加高频分量占比，减少低频特征在空间维度上的信息冗余，显著提高乳腺组织OCT图像分类的准确度和稳定性，对于结构相似度高的乳腺组织OCT图像表现出优异的分类精度和鲁棒性。精度和鲁棒性。精度和鲁棒性。

【技术实现步骤摘要】
一种基于高频分量特征提取的乳腺组织OCT图像分类方法


[0001]本专利技术属于图像识别领域，具体涉及一种基于高频分量特征提取的乳腺组织OCT图像分类方法。

技术介绍

[0002]乳腺癌已经成为发病率最高的肿瘤，严重影响着女性的生理健康。保乳手术是早期(I或II)乳腺癌的主要治疗方法之一，乳腺组织切片病理图像诊断技术是目前的主流的切缘诊断方法，但难以摆脱人为主观性，容易产生误诊。因此，研究人员尝试利用计算机辅助诊断技术(CAD)识别分类切片病理图像。
[0003]中国专利申请号为CN202110367206.8提出了一种基于迁移学习的乳腺组织分类识别方法，通过优化迁移学习乳腺组织分类模型对乳腺组织切片病理图像进行分类，该专利优势是适用于数据集较小的应用环境，但由于切片病理图像定位取材以及制片困难，难以做到术中实时切缘诊断，因此光学相干层析术(Optical Coherence Tomography,OCT)以其无损伤、非侵入且快速成像的优势被应用于乳腺组织成像。AnkitButola等人在2020年发表的名为“Deep learning architecture
‘
LightOCT
’
for diagnostic decision support using optical coherence tomography images ofbiological samples”一文中提出了一种新型卷积网络模型“LightOCT”，整体网络中只有两个卷积层和一个全连接层，模型在分类超过100000幅图像的大型公共OCT图像数据集时，达到了96％的测试准确度。但是该模型在特征提取时对于高低频分量没有侧重，导致模型可能提取较多的低频分量，造成信息冗余，对于在整体结构上具有高相似性的乳腺组织OCT图像，模型无法做到高精度分类识别。

技术实现思路

[0004]本专利技术的目的在于提供一种基于高频分量特征提取的乳腺组织OCT图像分类方法，能够分类识别多类乳腺组织OCT图像并提高对于结构相似度高的乳腺组织OCT图像分类的准确度。
[0005]实现本专利技术的技术解决方案为：一种基于高频分量特征提取的乳腺组织OCT图像分类方法，步骤如下：
[0006]步骤S1、挑选A类乳腺组织样本，1<A<10，在每类乳腺组样本中选取B个感兴趣的区域进行成像，10<B<50，从每个感兴趣区域截取D张乳腺组织OCT图像，10<D<50，共获得N张不同类别的乳腺组织OCT图像，N＝ABD，100<N<25000，对N张不同类别的乳腺组织OCT图像分别进行归一化处理及数据增强后，得到像素大小为h
×
w的N
A
张乳腺组织OCT图像，1000<N
A
<250000，将N
A
张乳腺组织OCT图像中每类样本按照18:1:1比例划分为训练样本集、验证样本集和测试样本集，并对训练样本集中的样本图像添加标签，转入步骤S2。
[0007]步骤S2、构建双重过滤残差模型，以获取乳腺组织OCT样本形状特征的多值标签信息，转入步骤S3。
[0008]步骤S3、将带标签的训练样本集输入双重过滤残差模型对其进行训练，乳腺组织
OCT图像依次经过初步过滤单元、深度过滤单元、图像分类单元后，最终得到预训练双重过滤残差网络模型，转入步骤S4。
[0009]步骤S4、将不带标签的验证样本集输入预训练双重过滤残差网络模型，利用乳腺组织OCT图像验证样本集对预训练双重过滤残差网络模型性能进行验证，得到双重过滤残差网络模型，转入步骤S5。
[0010]步骤S5、将不带标签的测试样本集输入双重过滤残差网络模型，利用测试样本集对双重过滤残差网络模型的泛化能力进行测试。
[0011]本专利技术与现有技术相比，其显著优点在于：
[0012](1)本专利技术使用八度卷积块替换传统卷积层，使得双重过滤残差模型在提取图像特征时能够调整高低频分量的占比，减少信息冗余。
[0013](2)本专利技术在三个级联的第一卷积层和最后一层卷积层之后加入CBAM进一步过滤特征信息，与八度卷积块协同工作，达到双重过滤特征信息的效果，进一步减少了低频特征在空间维度上的信息冗余。
[0014](3)本专利技术创新性提出融合双维度注意力机制、八度卷积和残差单元的双重过滤残差模型，对比与其结构层深度相同的传统卷积神经网络模型，本专利技术提供的双重过滤残差模型结构复杂度低，且不会发生梯度爆炸或梯度消失现象；
[0015](4)本专利技术不仅具有更好的有效性、高效性和泛化能力，对于结构近似的乳腺组织OCT图像表现出优秀的识别性能。
附图说明
[0016]图1为本专利技术的双重过滤残差模型原理图；其中，“3
×
3Conv*3”代表3个卷积核大小为3
×
3的卷积层，“CBAM”代表双维度注意力机制，“Channel Attention Module”代表通道注意力机制，“Spatial Attention Module”代表空间注意力机制，“BN”代表批量归一化层，“RELU”代表激活函数，“OctaveConv”代表八度卷积层，“Octave BN”代表八度卷积层中的批量归一化层，“Residual Structure”代表残差结构，“Dense 512GAP”代表全局平均池化层和具有512个节点的全连接(Dense)层，“Softmax”代表柔性最大传递函数。
[0017]图2为本专利技术提供的基于高频分量特征提取的乳腺组织OCT图像识别分类方法的流程示意图。
[0018]图3为本专利技术提供的三种预处理后的乳腺组织OCT图像，其中(a)图为纤维脂肪图像，(b)图为基质图像，(c)图为肿瘤图像。
[0019]图4为ResNet
‑
28与Oct_ResNet
‑
28两种模型性能训练曲线图，其中(a)图为ResNet
‑
28模型性能训练曲线图，(b)图为Oct_ResNet
‑
28模型性能训练曲线图。
[0020]通过上述附图，已示出本专利技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本专利技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本专利技术的概念。
具体实施方式
[0021]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。
[0022]结合图1和图2，一种基于高频分量特征提取的乳腺组织OCT图像分类方法，包括如下步骤：
[0023]步骤S1、挑选A类乳腺组织样本，1<A<10，在每类乳腺组样本中选取B个感兴趣的区域进行成像，10<B&本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高频分量特征提取的乳腺组织OCT图像分类方法，其特征在于，步骤如下：步骤S1、挑选A类乳腺组织样本，1<A<10，在每类乳腺组样本中选取B个感兴趣的区域进行成像，10<B<50，从每个感兴趣区域截取D张乳腺组织OCT图像，10<D<50，共获得N张不同类别的乳腺组织OCT图像，N＝ABD，100<N<25000，对N张不同类别的乳腺组织OCT图像分别进行归一化处理及数据增强后，得到像素大小为h
×
w的N
A
张乳腺组织OCT图像，1000<N
A
<250000，将N
A
张乳腺组织OCT图像中每类样本按照18:1:1比例划分为训练样本集、验证样本集和测试样本集，并对训练样本集中的样本图像添加标签，转入步骤S2；步骤S2、构建双重过滤残差模型，以获取乳腺组织OCT样本形状特征的多值标签信息，转入步骤S3；步骤S3、将带标签的训练样本集输入双重过滤残差模型对其进行训练，乳腺组织OCT图像依次经过初步过滤单元、深度过滤单元、图像分类单元后，最终得到预训练双重过滤残差网络模型，转入步骤S4；步骤S4、将不带标签的验证样本集输入预训练双重过滤残差网络模型，利用乳腺组织OCT图像验证样本集对预训练双重过滤残差网络模型性能进行验证，得到双重过滤残差网络模型，转入步骤S5；步骤S5、将不带标签的测试样本集输入双重过滤残差网络模型，利用测试样本集对双重过滤残差网络模型的泛化能力进行测试。2.根据权利要求1所述的基于高频分量特征提取的乳腺组织OCT图像分类方法，其特征在于，步骤S2中，构建双重过滤残差模型，以获取乳腺组织OCT样本形状特征的多值标签信息，具体如下：双重过滤残差模型包括初步过滤单元、深度过滤单元、图像分类单元；初步过滤单元包括依次连接的三个级联的第一卷积层和双维度注意力机制，第一卷积层的卷积核大小为3
×
3，在其之后连接批量归一化层和非线性激活函数，非线性激活函数为ReLU激活函数，双维度注意力机制包括通道注意力机制和空间注意力机制；深度过滤单元包括顺次连接的8组具有残差结构的八度卷积块和双维度注意力机制；八度卷积块包括2层八度卷积层和BN层，且相邻的2组八度卷积块之间构成残差结构；图像分类单元包括全局平均池化层、全连接层和Softmax层。3.根据权利要求1所述的基于高频分量特征提取的乳腺组织OCT图像分类方法，其特征在于，步骤S3、将带标签的训练样本集输入双重过滤残差模型对其进行训练，乳腺组织OCT图像依次经过初步过滤单元、深度过滤单元、图像分类单元后，最终得到预训练双重过滤残差网络模型，具体如下：S3.1，乳腺组织OCT图像依次经初步过滤单元中三个级联的第一卷积层后得到原始特征图，原始特征图经通道和空间两个独立维度的计算，得到一个与原始特征图大小相同的注意力权重矩阵，将权重矩阵与原始特征图相乘以进行自适应特征细化，生成初步过滤后的图像特征信息；S3.2，深度过滤单元根据初步过滤后的图像特征的关联性，在特征提取时调整高低频分量特征的占比，对初步过滤后的图像特征信息进行多次过滤，生成深度过滤后的图像特征信息；S3.3，GAP层用于将深度过滤单元提取到的深度过滤后的图像特征信息映射到样本标
记空间，在其之后连接一个包含512个节点的Dense层，Dense层将GAP层的输出特征转化为1维向量，获取的图像特征的高层含义，再经Softmax层将1维向量转化成概率分布，得到乳腺组织OCT样本形状特征的多值标签信息；S3.4，将Softmax层转化的概率分布代入损失函数中，利用损失函数计算乳腺组织OCT样本形状特征的多值标签信息与预定义类别的相似度，并通过链式法则，计算损失对于模型参数的梯度，从而更新双重过滤残差模型的整体参数，经过多次拟合更新，最终得到预训练双重过滤残差网络模型。4.根据权利要求3所述的基于高频分量特征提取的乳腺组织OCT图像分类方法，其特征在于，S3.1中，乳腺组织OCT图像依次经初步过滤单元中三个级联的第一卷积层后得到原始特征图，原始特征图经通道和空间两个独立维度的计算，得到一个与原始特征图大小相同的注意力权重矩阵，将权重矩阵与原始特征图相乘以进行自适应特征细化，生成初步过滤后的图像特征信息，具体如下：对于初步过滤单元中的通道注意力机制来说，输入一张维度为C
×
H
×
W的原始特征图F后，经全局最大池化和全局平均池化，对应得到两组维度为C
×1×
1的特征图权重向量，即全局最大池化特征图权重向量F
Max
和全局平均池化特征图权重向量F
Avg
：F
Max
＝GlobalMaxPool(F)＝1/W
×
H
×
Max(F)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)F
Avg
＝GlobalAvgPool(F)＝1/W
×
H
×
Σ(F)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，F代表输入的原始特征图，F∈R
C
×
H
×
W
，R代表实数，C代表通道数，H代表高度，W代表宽度，Max(F)代表对原始特征图F中所有元素求最大值，Σ(F)代表对原始特征图F中所有元素求和；再将得到的全局最大池化特征图权重向量F
Max
和全局平均池化特征图权重向量F
Avg
分别送入一个两层的MLP网络映射成每个通道的权重，将映射的权重相加后接sigmoid输出，得到维度为C
×1×
1的通道注意力机制权重M
C
(F
′
)，最后将其与维度为C
×
H
×
W的原始特征图F按通道相乘，得到经过通道注意力机制权重修正后的特征图F
′
：其中，
⊙
代表点乘操作，σ代表sigmoid函数，W0代表经过第一层MLP映射后的权重，W1代表经过第二层MLP映射后的权重；对于初步过滤单元中的空间注意力机制来说，经过通道注意力机制权重修正后的特征图F
′
按通道进行最大池化和平均池化，形成两个维度为1
×
H
×
W的特征向量，对两者进行堆叠后，得到维度为2
×
H
×
W的特征图空间权重；再经过卷积层，将映射后的权重相加后接sigmoid输出，得到维度为1
×
H
×
W的空间注意力机制权重M
S
(F
″
)，最后将其与原始特征图F相乘，使特征图上每一点都赋予权重...

【专利技术属性】
技术研发人员：朱丹，丁李昊，高志山，袁群，郭珍艳，马燚岑，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：