本发明专利技术公开了一种基于多分支注意力机制的超声图像分类方法和装置，包括：步骤S100：收集不同角度的超声切面图像和对应的真实标签，构建训练样本集；步骤S200：对步骤S100收集的超声图像进行数据增强和归一化处理操作；步骤S300：搭建多分支超声图像分类网络，所述网络由多个分支网络并联而成，其中添加了多分支注意力模块；步骤S400：利用训练样本集训练步骤S300所搭建的网络；S500：实际的超声图像分类，利用步骤S400训练好的网络进行超声图像的分类。该超声图像分类方法综合学习不同角度超声切面图像中的信息，实现了准确而又快速的超声图像分类。图像分类。图像分类。
【技术实现步骤摘要】
一种基于多分支注意力机制的超声图像分类方法和装置
[0001]本专利技术属于超声切片图像分类技术，具体涉及一种基于多分支注意力机制的超声图像分类方法和装置。
技术介绍
[0002]超声成像是一种重要的临床成像技术，具有无辐射、无痛苦、经济适用、实时成像等优点，已被广泛应用于肿瘤筛查、产前诊断、手术导航等。但是，超声成像存在成像质量差、差异性大等缺点，导致超声诊断严重依赖于医生的经验。由此，借助计算机辅助诊断技术进行超声切片图像分类，可以辅助医生进行超声诊断，进而提高超声诊断的召回率和准确率。
[0003]目前常用的计算机辅助诊断技术包括基于特征工程的方法和基于深度学习的方法。基于特征工程的方法通常提取病灶区域的纹理、形态、基于模型的特征和基于描述子的特征，然后基于提取的特征进行超声切片图像的分类。该类方法利用的影像特征具有良好的医学可解释性，但是特征的计算通常需要人工干预，这在一定程度上影响了图像分析的实时性和客观性。
[0004]随着深度学习技术的诞生，基于深度学习的方法利用神经网络自动提取超声切片图像的底层到高层抽象特征，能够实现全自动的图像分类工作。如申请公布号为CN111161273A的专利申请公开了一种基于深度学习的医学超声切片图像分割方法，再如申请公布号为CN110634125A的专利申请公开了一种基于深度学习的胎儿超声切片图像识别方法及系统。
技术实现思路
[0005]鉴于上述，本专利技术的目的是提供一种基于多分支注意力机制的超声图像分类方法和装置，提升图像分类结果的准确性。
[0006]为实现上述专利技术目的，本专利技术提供以下技术方案：
[0007]第一方面，一种基于多分支注意力机制的超声图像分类方法，包括以下步骤：
[0008](1)采集被测生理组织多视角下的超声切片图像，每个被测生理组织的多视角超声切片图像与对应的真实类标组成一个样本，并对样本做预处理和数据增广处理，组成样本集；
[0009](2)构建超声图像分类网络，所述超声图像分类网络包括与视角个数相同的多支特征提取子网络和映射网络，每支特征提取子网络用于提取输入视角超声切片图像的第二特征图，每个特征提取子网络包括特征提取单元和注意力模块，特征提取单元用于提取输入视角超声切片图像的第一特征图，注意力模块用于从特征提取单元提取特征图并计算注意力权重矩阵，该注意力权重矩阵被分为两部分并分别赋予特征提取单元输出的第一特征图和相邻特征提取子网络输出的第二特征图，第一特征图和第二特征图与各自被分的注意力权重矩阵加权求和后作为自身所属特征提取子网络输出的第二特征图，映射网络对输入
的第二特征图进行连接映射，输出预测分类结果；
[0010](3)采用样本集对超声图像分类网络进行训练更新网络参数，训练结束后，确定的网络参数与超声图像分类网络组成超声图像分类模型；
[0011](4)采集被分类的多视角超声切片图像，并对多视角超声切片图像进行预处理后输入超声图像分类模型，利用超声图像分类模型对多视角超声切片图像进行预测，得到预测分类结果。
[0012]基于深度学习的方法依赖于大样本训练数据集，而公开可用的超声切片图像数据集较少，这限制了超声切片图像分类精度的提升。为了在有限的数据集上训练出高效地神经网络，需要对样本数据进行数据增广处理，其中，数据增广方式包括水平翻转和旋转。同时，还需要样本数据对应的真实类标，该真实类标由医学先验知识确定，因此，通过对数据增广和结合医学先验知识确定的分类标签，能够大大提升深度学习网络的训练速度，提高模型的鲁棒性。
[0013]考虑到多角度的超声切面视图可以提供更加丰富的被测生理组织信息，所以将超声图像分类网络的输入设计为多角度的超声切面视图。考虑到多角度的超声切面视图中存在冗余信息，构建了多分支注意力模块，通过逐层级联的方式组合不同网络分支的特征信息，可以减轻不同网络分支的学习负担，从而避免网络出现过拟合的问题。相比于单视图输入的神经网络，基于多视图输入的多分支网络实现了更高的分类准确率。
[0014]优选地，第一个特征提取子网络仅包含特征提取单元，特征提取单元输出的第一特征图作为特征提取子网络输出的第二特征图，且第一个特征提取子网络作为第二个特征提取子网络的相邻特征提取子网络。其他特征提取子网络同时包含特征提取单元和注意力模块，第二个特征提取子网络作为第三个特征提取子网络的相邻特征提取子网络，以此类推，通过注意力权重矩阵依次向相邻的特征提取子网络进行级联，最后一个特征提取子网络输出的第二特征图直接输入映射网络，经映射计算输出分类预测结果。
[0015]优选地，所述特征提取单元包括卷积层、池化层以及多个残差模块，最后一个残差模块输出的特征图为第一特征图，提取最后一个残差模块的输入特征图作为注意力模块的输入，用于计算注意力权重矩阵。在一些实施方式中，特征提取单元依次包括1个卷积层、1个池化层以及多个相连的残差模块。其中，残差模块由多个卷积层构成，可以以相邻的至少2个卷积层为一组，每组的输入同时为上一组的输出特征图和输入特征图。
[0016]优选地，所述注意力模块包括最大池化层、平均池化层以及卷积层，输入特征图并行经过最大池化层和平均池化层处理后的两个池化结果图经过拼接后输入至卷积层，经卷积操作和Sigmoid函数激活后输出注意力权重矩阵。
[0017]为了调节特征对最后分类结果的贡献程度，在注意力权重矩阵划分为两部分时，设置划分比例，且自身所属特征提取子网络的划分比例大于相邻特征提取子网络的划分比例，各自划分比例与注意力权重矩阵的乘积作为各自被分的注意力权重矩阵。自身特征提取子网络和相邻特征提取子网络是个相对的概念，当关注某个特征提取子网络时，被关注的特征提取子网络为自身特征提取子网络，其他就为相邻特征提取子网络。每个分支的注意力模块计算得到的注意力权重矩阵被划分时，划分比例可以与其他分支的划分比例相同，也可以不同。
[0018]优选地，映射网络采用全连接层。全连接层作为映射网络可以实现多任务分类。
[0019]优选地，为了提升训练速率和训练结果，训练超声图像分类网络时，激励函数为Relu函数，优化函数为随机梯度下降方法，损失函数为交叉熵损失函数。
[0020]优选地，所述预处理包括计算所有多视角超声切片图像的强度均值和方差；
[0021]基于强度均值和方差对每张多视角超声切片图像进行归一化处理；
[0022]将归一化处理后的多视角超声切片图像统一到固定尺寸。其中，固定尺寸可以是长宽相等。
[0023]一种基于多分支注意力机制的超声图像分类装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述基于多分支注意力机制的超声图像分类方法。
[0024]与现有技术相比，本专利技术提供的基于多分支注意力机制的超声图像分类方法和装置具有的有益效果至少包括：
[0025](1)基于深度学习的理论框架，利用本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多分支注意力机制的超声图像分类方法，其特征在于，包括以下步骤：(1)采集被测生理组织多视角下的超声切片图像，每个被测生理组织的多视角超声切片图像与对应的真实类标组成一个样本，并对样本做预处理和数据增广处理，组成样本集；(2)构建超声图像分类网络，所述超声图像分类网络包括与视角个数相同的多支特征提取子网络和映射网络，每支特征提取子网络用于提取输入视角超声切片图像的第二特征图，每个特征提取子网络包括特征提取单元和注意力模块，特征提取单元用于提取输入视角超声切片图像的第一特征图，注意力模块用于从特征提取单元提取特征图并计算注意力权重矩阵，该注意力权重矩阵被分为两部分并分别赋予特征提取单元输出的第一特征图和相邻特征提取子网络输出的第二特征图，第一特征图和第二特征图与各自被分的注意力权重矩阵加权求和后作为自身所属特征提取子网络输出的第二特征图，映射网络对输入的第二特征图进行连接映射，输出预测分类结果；(3)采用样本集对超声图像分类网络进行训练更新网络参数，训练结束后，确定的网络参数与超声图像分类网络组成超声图像分类模型；(4)采集被分类的多视角超声切片图像，并对多视角超声切片图像进行预处理后输入超声图像分类模型，利用超声图像分类模型对多视角超声切片图像进行预测，得到预测分类结果。2.如权利要求1所述的基于多分支注意力机制的超声图像分类方法，其特征在于，第一个特征提取子网络仅包含特征提取单元，特征提取单元输出的第一特征图作为特征提取子网络输出的第二特征图，且第一个特征提取子网络作为第二个特征提取子网络的相邻特征提取子网络。3.如权利要求1或2所述的基于多分支注意力机制的超声图像分类方法，其特征在于，所述特征提取单元包括卷积层、池化层以及多个残差模块，最后一个残差模块输出的特征图为第一特征图，提取...
【专利技术属性】
技术研发人员：孟慧，牛建伟，李青锋，谷宁波，陈晨，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。