本发明专利技术公开了一种超声自动乳腺全容积图像的识别方法、装置、终端及介质，构建了用于提取局部信息的CNN网络分支和用于提取全局信息的Transformer网络分支，然后将同一超声自动乳腺全容积图像分别输入至两个网络分支，层级提取对应的特征图，并将两个分支提取的特征图结合上一层级输出的融合后特征图，通过空间和通道混合注意力机制进行融合，使得CNN网络分支的局部信息层级引导Transformer网络分支的全局信息，增强Transformer网络分支的特征提取能力。与现有技术相比，能够准确识别超声自动乳腺全容积图像中各种大小和形态的感兴趣区域。区域。区域。
【技术实现步骤摘要】
超声自动乳腺全容积图像的识别方法、装置、终端及介质
[0001]本专利技术涉及图像识别
，尤其涉及的是一种超声自动乳腺全容积图像的识别方法、装置、终端及存储介质。
技术介绍
[0002]自动乳腺体积扫描仪(ABVS)目前被认为是一种最佳的、可以覆盖全乳腺组织的扫描工具。但是自动乳腺体积扫描仪输出的超声自动乳腺全容积图像尺寸很大，并且感兴趣区域较小，图像效果不清晰，通过人工阅片仍是一项极具挑战性的工作。该工作需要耗费大量的时间。
[0003]虽然已有使用深度学习方法来识别超声自动乳腺全容积图像以识别图像中的各个目标区域。但是现有的方法不能精准提取到图像中的有效信息，识别的准确率不高。
[0004]因此，现有技术有待改进和提高。
技术实现思路
[0005]本专利技术的主要目的在于提供一种超声自动乳腺全容积图像的识别方法、装置、智能终端及存储介质，能够将局部信息和全局信息有效融合，准确地对超声自动乳腺全容积图像中的感兴趣区域进行识别。
[0006]为了实现上述目的，本专利技术第一方面提供一种超声自动乳腺全容积图像的识别方法，所述方法包括：
[0007]将超声自动乳腺全容积图像分别输入CNN网络分支和Transformer网络分支，对每一个网络分支的层级输出采用3D卷积操作，获得多种尺度的CNN特征图和Transformer特征图；
[0008]依据特征图的尺度从小至大顺序，基于空间和通道混合注意力机制，将每一层级的CNN特征图与对应层级的Transformer特征图、上一层级的融合后特征图进行融合，获得当前层级的融合后特征图并逐层迭代直至获得最后层级的融合后特征图；
[0009]基于所述最后层级的融合后特征图，获得识别后的图像并输出。
[0010]可选的，所述基于空间和通道混合注意力机制，将CNN特征图与Transformer特征图、上一层级的融合后特征图进行融合，获得当前层级的融合后特征图，包括：
[0011]若当前层级为第一层级，将所述CNN特征图和所述Transformer特征图输入空间和通道混合注意力模型，获得第一注意力引导特征，将所述第一注意力引导特征设为所述当前层级的融合后特征图；
[0012]否则，
[0013]将所述CNN特征图和所述上一层级的融合后特征图输入空间和通道混合注意力模型，获得第二注意力引导特征；
[0014]将第二注意力引导特征与所述Transformer特征图融合，获得所述当前层级的融合后特征图。
[0015]可选的，所述空间和通道混合注意力模型包括空间注意力块和通道注意力块，将所述CNN特征图作为第一特征图，所述Transformer特征图或所述上一层级的融合后特征图作为第二特征图，将第一特征图和第二特征图输入空间和通道混合注意力模型，获得注意力引导特征，包括：
[0016]将所述第一特征图输入空间注意力块，进行最大池化和平均池化的级联输出，获得空间注意力图；
[0017]将所述第二特征图输入通道注意力块，进行最大池化和平均池化的并行输出并将输出结果相加，获得通道注意力图；
[0018]将所述第二特征图与所述通道注意力图和所述空间注意力图连乘，并与所述第一特征图进行加权相加，获得所述注意力引导特征。
[0019]可选的，所述Transformer网络分支包括Swin
‑
Transformer块，所述Swin
‑
Transformer块包括用于捕获更多全局信息的膨胀多头自注意力机制，所述膨胀多头自注意力机制与Swin
‑
Transformer的窗口自注意力机制并行采样并将输出结果相加。
[0020]可选的，膨胀多头自注意力机制对特征图进行采样，包括：
[0021]对特征图进行区间采样，提取八个不同位置的特征；
[0022]根据窗口自注意机制处理提取的特征，输出采样结果。
[0023]可选的，获得识别后的图像并输出后，还包括：
[0024]获取乳头下阴影、肋骨阴影的空间位置关系和共同特征；
[0025]对所述空间位置关系和所述共同特征进行判定以去除乳头下阴影和肋骨阴影。
[0026]可选的，获得识别后的图像并输出后，还包括：
[0027]基于网络的分割概率，获得全局最大值；
[0028]对网络的分割概率进行划分，获得分割概率块；
[0029]获得每个所述分割概率块的局部最大值，当所述局部最大值与所述全局最大值的比值大于设定阈值时，筛选当前分割概率块的遍历点并加入遍历点集合中；
[0030]输出用于对识别结果进行分类的遍历点集合。
[0031]本专利技术第二方面提供一种超声自动乳腺全容积图像的识别装置，其中，上述装置包括：
[0032]层级特征图获取模块，用于将超声自动乳腺全容积图像分别输入CNN网络分支和Transformer网络分支，对每一个网络分支的层级输出采用3D卷积操作，获得多种尺度的CNN特征图和Transformer特征图；
[0033]融合后特征图获取模块，用于依据特征图的尺度从小至大顺序，基于空间和通道混合注意力机制，将每一层级的CNN特征图与对应层级的Transformer特征图、上一层级的融合后特征图进行融合，获得当前层级的融合后特征图并逐层迭代直至获得最后层级的融合后特征图；
[0034]识别结果获取模块，用于基于所述最后层级的融合后特征图，获得识别后的图像并输出。
[0035]本专利技术第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的超声自动乳腺全容积图像的识别程序，上述超声自动乳腺全容积图像的识别程序被上述处理器执行时实现任意一项上述超声自动乳腺
全容积图像的识别方法的步骤。
[0036]本专利技术第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有超声自动乳腺全容积图像的识别程序，上述超声自动乳腺全容积图像的识别程序被处理器执行时实现任意一项上述超声自动乳腺全容积图像的识别方法的步骤。
[0037]由上可见，与现有技术相比，本专利技术构建了用于提取局部信息的CNN网络分支和用于提取全局信息的Transformer网络分支，然后将同一超声自动乳腺全容积图像分别输入至两个网络分支，层级提取对应的特征图，并将两个分支提取的特征图结合上一层级输出的融合后特征图，通过空间和通道混合注意力机制进行融合，使得CNN网络分支的局部信息层级引导Transformer网络分支的全局信息，增强Transformer网络分支的特征提取能力，从而准确识别超声自动乳腺全容积图像中的感兴趣区域。
附图说明
[0038]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.超声自动乳腺全容积图像的识别方法，其特征在于，所述方法包括：将超声自动乳腺全容积图像分别输入CNN网络分支和Transformer网络分支，对每一个网络分支的层级输出采用3D卷积操作，获得多种尺度的CNN特征图和Transformer特征图；依据特征图的尺度从小至大顺序，基于空间和通道混合注意力机制，将每一层级的CNN特征图与对应层级的Transformer特征图、上一层级的融合后特征图进行融合，获得当前层级的融合后特征图并逐层迭代直至获得最后层级的融合后特征图；基于所述最后层级的融合后特征图，获得识别后的图像并输出。2.如权利要求1所述的超声自动乳腺全容积图像的识别方法，其特征在于，所述基于空间和通道混合注意力机制，将CNN特征图与Transformer特征图、上一层级的融合后特征图进行融合，获得当前层级的融合后特征图，包括：若当前层级为第一层级，将所述CNN特征图和所述Transformer特征图输入空间和通道混合注意力模型，获得第一注意力引导特征，将所述第一注意力引导特征设为所述当前层级的融合后特征图；否则，将所述CNN特征图和所述上一层级的融合后特征图输入空间和通道混合注意力模型，获得第二注意力引导特征；将第二注意力引导特征与所述Transformer特征图融合，获得所述当前层级的融合后特征图。3.如权利要求2所述的超声自动乳腺全容积图像的识别方法，其特征在于，所述空间和通道混合注意力模型包括空间注意力块和通道注意力块，将所述CNN特征图作为第一特征图，所述Transformer特征图或所述上一层级的融合后特征图作为第二特征图，将第一特征图和第二特征图输入空间和通道混合注意力模型，获得注意力引导特征，包括：将所述第一特征图输入空间注意力块，进行最大池化和平均池化的级联输出，获得空间注意力图；将所述第二特征图输入通道注意力块，进行最大池化和平均池化的并行输出并将输出结果相加，获得通道注意力图；将所述第二特征图与所述通道注意力图和所述空间注意力图连乘，并与所述第一特征图进行加权相加，获得所述注意力引导特征。4.如权利要求1所述的超声自动乳腺全容积图像的识别方法，其特征在于，所述Transformer网络分支包括Swin
‑
Transformer块，所述Swin
‑
Transformer块包括用于捕获更多全局信息的膨胀多头自注意力机制，所述膨胀多头自注意力机制与...
【专利技术属性】
技术研发人员：姜伟，邓晓妃，朱婷，杨意，柳懿垚，雷柏英，
申请(专利权)人：华中科技大学协和深圳医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。