一种多模态深度神经网络的特征融合方法技术

本发明专利技术公开了一种多模态深度神经网络的特征融合方法，在多模态深度三维CNN里，通过在深度学习特征域上，利用压缩激励（squeeze and excitation,S&E）模块，可获得关于模态之间的通道注意力掩膜，即在所有模态中，给予那些对于任务目标有着显著帮助的通道更大的关注，从而显式地建立了多模态三维深度特征图在通道上的权重分布；随后，利用四维卷积和Sigmoid激活函数计算，可获得关于模态之间的空间注意力掩膜，即在每个模态的三维特征图中，空间中哪些位置需要给予更大的关注，从而显式地建立了多模态三维深度特征图在空间上的相关性，对模态、通道、空间中具有重要信息的位置给予更大的关注，从而提高多模态智能诊断系统的诊断效能。能。能。

【技术实现步骤摘要】
一种多模态深度神经网络的特征融合方法


[0001]本专利技术涉及医学影像领域和深度学习领域，尤其涉及一种多模态深度神经网络的特征融合方法。

技术介绍

[0002]现有的肿瘤检测诊断手段通常通过医学影像技术实现的，包括平面X光成像、CT、MRI、PET/CT、超声等模态，对从影像中发现的可疑病灶进行组织活检。但由于肿瘤具有异质性的原因，其性质并不能被单一模态影像上全部表征。如在平面X光和CT影像上，所表征的是肿瘤组织对X射线的吸收程度；而在MRI影像上，所表征的是肿瘤组织的氢质子密度；在FDG PET/CT上，所表征的是肿瘤组织代谢葡萄糖的活度；在超声影像上，所表征的是肿瘤组织的对声波的反射程度。因此，现在越来越多基于多模态影像的临床研究，旨在提供更加全面的、综合的、多维度的诊断和预后预测的指标，帮助医生制定治疗方案，从而实现精准医疗。
[0003]深度卷积神经网络（convolutional neural network，CNN）是近年构建医学人工智能模型的常用方法之一，它通过多层的卷积处理提取图像的高阶特征信息，同时结合池化处理以降低特征的维度，所提取的高阶特征则输入后续特定网络进行特定任务，如分类、分割、配准、检测、降噪等。目前有越来越多的基于多模态影像的研究使用CNN进行，其诊断效能比单一模态有显著的提升。
[0004]关于现有的基于CNN的多模态智能诊断模型，基本上使用以下三种方法进行各个模态之间的特征融合：（1）多支路：有多条深度卷积神经网络分支，每条分支负责一个模态卷积计算，在每条分支的同一分级上，对所有深度特征图进行相加融合；（2）多通道：在数据输入的时候，把不同模态的图像叠加成一个多通道图像作为输入；（3）图像融合：在数据输入的时候，使用特定的图像融合算法，把多个模态的图像进行融合，获得一个单通道的融合图像作为输入。而这些方法都没有对各个模态的特征权重分布进行分析和处理，只是进行了简单的直接相加、叠加或融合。本专利技术提出的方式是对深度学习特征域上，对模态、通道、空间中具有重要信息的位置给予更大的关注，从而提高多模态智能诊断系统的诊断效能。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的不足，提供了一种多模态深度神经网络的特征融合方法。在多模态深度三维CNN里，利用压缩激励（squeeze and excitation, S&E）模块，可获得关于模态之间的通道注意力掩膜，即在所有模态中，给予那些对于任务目标有着显著帮助的通道更大的关注，从而显式地建立了多模态三维深度特征图在通道上的权重分布；随后，利用四维卷积和Sigmoid激活函数计算，可获得关于模态之间的空间注意力掩膜，即在每个模态的三维特征图中，空间中哪些位置需要给予更大的关注，从而显式地建立了多模态三维深度特征图在空间上的相关性。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种多模态深度神经网络的特征融
合方法，具体包括：步骤一：在多分支（multi-branch，MB）的多模态（multi-modality，MM）深度CNN中，将每个分支的第n级输出的三维特征图在通道维度上进行叠加，获得一个原通道数x倍的三维特征图，x表示分支数；对其在深、高、宽三个维度上进行平均池化，并压缩获得一个通道维度的一维向量；对一维向量进行下采样上采样处理，并使用激活函数Sigmoid计算后获得多模态通道注意力掩膜；将多模态通道注意力掩膜与原通道数x倍的三维特征图进行相乘获得多模态三维特征图，将多模态三维特征图在通道上按原分支模态下的通道数进行拆分，获得在多模态上加权后的x个单模态三维特征图；其中，每个模态输出的三维特征图其通道数、深、高、宽均相同。
[0007]步骤二：对多模态三维特征图在通道维度上进行一维平均池化和一维最大池化计算获得两个池化后的三维特征图，在两个池化后的三维特征图中分别新建模态维，并在模态维上进行叠加得到一个四维特征图；使用x个四维卷积核对四维特征图进行卷积，使四维卷积核学习如何获得x个模态在空间上的权重分布。其中，卷积输出的通道数为x，分别对应于每个模态；对每个输出使用激活函数Sigmoid 进行计算，并在模态维度上进行压缩，获得x个单模态空间注意力掩膜；步骤三：将步骤二获得的单模态空间注意力掩膜与步骤一获得的单模态三维特征图按对应的模态进行相乘，获得多模态融合特征图，完成多模态的特征融合。
[0008]进一步地，所述步骤一获得的单模态三维特征图作为对应分支下一级特征融合的输入。
[0009]进一步地，所述模态包括平面X光成像、CT、MRI、PET/CT、超声图等中的至少两种。
[0010]进一步地，多分支的多模态深度卷积神经网络为ResNet、Faster RCNN、U-Net或CenterNet。
[0011]本专利技术的有益效果是，本专利技术利用了多模态通道和空间注意力机制，使得多模态深度特征图在多支路深度CNN的每一级上可以进行更加精巧的融合，对多模态特征图中关于通道、模态、空间中具有重要性信息的位置给予更大关注，从而最大化多模态深度CNN智能诊断模型的性能。
附图说明
[0012]图1是本专利技术以PET/CT双模态为例的双模态深度特征融合方法的流程图；图2是U-Net网络结构示意图。
具体实施方式
[0013]下面以PET/CT双模态为例（即x=2时），结合附图详细说明本专利技术。
[0014]如图1所示，本专利技术方法具体包括如下步骤：步骤一：在双分支的双模态三维CNN中，两条分支分别对应着PET模态的卷积支路和CT模态的卷积支路。对于两个所述三维卷积支路的第n级输出的三维特征图，将两个模态的三维特征图在通道维度上进行叠加，获得一个原通道数两倍的三维特征图。接着对其在深、高、宽三个维度上进行平均池化，并压缩深、高、宽三个维度，可获得一个通道维度的一维向量。对其以压缩比16：1：16进行下采样上采样处理后，并使用激活函数Sigmoid计算后，获得
双模态PET-CT特征图关于各个通道的权重分布，即双模态通道（时序）注意力掩膜。最后把该双模态通道注意力掩膜与先前叠加的原通道数两倍的三维特征图进行相乘，随后在通道上按1：1进行拆分，可获得在PET-CT模态上加权后的两个单模态三维特征图。具体包括以下子步骤：（1.1）在双支路深度三维CNN的第n级中，CT支路的特征图为u
ct (c, d, h, w)，PET支路的特征图为u
pt (c, d, h, w)，首先对CT和PET支路的三维特征图在通道维度上进行叠加，获得叠加三维特征图u
stack (2
×
c, d, h, w)；其中，c, d, h, w分别表示通道、深度、高度和宽度。
[0015]（1.2）使用公式（1）对叠加三维特征图在深度、高度、宽度这三个维度上进行平均池化获得z
stack (2
×
c, 1, 1, 1)，并对这三个维度进行压缩，可获得池化后三维特征图z
stack (本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态深度神经网络的特征融合方法，其特征在于，具体包括：步骤一：在多分支的多模态深度卷积神经网络中，将每个分支的第n级输出的三维特征图在通道维度上进行叠加，获得一个原通道数x倍的三维特征图，x表示分支数；对其在深、高、宽三个维度上进行平均池化，并压缩获得一个通道维度的一维向量；对一维向量进行下采样上采样处理，并使用激活函数Sigmoid计算后获得多模态通道注意力掩膜；将多模态通道注意力掩膜与原通道数x倍的三维特征图进行相乘获得多模态三维特征图，将多模态三维特征图在通道上按原分支模态下的通道数进行拆分，获得在多模态上加权后的x个单模态三维特征图；步骤二：对多模态三维特征图在通道维度上分别进行一维平均池化和一维最大池化计算获得两个池化后的三维特征图，在两个池化后的三维特征图中新建模态维，并在模态维上叠加得到一个四维特征图；使用x个四维...

【专利技术属性】
技术研发人员：陈凌，朱闻韬，张铎，申慧，李辉，叶宏伟，王瑶法，
申请(专利权)人：明峰医疗系统股份有限公司，
类型：发明
国别省市：