一种多模态医学影像快速检测方法技术

本发明专利技术涉及医学影像检测的技术领域，揭露了一种多模态医学影像快速检测方法，所述方法包括：构建医学影像多模态特征提取网络；构建医学影像深度融合网络；构建基于医学影像数据点变换策略的医学影像检测网络；确定医学影像检测多目标优化函数；将所构建医学影像多模态特征提取网络、医学影像深度融合网络以及医学影像检测网络依次进行拼接，得到医学影像检测模型，并基于医学影像检测多目标优化函数对模型参数进行求解，将待检测的医学影像输入到优化求解后的医学影像检测模型中，得到医学影像中的病变区域位置。本发明专利技术实现医学影像的多模态尺度特征提取，以及所提取特征在语义信息以及空间信息上的融合，提高医学影像中病变区域检测的准确性。检测的准确性。检测的准确性。

【技术实现步骤摘要】
一种多模态医学影像快速检测方法


[0001]本专利技术涉及医学影像检测的
，尤其涉及一种多模态医学影像快速检测方法。

技术介绍

[0002]在人工智能飞速发展的今天，计算机辅助诊断技术逐渐被提出和认可。该技术采用人工智能的手段，配合人工观察，从而达到降低由人工诊断产生的错误和疏漏的目的。计算机辅助诊断系统融合了计算机视觉相关的多项任务，包括目标检测、分割、分类以及病灶识别等，作为病灶分割和分类的先导任务，病变区域检测提供了病灶的位置以及相应的置信度，为后续的病灶分割和分类降低了难度。然而在医学影像中存在大量的小型病变区域，不仅在放射科医生日常诊断中很难被发现，目前较为先进的检测器也很难做到精准框定它们的位置。针对该问题，本专利提出一种多模态医学影像快速检测方法，提高医学影像检测效率和准确性。

技术实现思路

[0003]有鉴于此，本专利技术提供一种多模态医学影像快速检测方法，目的在于：1)由于不同病变类型的病变区域形状以及大小不同，单一尺度下的医学影像特征图难以检测到全部病变区域，通过构建医学影像多模态特征提取模型，提取到待检测医学影像在尺度{1,1/2,1/4,...,1/2
n
}上的特征信息，实现医学影像的多模态尺度特征提取，进而提高医学影像中病变区域检测的准确性；2)由于尺度最小的特征包含了最为丰富的图像语义信息，而尺度最大的特征包含了最为丰富的图像空间信息，基于图像语义特征构建不同尺度的中间层，以包含最丰富空间信息的底层特征为基础，与对应尺度的中间层进行特征融合，融合后的特征结合医学影像的语义信息以及空间信息，提高了病变区域检测的准确性。
[0004]实现上述目的，本专利技术提供的一种多模态医学影像快速检测方法，包括以下步骤：
[0005]S1：构建医学影像多模态特征提取网络，所述医学影像多模态特征提取网络通过接收待检测的医学影像，得到不同模态的医学影像特征；
[0006]S2：构建医学影像深度融合网络，通过将不同模态的医学影像特征输入深度融合网络中得到医学影像融合特征，所述医学影像深度融合网络通过多路径融合方式结合医学影像的语义信息以及空间信息；
[0007]S3：构建基于医学影像数据点变换策略的医学影像检测网络，所述医学影像检测网络利用医学影像数据点变换策略预测医学影像融合特征中病变区域的中心坐标，非线性数据点变换为所述医学影像数据点变换策略的主要方法；
[0008]S4：确定医学影像检测多目标优化函数，所述目标优化函数包括病变区域中心点预测和边界框尺寸预测优化函数；
[0009]S5：将所构建医学影像多模态特征提取网络、医学影像深度融合网络以及医学影像检测网络依次进行拼接，得到医学影像检测模型，并基于医学影像检测多目标优化函数
对模型参数进行求解，将待检测的医学影像输入到优化求解后的医学影像检测模型中，检测得到医学影像中的病变区域位置。
[0010]作为本专利技术的进一步改进方法：
[0011]可选地，所述S1步骤中构建医学影像多模态特征提取网络，包括：
[0012]所述医学影像多模态特征提取网络的输入为待检测的医学影像，输出为待检测医学影像在不同模态尺度上的医学影像特征；
[0013]在本专利技术实施例中，所述待检测医学影像的尺寸规格为512
×
512像素；
[0014]所述医学影像多模态特征提取网络包括预处理单元以及多个堆叠的尺度特征提取单元；
[0015]所述预处理单元为卷积层以及下采样层，所述卷积层中卷积核的大小为3
×
3像素，步长为2，卷积层输出特征图的通道数为128，所述下采样层对卷积层输出特征图进行2倍的下采样操作，得到通道数为256的特征图f0(x)，其中x表示输入医学影像多模态特征提取网络的待检测医学影像；
[0016]所述多个堆叠的尺度特征提取单元结构为：
[0017](c1,c2,...c
i
,,...,c
n
)
[0018]其中：
[0019]c
i
表示所堆叠的第i个尺度特征提取单元，n表示医学影像多模态特征提取网络中尺度特征提取单元的总数；
[0020]尺度特征提取单元c
i
接收c
i
‑1所提取的特征图f
i
‑1(x)，利用最大池化层对特征图f
i
‑1(x)进行2倍的下采样处理，并利用残差模块对下采样结果f
i
‑1(x)
′
进行残差处理，得到尺度特征提取单元c
i
所提取的特征图f
i
(x)，对特征图f
i
(x)进行复制操作，并将特征图f
i
(x)输入到尺度特征提取单元c
i+1
中；
[0021]所述残差模块包含三个卷积核尺寸不同的卷积层，三个卷积核的尺寸分别为1
×
1、3
×
3以及1
×
1，每个卷积层前具有归一化层以及ReLU激活层，所述残差模块对下采样结果f
i
‑1(x)
′
的残差处理流程为：
[0022]利用归一化层以及ReLU激活层对下采样结果f
i
‑1(x)
′
进行归一化处理以及加入非线性因素；
[0023]将处理后的特征输入到卷积核尺寸为1
×
1像素的卷积层中；
[0024]重复上述步骤，将卷积特征依次输入到卷积核尺寸为3
×
3以及1
×
1像素的卷积层中，得到残差处理结果。
[0025]需要说明的是，第1个尺度特征提取单元所提取的特征图的尺度为原始特征图f0(x)的1/2，后续尺度特征提取单元对位置靠前的尺度特征提取单元的输出结果进行下采样处理，所堆叠第n个尺度特征提取单元所提取的特征图尺度为原始特征图f0(x)的1/2
n
，因此所述医学影像多模态特征提取模型可以提取到待检测医学影像在尺度{1,1/2,1/4,...,1/2
n
}上的特征信息，实现医学影像的多模态尺度特征提取，进而实现不同尺度病变区域的识别检测。
[0026]可选地，所述S2步骤中构建医学影像深度融合网络，包括：
[0027]构建医学影像深度融合网络，所述医学影像深度融合网络的输入为不同尺度模态的医学影像特征(f0(x),f1(x),...,f
i
(x),...,f
n
(x))，其中f
i
(x)表示尺度为1/2
i
的医学影
像特征图，输出为医学影像融合特征；
[0028]所述医学影像深度融合网络的融合流程为：
[0029]S21：医学影像深度融合网络接收医学影像特征，利用卷积层提取f
n
(x)的特征图作为深层语义本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态医学影像快速检测方法，其特征在于，所述方法包括：S1：构建医学影像多模态特征提取网络，所述医学影像多模态特征提取网络通过接收待检测的医学影像，得到不同模态的医学影像特征；S2：构建医学影像深度融合网络，通过将不同模态的医学影像特征输入深度融合网络中得到医学影像融合特征，所述医学影像深度融合网络通过多路径融合方式结合医学影像的语义信息以及空间信息，包括：构建医学影像深度融合网络，所述医学影像深度融合网络的输入为不同尺度模态的医学影像特征(f0(x)，f1(x)，...，f
i
(x)，...，f
n
(x))，其中f
i
(x)表示尺度为1/2
i
的医学影像特征图，输出为医学影像融合特征；所述医学影像深度融合网络的融合流程为：S21：医学影像深度融合网络接收医学影像特征，利用卷积层提取f
n
(x)的特征图作为深层语义特征m
n
(x)，所述卷积层的卷积核大小为3
×
3像素，步长为1；S22：对m
n
(x)进行2倍的上采样迭代操作得到中间层(m
n
‑1(x)，...，m
i
(x)，...，m0(x))；S23：基于中间层以及不同尺度模态的医学影像特征进行特征融合，得到不同模态尺度医学特征的融合特征，其中所述特征图f
i
(x)的融合特征表示为F
i
(x)，所述特征融合公式为：其中：Dconv(
·
)表示深度可分离卷积操作，w
i
表示对f
i
(x)进行深度可分离卷积处理的权重；ε表示平滑系数，将其设置为0.1；Conv(
·
)表示卷积处理操作，所述卷积处理操作的卷积核大小为3
×
3像素；sample(
·
)表示2倍的上采样处理操作；所述不同尺度模态的医学影像特征(f0(x)，f1(x)，...，f
i
(x)，...，f
n
(x))的医学影像融合特征为(F0(x)，F1(x)，...，F
i
(x)，...，F
n
(x))；S3：构建基于医学影像数据点变换策略的医学影像检测网络，所述医学影像检测网络利用医学影像数据点变换策略预测医学影像融合特征中病变区域的中心坐标，非线性数据点变换为所述医学影像数据点变换策略的主要方法；S4：确定医学影像检测多目标优化函数，所述目标优化函数包括病变区域中心点预测和边界框尺寸预测优化函数；S5：将所构建医学影像多模态特征提取网络、医学影像深度融合网络以及医学影像检测网络依次进行拼接，得到医学影像检测模型，并基于医学影像检测多目标优化函数对模型参数进行求解，将待检测的医学影像输入到优化求解后的医学影像检测模型中，检测得到医学影像中的病变区域位置。2.如权利要求1所述的一种多模态医学影像快速检测方法，其特征在于，所述S1步骤中构建医学影像多模态特征提取网络，包括：所述医学影像多模态特征提取网络的输入为待检测的医学影像，输出为待检测医学影
像在不同模态尺度上的医学影像特征；所述医学影像多模态特征提取网络包括预处理单元以及多个堆叠的尺度特征提取单元；所述预处理单元为卷积层以及下采样层，所述卷积层中卷积核的大小为3
×
3像素，步长为2，卷积层输出特征图的通道数为128，所述下采样层对卷积层输出特征图进行2倍的下采样操作，得到通道数为256的特征图f0(x)，其中x表示输入医学影像多模态特征提取网络的待检测医学影像；所述多个堆叠的尺度特征提取单元结构为：(c1，c2，...c
i
，，...，c
n
)其中：c
i
表示所堆叠的第i个尺度特征提取单元，n表示医学影像多模态特征提取网络中尺度特征提取单元的总数；尺度特征提取单元c
i
接收c
i
‑1所提取的特征图f
i
‑1(x)，利用最大池化层对特征图f
i
‑1(x)进行2倍的下采样处理，并利用残差模块对下采样结果f
i
‑1(x)
′
进行残差处理，得到尺度特征提取单元c
i
所提取的特征图f
i
(x)，对特征图f
i
(x)进行复制操作，并将特征图f
i
(x)输入到尺度特征提取单元c
i+1
中；所述残差模块包含三个卷积核尺寸不同的卷积层，三个卷积核的尺寸分别为1
×
1、3
×
3以及1
×
1，每个卷积层前具有归一化层以及ReLU激活层，所述残差模块对下采样结果f
i
‑1(x)
′
的残差处理流程为：利用归一化层以及ReLU激活层对下采样结果f
i
‑1(x)
′
进行归一化处理以及加入非线性因素；将处理后的特征输入到卷积核尺寸为1
×
1像素的卷积层中；重复上述步骤，将卷积特征依次输入到卷积核尺寸为3
×
3以及1
×
1像素的卷积层中，得到残差处理结果。3.如权利要求1所述的一种多模态医学影像快速检测方法，其特征在于，所述S3步骤中构建医学影像检测网络，包括：所述医学影像检测网络以医学影像融合特征为输入，以病变区域位置为输出，所述病变区域位置包括病变区域中心坐标以及边界框；所述医学影像检测网络的检测流程为：S31：预构建不同尺度1/2
i
下的不同病变类型的病变区域矩形包围框，i∈[1，n]；S32：将医学影像融合特征输入到医学影像检测网络中，利用预测卷积层在不同尺度2<...

【专利技术属性】
技术研发人员：王浩，时广轶，常瀛修，裘玮晶，宿禹昌，
申请(专利权)人：江苏瑞康成医疗科技有限公司，
类型：发明
国别省市：