本申请是一种多模态图像分割方法、装置、设备及存储介质，具体涉及图像检测技术领域。所述方法包括：获取至少两种模态的目标图像数据；针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；将各层图像特征按照层级进行融合，获得各层融合特征；基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。基于上述方案，提高了目标检测模型的图像分割准确度。检测模型的图像分割准确度。检测模型的图像分割准确度。
【技术实现步骤摘要】
一种多模态图像分割方法、装置、设备及存储介质
[0001]本申请涉及图像检测领域，具体涉及一种多模态图像分割方法、装置、设备及存储介质。
技术介绍
[0002]磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术。深度学习是机器学习的一种，目的是学习样本数据的内在规律和表示层次，从而对目标数据进行识别。
[0003]传统方法中通过专家对磁共振图像进行观察，以判断磁共振图像中是否包含病灶信息。近年来，深度学习逐渐运用在磁共振图像分割任务中，此方法需要通过人工将磁共振图像中的病灶信息进行标注，以对目标检测模型进行训练，获取磁共振图像分割结果。
[0004]然而，上述方法在进行磁共振图像分割任务时需要大量的样本且识别准确度不高。
技术实现思路
[0005]本申请提供了一种多模态图像分割方法、装置、设备及存储介质，在进行图像分割时，识别准确度高，该技术方案如下。
[0006]一方面，提供了一种多模态图像分割方法，所述方法包括：
[0007]获取至少两种模态的目标图像数据；
[0008]针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
[0009]将各层图像特征按照层级进行融合，获得各层融合特征；
[0010]基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。
[0011]又一方面，提供了一种多模态图像分割方法，所述方法包括：
[0012]获取至少两种模态的样本图像数据；所述样本图像数据上包含有数据标注；
[0013]针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
[0014]将各层样本图像特征按照层级进行融合，获得各层样本融合特征；
[0015]基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；
[0016]根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
[0017]又一方面，提供了一种多模态图像分割装置，所述装置包括：
[0018]第一数据获取模块，用于获取至少两种模态的目标图像数据；
[0019]第一下采样模块，用于针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
[0020]第一特征融合模块，用于将各层图像特征按照层级进行融合，获得各层融合特征；
[0021]第一上采样模块，用于基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。
[0022]在一种可能的实现方式中，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；
[0023]所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：
[0024]所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；
[0025]针对每个中间层上采样模块，将所述中间层上采样模块的下层上采样模块输出的上采样结果，与所述中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过所述中间层上采样模块，对所述中间融合特征进行上采样处理，获得所述中间层上采样模块输出的上采样结果；
[0026]将所述顶层上采样模块的下层上采样模块输出的上采样结果，与所述顶层上采样模块对应层级的融合特征进行融合，并通过所述顶层上采样模块对融合后的特征进行处理，获得所述目标分割结果。
[0027]在一种可能的实现方式中，每层所述下采样模块中都具有至少两种下采样分支；
[0028]所述针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：
[0029]针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。
[0030]在一种可能的实现方式中，所述下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；
[0031]所述第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；
[0032]所述第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；
[0033]所述激活模块用于对所述第一结果与第二结果的融合结果进行处理，以得到所述下采样模块对应层级的图像特征。
[0034]在一种可能的实现方式中，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。
[0035]又一方面，提供了一种多模态图像分割装置，所述装置包括：
[0036]第二数据获取模块，用于获取至少两种模态的样本图像数据；所述样本图像数据
上包含有数据标注；
[0037]第二下采样模块，用于针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
[0038]第二特征融合模块，用于将各层样本图像特征按照层级进行融合，获得各层样本融合特征；
[0039]第二上采样模块，用于基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；
[0040]训练模块，用于根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
[0041]在一种可能的实现方式中，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；
[0042]所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：
[0043]所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；...
【技术保护点】
【技术特征摘要】
1.一种多模态图像分割方法，其特征在于，所述方法包括：获取至少两种模态的目标图像数据；针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；将各层图像特征按照层级进行融合，获得各层融合特征；基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。2.根据权利要求1所述的方法，其特征在于，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；针对每个中间层上采样模块，将所述中间层上采样模块的下层上采样模块输出的上采样结果，与所述中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过所述中间层上采样模块，对所述中间融合特征进行上采样处理，获得所述中间层上采样模块输出的上采样结果；将所述顶层上采样模块的下层上采样模块输出的上采样结果，与所述顶层上采样模块对应层级的融合特征进行融合，并通过所述顶层上采样模块对融合后的特征进行处理，获得所述目标分割结果。3.根据权利要求2所述的方法，其特征在于，每层所述下采样模块中都具有至少两种下采样分支；所述针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。4.根据权利要求3所述的方法，其特征在于，所述下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；所述第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；所述第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；所述激活模块用于对所述第一结果与第二结果的融合结果进行处理，以得到所述下采样模块对应层级的图像特征。5.根据权利要求4所述的方法，其特征在于，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。6.一种多模态图像分割方法，其特征在于，所述方法包括：
获取至少两种模态的...
【专利技术属性】
技术研发人员：戴亚康，周志勇，耿辰，胡冀苏，钱旭升，郑毅，
申请(专利权)人：苏州国科康成医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。