基于多模态三维卷积神经网络的图像分类方法及系统技术方案

本申请提供一种基于多模态三维卷积神经网络的图像分类方法及系统，所述方法可以在获取到不同模态的第一模态图像和第二模态图像后，通过图像分割模型提取实质掩膜，同时根据缩放因子实现第一模态图像和第二模态图像之间的位置对应，从而在第一模态图像中提取第一实质区域，在第二模态图像中提取第二实质区域。再通过图像分类模型对第一实质区域和第二实质区域进行特征提取、模态融合及特征分类，得到分类结果。所述方法将图像分割模型和图像分类模型串联联合，并采用多模态输入的三维卷积神经网络实现图像的分类，输入为两种不同模态的图像数据，使用神经网络对其进行特征提取后，将两种特征进行级联融合，从而得到分类预测结果，提高分类精度。提高分类精度。提高分类精度。

【技术实现步骤摘要】
基于多模态三维卷积神经网络的图像分类方法及系统


[0001]本申请涉及图像处理
，尤其涉及一种基于多模态三维卷积神经网络的图像分类方法及系统。

技术介绍

[0002]图像分类是指根据图像信息中所反映的不同特征，将图像划归为若干个类别中的某一种。图像分类可以应用在多种领域，例如，医学成像、人工智能、深度学习、医学图像分析、肺结节诊断等领域。例如，对于肺结节早期临床影像诊断领域，肺结节筛查主要是借助计算机断层扫描(Computed Tomography，CT)或正电子发射断层扫描(Positron Emission Tomography，PET)对用户肺部成像，用户再通过肉眼观察肺部成像来鉴别肺结节，并对其进行良恶性分类，由于存在人为主观因素、时间限制以及各种解释的差异，导致对这些图像的分析存在局限性，从而存在误判的风险。因此，可以基于人工智能方法对肺部成像进行检测分类，进而辅助鉴别肺结节的类别，提高筛查效率和准确率。
[0003]可以采用深度学习技术实现图像自动化分类处理。深度学习可以从不同的图像中自动学习并提取图像的特征信息，以进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态三维卷积神经网络的图像分类方法，其特征在于，包括：获取第一模态图像和第二模态图像，所述第一模态图像为基于计算机断层扫描技术对待测区域成像得到的图像，所述第二模态图像为基于正电子发射断层扫描技术对待测区域成像得到的图像；将所述第一模态图像输入图像分割模型中，以获得所述图像分割模型输出的第一实质掩膜，所述图像分割模型为根据第一样本图像数据集训练获得的神经网络模型；基于缩放因子缩放所述第一实质掩膜，以得到第二实质掩膜，所述缩放因子为所述第一模态图像和所述第二模态图像之间的待测区域实质成像比例；按照所述第一实质掩膜在所述第一模态图像中提取第一实质区域；按照所述第二实质掩膜在所述第二模态图像中提取第二实质区域；将所述第一实质区域和所述第二实质区域输入图像分类模型中，以获得所述图像分类模型输出的分类结果，所述分类结果包括第一结果和第二结果，所述图像分类模型为根据第一样本实质区域数据集和第二样本实质区域数据集训练获得的神经网络模型。2.根据权利要求1所述的分类方法，其特征在于，所述方法还包括：获取第一样本图像数据集，所述第一样本图像数据集包括多个标记有不同实质掩膜的第一样本图像；构建第一神经网络模型；根据所述第一样本图像数据集训练所述第一神经网络模型，以获得图像分割模型。3.根据权利要求2所述的分类方法，其特征在于，获取第一样本图像集的步骤之后，还包括：按照预设图像规格对所述第一样本图像执行图像重采样；按照预设窗宽窗位值调整所述第一样本图像的窗宽窗位。4.根据权利要求2所述的分类方法，其特征在于，所述图像分割模型包括多个编码器和多个解码器，所述编码器包括卷积层和池化层，所述解码器包括反卷积层和跳跃连接层，所述跳跃连接层用于将所述编码器中的特征图与所述解码器中的具有位置对应关系的特征图进行融合，所述编码器中的特征图通过对所述第一模态图像执行卷积操作和池化操作得到，所述解码器中的特征图通过对所述编码器中的特征图执行反卷积操作和跳跃连接操作得到，所述位置对应关系用于表征所述编码器中的特征图和所述解码器中的特征图尺寸相同的关系。5.根据权利要求1所述的分类方法，其特征在于，基于缩放因子缩放所述第二模态图像和所述第一实质区域的步骤，还包括：构建坐标系；按照所述坐标系将所述第一模态图像和所述第二模态图像进行数据配准，以得到同一坐标系下所述第一模态图...

【专利技术属性】
技术研发人员：胡斌，姚志军，俞建栋，李同同，
申请(专利权)人：兰州大学，
类型：发明
国别省市：