【技术实现步骤摘要】
基于深度学习的多模态数据分类方法、装置及计算机设备
[0001]本申请涉及数据分类
，特别是涉及一种基于深度学习的多模态数据分类方法、装置及计算机设备。
技术介绍
[0002]近年来，深度学习作为近年发展最快的人工智能技术之一，已经在数据分类领域得到的广泛的应用，例如，将深度学习应用于医学数据分类等。
[0003]传统技术中，通常是基于深度学习对采集到的医学影像进行分类处理。然而，由于疾病的多样性和临床的复杂性，人口学信息也可能对分类结果产生影响，若仅考虑对医学影像进行分类处理，存在分类结果准确度低的问题。
[0004]基于此，考虑到现有临床影像数据特征提取的局限性以及临床采集数据的多样性，传统技术中亟需一种能够对多种数据源类型的多模态数据进行分类的方法。
技术实现思路
[0005]针对上述技术问题，本申请提供一种能够对多种数据源类型的多模态数据进行分类的基于深度学习的多模态数据分类方法、装置及计算机设备。
[0006]第一方面，本申请提供了一种基于深度学习的多模态数据分类方法。...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的多模态数据分类方法，其特征在于，所述方法包括：获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；将所述数据特征输入训练好的分类器，确定分类结果。2.根据权利要求1所述的方法，其特征在于，所述特征提取模型通过如下方式训练得到：获取训练集，所述训练集包括训练医学图像以及对应的特征标签；基于所述训练集训练第一初始模型，得到所述特征提取模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：将所述训练医学图像输入第二初始模型，得到辅助图像特征；基于所述训练医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集；基于所述训练集以及所述特征集训练第一初始模型，得到所述特征提取模型。4.根据权利要求3所述的方法，其特征在于，所述基于所述医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集包括：确定所述辅助图像特征之间的相似度，基于所述医学图像的种类以及所述相似度对所述辅助图像特征进行分类，确定不同种类的特征集。5.根据权利要求3所述的方法，其特征在于，在基于所述训练集以及所述特征集训练第一初始模型之后包括：基于所述第一初始模型的参数更新所述第二初始模型。6.根据权利要求2所述的方法，其特征在于，所述训练集还包括病灶分割标签，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：将所述医学图像输入所述第一初始模型，得到预测特征；将所述预测特征输入病灶分割模型，确定预测病灶分割结果；基于所述病灶分割结果以及病灶分割标签确定第一损失函数；基于所述特征标签以及预测特征确定第二损失函数；基于所述第一损失函数以及第二损失函数更新所述第一初始模...
【专利技术属性】
技术研发人员：赵博涛，张瑜，蒋田仔，刘盛锋，程禄祺，钱浩天，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。