本申请公开了一种基于多模态和多示例学习分类方法、预测方法及相关装置，方法包括获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。本申请将多模态数据和多示例相结合，能够有效地对多种模态的信息进行整合，并应用于真实数据，解决真实数据中子样本缺乏标签的情况，帮助任务取得更好的性能。帮助任务取得更好的性能。帮助任务取得更好的性能。
【技术实现步骤摘要】
基于多模态和多示例学习分类方法、预测方法及相关装置
[0001]本申请涉及医学图像处理
，特别涉及一种基于多模态和多示例学习分类方法、预测方法及相关装置。
技术介绍
[0002]机器学习(machine learning，ML)作为一种数据驱动的建模方法，通过挖掘数据内在特征和分布规律，能将数据分析转化为可量化且能轻松实现的任务。其中，深度学习(deep learning，DL)作为机器学习的新兴方法，近年来迅速发展，已在各个领域中取得广泛的应用。
[0003]目前普遍使用的深度学习模型普遍是采用单模态建模，这就使得模型性能有限。虽然有研究结合其他模态信息，但是普遍采用简单的像叠加融合，使得网络模型的性能未能有显著的提升。另外，在真实世界中普遍存在着包的标签已知而示例的标签未知的情况，例如，使用2D深度学习网络分析3D图像、分析药物分子功能等，这种情况会严重影响模型的推理性能。
[0004]因而现有技术还有待改进和提高。
技术实现思路
[0005]本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于多模态和多示例学习分类方法、预测方法及相关装置。
[0006]为了解决上述技术问题，本申请实施例第一方面提供了一种基于多模态和多示例学习分类方法，其特征在于，所述应用分类网络模型，所述方法包括：
[0007]获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；
[0008]基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；
[0009]基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；
[0010]基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。
[0011]所述基于多模态和多示例学习分类方法，其中，所述通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图具体包括：
[0012]分别将各模态数据输入所述分类网络模型中的特征提取模块；
[0013]通过所述特征提取模块获取各模态数据的模态特征图，其中，所述特征提取模块采用深度学习分割网络模型中的编码器。
[0014]所述基于多模态和多示例学习分类方法，其中，所述特征提取模块包括若干下采样单元和卷积单元，所述卷积单元包括若干卷积子单元和卷积层，若干卷积子单元依次级联，卷积层与位于最后的卷积子单元相连接；所述下采样单元包括依次级联的卷积单元、加
法器以及池化子单元，所述下采样单元中的卷积单元的输入项为所述加法器的输入项。
[0015]所述基于多模态和多示例学习分类方法，其中，所述基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图具体包括：
[0016]将各模态特征图划分为若干特征块，并获取每个特征块对应的位置嵌入；
[0017]对于每个特征块，将所述特征块转换为候选特征向量，并将所述候选特征向量与所述特征块对应嵌入进行拼接，以得到所述特征块对应的特征向量；
[0018]将各特征块对应的特征向量输入所述分类网络模型中的特征融合模块，通过所述特征融合模块输出所述目标物对应的融合特征。
[0019]所述基于多模态和多示例学习分类方法，其中，所述多示例结合模块包括聚类单元、注意力学习单元以及乘法器；所述基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征具体包括：
[0020]将所述述融合特征输入所述聚类单元，通过所述聚类单元对所述融合特征进行聚类，以得到聚类特征；
[0021]将所述聚类特征输入所述注意力学习单元，通过所述注意力学习单元确定注意力特征；
[0022]将所述聚类特征和所述注意力特征输入乘法器，通过所述乘法器确定多实例融合特征。
[0023]所述基于多模态和多示例学习分类方法，其中，所述基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别具体包括：
[0024]将所述融合特征与所述检查信息进行拼接，得到拼接特征；
[0025]将所述拼接特征输入表格数据学习模块，通过所述表格数据学习模块确定所述目标物对应的分类类别，其中，所述表格数据学习模块包括第一特征分离单元、并排设置的若干第二特征分离单元、若干激活函数层以及分类单元；第一特征分离单元确定的分离特征为最前的第二特征分离单元的输入项；相邻两个第二特征分离单元中前一第二特征分离单元确定的分离特征为后一第二特征分离单元的输入项；若干第二特征分离与若干激活函数层一一对应，各第二特征分离确定的分离特征通过各自对应的激活函数层后依次叠加，叠加得到的特征向量为分类单元的输入项。
[0026]本申请实施例第二方面提供了一种肝细胞癌术后早期复发预测方法，其特征在于，所述方法应用如上所述的多模态和多示例学习分类方法，所述的预测方法具体包括：
[0027]获取多模态数据，其中，每个模态数据均包含有肝部图像；
[0028]通过所述多模态和多示例学习分类方法，预测多模态数据对应的复发类别。
[0029]本申请实施例第三方面提供了一种基于多模态和多示例学习分类系统，所述系统包括：
[0030]特征提取模块，用于获取目标物的多模态数据，并获取各模态数据的模态特征图；
[0031]特征融合模块，用于基于各模态特征图确定融合特征图；
[0032]多示例结合模块，用于基于所述融合特征确定多实例融合特征；
[0033]表格数据学习模块，用于基于所述多实例融合特征及所述目标物对应的检查信息，确定所述目标物对应的分类类别。
[0034]本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于多模态和多示例学习分类方法中的步骤，和/或以实现如上所述的肝细胞癌术后早期复发预测方法中的步骤。
[0035]本申请实施例第五方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
[0036]所述通信总线实现处理器和存储器之间的连接通信；
[0037]所述处理器执行所述计算机可读程序时实现如上任一所述的基于多模态和多示例学习分类方法中的步骤，和/或实现如上所述的肝细胞癌术后早期复发预测方法中的步骤。
[0038]有益效果：与现有技术相比，本申请提供了一种基于多模态和多示例学习分类方法、预测方法及相关装置，方法包括获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；基于所述多实例融合特征、所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态和多示例学习分类方法，其特征在于，所述应用分类网络模型，所述方法包括：获取目标物的多模态数据，并通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图；基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图；基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征；基于所述多实例融合特征、所述目标物对应的检查信息以及所述分类网络模型中的表格数据学习模块，确定所述目标物对应的分类类别。2.根据权利要求1所述基于多模态和多示例学习分类方法，其特征在于，所述通过所述分类网络模型中的特征提取模块获取各模态数据的模态特征图具体包括：分别将各模态数据输入所述分类网络模型中的特征提取模块；通过所述特征提取模块获取各模态数据的模态特征图，其中，所述特征提取模块采用深度学习分割网络模型中的编码器。3.根据权利要求2所述基于多模态和多示例学习分类方法，其特征在于，所述特征提取模块包括若干下采样单元和卷积单元，所述卷积单元包括若干卷积子单元和卷积层，若干卷积子单元依次级联，卷积层与位于最后的卷积子单元相连接；所述下采样单元包括依次级联的卷积单元、加法器以及池化子单元，所述下采样单元中的卷积单元的输入项为所述加法器的输入项。4.根据权利要求1所述基于多模态和多示例学习分类方法，其特征在于，所述基于各模态特征图和所述分类网络模型中的特征融合模块，确定融合特征图具体包括：将各模态特征图划分为若干特征块，并获取每个特征块对应的位置嵌入；对于每个特征块，将所述特征块转换为候选特征向量，并将所述候选特征向量与所述特征块对应嵌入进行拼接，以得到所述特征块对应的特征向量；将各特征块对应的特征向量输入所述分类网络模型中的特征融合模块，通过所述特征融合模块输出所述目标物对应的融合特征。5.根据权利要求1所述基于多模态和多示例学习分类方法，其特征在于，所述多示例结合模块包括聚类单元、注意力学习单元以及乘法器；所述基于所述融合特征以及所述分类网络模型中的多示例结合模块，确定多实例融合特征具体包括：将所述述融合特征输入所述聚类单元，通过所述聚类单元对所述融合特征进行聚类，以得到聚类特征；将所述聚类特征输入所述注意力学习单元，通过所述注意力学习单元确定注意力特征；将所述聚类特征和所述注意力特征输入乘法器，通过所述乘法器确定多实例融合特征。6.根据权利要求1所述基于多模态和多示例学习分类方法...
【专利技术属性】
技术研发人员：黄炳升，刘锐豪，胡艺栏，吴大盛，冯仕庭，王霁朏，孙美丽，谢传淼，彭振鹏，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。