【技术实现步骤摘要】
基于多模态数据的病灶分类方法及相关产品
本申请涉及神经网络
，具体涉及一种基于多模态数据的病灶分类方法及相关产品。
技术介绍
随着人工智能的发展，神经网络应用的范围越来越广泛。使用神经网络进行图像分类已经成为人们生活的一部分。例如，使用预先训练好的神经网络对监控视频中的人物识别或者对核磁共振图像中肿瘤识别。虽然神经网络对图像分类有着不错的表现。但是，目前的神经网络通常都是通过加深网络结构，对同一模态的图像进行特征提取和分析，以获取该图像的深层特征。对于图像分类来说，每次分类任务可能存在多个模态下的待分类图像，但是，在实际分类过程中只利用一个模态下的待分类图像进行图像分类。例如，在进行病灶分类的过程中，可以使用灰度医学图像或彩色医学图像进行病灶分类。因此，在进行病灶分类的过程中，使用的图像数据比较单一，导致分类精度比较低。
技术实现思路
本申请实施例提供了一种基于多模态数据的病灶分类方法及相关产品，使用多模态下的图像数据进行图像分类，提高分类精度。第一方面，本申请实施例提供一种基于多模...
【技术保护点】
1.一种基于多模态数据的病灶分类方法，其特征在于，所述方法通过神经网络执行，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述方法包括：/n获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；/n通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；/n通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；/n通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；/n根据所述第一特征...
【技术特征摘要】
1.一种基于多模态数据的病灶分类方法，其特征在于，所述方法通过神经网络执行，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述方法包括：
获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；
通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；
通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；
通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
2.根据权利要求1所述的方法，其特征在于，所述第一网络包括两个第一子网络，所述第二网络包括两个第二子网络，所述通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图，包括：
通过第一个第一子网络对所述第一医学图像进行特征提取，得到第一子特征图；
通过第一个第二子网络对所述第一医学图像进行特征提取，得到第二子特征图；
对所述第一子特征图和所述第二子特征图进行拼接，得到目标子特征图；
将所述目标子特征图输入到第二个第一子网络，得到第一特征图。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶，包括：
对所述第一特征图、所述第二特征图以及所述第三特征图进行拼接，得到目标特征图；
根据所述目标特征图进行分类，得到所述部位对应的病灶。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶，包括：
对所述第一特征图进行分类，得到第一分类概率；
对所述第二特征图进行分类，得到第二分类概率；
对所述第三特征图进行分类，得到第三分类概率；
根据所述第一分类概率、所述第二分类概率以及所述第三分类概率，得到平均分类概率；
根据所述平均分类概率，得到所述部位对应的病灶。
5.根据权利要求1所述的方法，其特征在于，在获取第一医学图像和第二医学图像之后，所述方法还包括：
获取所述第一医学图像的第一亮度和所述第二医学图像的第二亮度；
在所述第一亮度小于阈值的情况下，对所述第一医学图像进行增强处理，将增强处理后的第一医学图像作为所述第一医学图像；
在所述第二亮度小于所述阈值的情况下，对所述第二医学图像进行增强处理，将增强处理后的第二医学图...
【专利技术属性】
技术研发人员：王瑞，范栋轶，王关政，王立龙，吕传峰，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。