一种基于信息融合的分类方法、装置及设备制造方法及图纸

本说明书实施例公开了一种基于信息融合的分类方法、装置及设备，该分类方法包括：获取待处理的第一影像数据、第二影像数据及第三影像数据；将所述待处理的第一影像数据、第二影像数据及第三影像数据分别输入至预设的第一特征提取模型、第二特征提取模型及第三特征提取模型，获得第一特征数据、第二特征数据及第三特征数据；将所述第一特征数据、所述第二特征数据及所述第三特征数据进行拼接，获得拼接特征数据；将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；将所述改造的transformer编码器输出的融合特征数据分别输入预设的分类模型中，获得诊断结果。获得诊断结果。获得诊断结果。

【技术实现步骤摘要】
一种基于信息融合的分类方法、装置及设备


[0001]本说明书涉及医学影像及计算机
，尤其涉及一种基于信息融合的分类方法、装置及设备。

技术介绍

[0002]临床诊断过程中很多疾病往往有病因等层面的关联，使得其联合发病概率较高形成一种临床先验经验。例如，膝关节MRI场景中也存在类似情况，比如半月板损伤、骨挫伤和前交叉韧带损伤就有很强的关联性。这是因为膝关节中最常见的损伤是运动损伤，膝关节整体作为一个运动关节的同时承受了相当部分的身体重量，损伤多数出现在关节扭动、剧烈碰撞等情况下，该情况下往往会伴随多个部位损伤的情况，所以临床大夫在观察到一种损伤情况的同时也会着重观察其他相关联部位的损伤。
[0003]现有技术中，对疾病的诊断，一般利用一个部位的信息进行诊断分析，而无法完成多个部位信息的融合，导致诊断结果的准确性差、可信度低，参考价值不大。
[0004]基于此，需要一种基于信息融合的分类方法。

技术实现思路

[0005]本说明书实施例提供一种基于信息融合的分类方法、装置及设备，用于解决以下技术问题：现有技术中，无法完成多个部位信息的融合，导致诊断结果的准确性差、可信度低，参考价值不大。
[0006]为解决上述技术问题，本说明书实施例是这样实现的：
[0007]本说明书实施例提供的一种基于信息融合的分类方法，该分类方法包括：
[0008]获取待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据，所述第一影像数据为半月板的影像数据，所述第二影像数据为前交叉韧带的影像数据，所述第三影像数据为骨骼的影像数据；
[0009]将所述待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据分别输入至预设的第一特征提取模型、第二特征提取模型及第三特征提取模型，获得第一特征数据、第二特征数据及第三特征数据；
[0010]将所述第一特征数据、所述第二特征数据及所述第三特征数据进行拼接，获得拼接特征数据；
[0011]将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；
[0012]将所述改造的transformer编码器输出的融合特征数据分别输入预设的分类模型中，获得诊断结果，所述诊断结果包括半月板损伤分类结果及前交叉韧带损伤分类结果。
[0013]本说明书实施例提供的一种基于信息融合的分类装置，该分类装置包括：
[0014]获取模块，获取待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据，所述第一影像数据为半月板的影像数据，所述第二影像数据为前交叉韧带的影
像数据，所述第三影像数据为骨骼的影像数据；
[0015]特征提取模块，将所述待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据分别输入至预设的第一特征提取模型、第二特征提取模型及第三特征提取模型，获得第一特征数据、第二特征数据及第三特征数据；
[0016]拼接模块，将所述第一特征数据、所述第二特征数据及所述第三特征数据进行拼接，获得拼接特征数据；
[0017]融合模块，将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；
[0018]分类模块，将所述改造的transformer编码器输出的融合特征数据分别输入预设的分类模型中，获得诊断结果，所述诊断结果包括半月板损伤分类结果及前交叉韧带损伤分类结果。
[0019]本说明书实施例还提供一种电子设备，包括：
[0020]至少一个处理器；以及，
[0021]与所述至少一个处理器通信连接的存储器；其中，
[0022]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0023]获取待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据，所述第一影像数据为半月板的影像数据，所述第二影像数据为前交叉韧带的影像数据，所述第三影像数据为骨骼的影像数据；
[0024]将所述待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据分别输入至预设的第一特征提取模型、第二特征提取模型及第三特征提取模型，获得第一特征数据、第二特征数据及第三特征数据；
[0025]将所述第一特征数据、所述第二特征数据及所述第三特征数据进行拼接，获得拼接特征数据；
[0026]将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；
[0027]将所述改造的transformer编码器输出的融合特征数据分别输入预设的分类模型中，获得诊断结果，所述诊断结果包括半月板损伤分类结果及前交叉韧带损伤分类结果。
[0028]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：将半月板的影像数据、前交叉韧带的影像数据、骨骼的影像数据分别输入预设的第一特征提取模型、第二特征提取模型及第三特征提取模型，分别进行特征提取，获得第一特征数据、第二特征数据及第三特征数据；随后将第一特征数据、第二特征数据及第三特征数据进行拼接，获得拼接特征数据；进一步将拼接特征数据作为改造的transformer编码器的输入，获得改造的transformer编码器输出的融合特征数据；最后，将改造的transformer编码器输出的融合特征数据分别输入预设的分类模型中，获得诊断结果，从而实现了将半月板的影像数据、前交叉韧带的影像数据、骨骼的影像数据进行特征融合后，基于融合特征数据进行分类的目的，进而实现基于多个部位信息的融合进行分类的目的，提高诊断的准确性，提高可信度。
附图说明
[0029]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本说明书实施例提供的一种基于信息融合的分类方法的系统架构示意图；
[0031]图2为本说明书实施例提供的一种基于信息融合的分类方法的流程图；
[0032]图3为本说明书实施例提供的又一种基于信息融合的分类方法；
[0033]图4为本说明书实施例提供的一种信息融合的分类方法的框架图；
[0034]图5为本说明书实施例提供的一种基于信息融合的分类装置的示意图。
具体实施方式
[0035]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息融合的分类方法，其特征在于，所述分类方法包括：获取待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据，所述第一影像数据为半月板的影像数据，所述第二影像数据为前交叉韧带的影像数据，所述第三影像数据为骨骼的影像数据；将所述待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据分别输入至预设的第一特征提取模型、第二特征提取模型及第三特征提取模型，获得第一特征数据、第二特征数据及第三特征数据；将所述第一特征数据、所述第二特征数据及所述第三特征数据进行拼接，获得拼接特征数据；将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；将所述改造的transformer编码器输出的融合特征数据分别输入预设的分类模型中，获得诊断结果，所述诊断结果包括半月板损伤分类结果及前交叉韧带损伤分类结果。2.如权利要求1所述的分类方法，其特征在于，所述获取待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据，进一步包括：调整所述待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据至预设影像尺寸。3.如权利要求1所述的分类方法，其特征在于，所述第一特征提取模型、所述第二特征提取模型及所述第三特征提取模型均为基于Resnet50网络生成的模型，所述第一特征提取模型、所述第二特征提取模型及所述第三特征提取模型的参数不共享。4.如权利要求1所述的分类方法，其特征在于，所述将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；具体包括：所述改造的transformer编码器接收所述拼接特征数据后进行映射，获得所述半月板及所述前交叉韧带的Q向量，以及所述半月板、所述前交叉韧带及所述骨骼共享的K向量及V向量；基于所述Q向量、所述K向量及所述V向量进行自注意力计算，获得所述改造的transformer编码器输出的融合特征数据。5.如权利要求4所述的分类方法，其特征在于，所述Q向量的计算为：Q
acl
＝wq
acl
*f
acl
Q
meniscus
＝wq
meniscus
*f
meniscus
所述V向量的计算为：V＝wv*[f
acl
,f
meniscus
,f
bone
]所述K向量的计算为：K＝wk*[f
acl
,f
meniscus
,f
bone
]其中，Q
acl
为前交叉韧带的Q向量；wq
acl
为前交叉韧带的可学习权重矩阵；f
acl
为输入的前交叉韧带的特征；
Q
meniscus
为半月板的Q向量；wq
meniscus
为半月板的可学习权重矩阵；f
meniscus
为输入的半月板的特征；f
bone
为输入的骨骼的特征；wv为可学习权重矩阵；wk为可学习权重矩阵。6.如权利要求4所述的分类方法，其特征在于，所述基于所述Q向量、所述K向量及所述V向量进行自注意力计算，获得所述改造的transformer编码器输出的融合特征数据，具体包括：基于所述Q向量、所述K向量及所述V向量进行自注意力计算，获得自注意力模块输出的前交叉韧带的特征及所述注意力模块输出的半月板的特征；将所述输出的前交叉韧带的特征及所述输出的半月板的特征进行融合，获得所述改造的transformer编码器输出的融合特征数据。7.如权利要求6所述的分类方法，其特征在于，所述自注意力模块输出的前交叉韧带的特征的计算公式为：f
...

【专利技术属性】
技术研发人员：孙安澜，
申请(专利权)人：北京医准智能科技有限公司，
类型：发明
国别省市：