一种基于多模态融合的3DRes-ViT膝骨关节炎分类方法技术

本发明专利技术涉及一种基于多模态融合的膝骨关节炎（Knee osteoarthritis,KOA）多分类方法，该方法融合了两种不同MRI序列和X光片共三个模态的特征对膝骨关节炎等级进行四分类，即正常，轻度，中度，重度。本发明专利技术设计三维卷积神经网络（3D Convolutional Neural Networks,3D CNN）分别提取两个不同MRI序列的三维浅层特征并将这些特征进行融合，然后通过高效通道注意力（Efficient Channel Attention,ECA）模块捕捉融合后特征通道间的依赖关系，并输入到Vision Transformer（ViT）编码器中，结合3D CNN和ViT的优势高效聚合两个MRI序列的局部特征和全局特征，ViT的输出再与二维卷积神经网络提取的X光图像特征进行拼接，以进一步提升分类性能。该方法通过三个模态信息的融合，使模型能够捕捉到不同的生理和解剖信息，为膝骨关节炎的诊断提供更可靠的支持。

【技术实现步骤摘要】

本专利技术涉及一种膝骨关节炎分类方法，特别是基于深度学习的膝骨关节炎多分类方法，该方法融合了三种不同模态的医学影像信息对膝骨关节炎进行分类，通过设计3dres cnn（convolutional neural networks）提取两种不同mri序列的三维浅层特征并进行融合，融合后的特征先经过通道注意力（efficient channel attention, eca）模块有效地捕捉通道间的依赖关系，然后输入到vision transformer（vit）编码器中学习特征之间的全局相关信息，vit的输出再融合2d cnn提取的x光图像特征，对膝骨关节炎的严重程度进行四分类，该方法使模型能够捕捉到不同的生理和解剖信息，为膝骨关节炎的医疗诊断和治疗提供更可靠的支持。

技术介绍

1、膝骨关节炎( knee osteoarthritis，koa )是最常见的关节炎形式，是膝关节的一种退行性疾病，会引起疼痛和活动受限，影响数百万人的生活质量。在膝关节炎的晚期，影像学上所显示的异常通常是无法逆转的，晚期膝关节炎(osteoarthritis，oa )只能采用全膝关节置本文档来自技高网...

【技术保护点】

1.一种基于多模态融合的3DRes-ViT膝骨关节炎分类方法，其特征在于，该方法融合了三种不同模态的医学影像信息对膝骨关节炎进行分类；首先通过设计一个新的3D 卷积神经网络（Convolutional Neural Networks，CNN）架构3D Res CNN分别提取两种不同MRI序列的局部特征并进行融合；融合后的特征先经过通道注意力（Efficient channelAttention，ECA）模块有效地捕捉通道间的依赖关系，然后进入Vision Transformer（ViT）的编码器中学习特征之间的全局相关信息；最后ViT的输出再融合2D CNN提取的X光图像特征并基于Kel...

【技术特征摘要】

1.一种基于多模态融合的3dres-vit膝骨关节炎分类方法，其特征在于，该方法融合了三种不同模态的医学影像信息对膝骨关节炎进行分类；首先通过设计一个新的3d 卷积神经网络（convolutional neural networks，cnn）架构3d res cnn分别提取两种不同mri序列的局部特征并进行融合；融合后的特征先经过通道注意力（efficient channelattention，eca）模块有效地捕捉通道间的依赖关系，然后进入vision...

【专利技术属性】
技术研发人员：王昕，付玉鹏，徐睿，于筱雅，张君怡，刘畅，
申请(专利权)人：长春工业大学，
类型：发明
国别省市：