基于跨模态注意力机制和矢量融合的多器官配准方法技术

本发明专利技术公开了一种基于跨模态注意力机制和矢量融合的多器官配准方法，主要解决现有技术对腹部与头颈部的CT与MRI进行多模态影像多器官配准效果差的问题。其实现方案是：对腹部与头颈部的多器官多模态数据进行预处理；建立由数个级联的下采样卷积块和数个级联的跨模态注意力机制模块组成的多模态信息编码器；提取不同模态图像的特征图，将其与不同下采样卷积块提取的图像原始特征图进行拼接和卷积得到融合特征图；建立多分枝的单器官形变图解码器以生成各个器官的形变图；建立矢量梯度融合模块以减小多器官形变图融合时的冲突，实现跨模态的多器官配准。本发明专利技术能保持各个器官的形态和结构，提高多器官配准的准确性。可用于医生制定手术计划、放射治疗及辅助诊断。

【技术实现步骤摘要】

本专利技术属于图像处理，特别涉及一种多器官跨模态配准方法，可用于人体腹部和头颈部的ct与mri影像配准，为医生在医疗诊断、制定手术计划、放射治疗等方面提供辅助，让医生进行更为准确的分析，为医生制定更为精密的治疗计划提供依据。

技术介绍

1、ct和mri检查是医学领域最常用的影像检查手段。在临床应用上ct和mri各有优势。ct检查速度快，对于需要快速诊断的情况具有很大优势。同时，ct对于肺部、骨骼等部位的病变显示效果较好。而mri对于软组织、神经系统等部位的病变显示效果更佳，尤其是对于肿瘤、炎症等疾病的诊断和鉴别具有重要价值。ct和mri在成像原理上各有优势且具有互补性，因此，结合这两类图像进行观察可以提升诊断的精确性，还能为制定治疗方案提供更为可靠的依据。

2、但是，医生在观察分析不同的图像时需要凭借空间想象和主观经验，存在一定的误差风险。对此，可以通过医学影像配准的方法解决。医学影像配准技术，是将不同模态或不同时间点的影像数据进行对齐，从而方便医生更清晰地观察到病变的形态、位置和范围。

3、在多器官多模态医学影像配准领域，有两大难本文档来自技高网...

【技术保护点】

1.一种基于跨模态注意力机制和矢量融合的多器官配准方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，步骤(1)中对获取腹部和头颈部CT和MRI数据进行筛选、预处理，并对其进行训练集、验证集、测试集的划分，实现如下：

3.根据权利要求1所述的方法，其特征在于，步骤(2a)中建立由数个级联的下采样卷积块和数个级联的跨模态注意力机制模块组成的多模态信息编码器U1，实现如下：

4.根据权利要求1所述的方法，其特征在于，步骤(2b)建立包括多个分枝的单器官形变图解码器U2，实现如下：

5.根据权利要求1所述的方法，其特征在于，步骤(...

【技术特征摘要】

1.一种基于跨模态注意力机制和矢量融合的多器官配准方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，步骤(1)中对获取腹部和头颈部ct和mri数据进行筛选、预处理，并对其进行训练集、验证集、测试集的划分，实现如下：

3.根据权利要求1所述的方法，其特征在于，步骤(2a)中建立由数个级联的下采样卷积块和数个级联的跨模态注意力机制模块组成的多模态信息编码器u1，实现如下：

4.根据权利要求1所述的方法，其特征在于，步骤(2b)建立包括多个分枝的单器官形变图解码器u2，实现如下：

5.根据权利要求1所述的方法，其特征在于，步骤(2c)中的全局概率图生成网络u3，其由级联的下采...

【专利技术属性】
技术研发人员：缑水平，朱征宇，李颖萍，汪文婷，童诺，刘柯宏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：