一种基于多模态融合的MR图像3D语义分割方法及系统技术方案

本发明专利技术公开了一种基于多模态融合的MR图像3D语义分割方法及系统，通过对配准后的训练集的所有模态的最大前景区计算一个最大邻接矩形框，进行重采样获取特征数据，将训练集数据输入至设置好网络参数的自适应网络模块中进行卷积处理；利用解码后的分割结果及对应的训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割，根据获取的特征数据计算自适应网络模块的网络参数，加深网络层数来提升模型的表示能力，针对多模态数据，采用双分支卷积共享编码器，捕捉模态之间更加通用鲁棒的共有信息，对于每个分支使用专属归一化层区别统计各分支的数据分布，保留模态私有信息，减小了数据处理量，提高了图像处理精度。提高了图像处理精度。提高了图像处理精度。

【技术实现步骤摘要】
一种基于多模态融合的MR图像3D语义分割方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种基于多模态融合的MR图像3D语义分割方法及系统。

技术介绍

[0002]医学图像分割在计算机辅助诊疗中扮演着重要角色，可以帮助医生进行疾病的数据分析。其任务是在医学成像中以像素级别准确地勾画出目标区域，如器官、病灶、组织等。而目前临床上进行医学图像分割时主要采用的还是手动标注的方式，这种方式需要很强的医疗专家知识和经验，一般均由医生进行标注，普通人很难胜任这个任务，这就导致了低下的标注数据产出效率。同时，由于机器成像的噪声、专家主观判断的分歧，以及大量枯燥的重复性劳动导致的疲劳感，手动标注很容易产生主观的人为误差。因此产生了开发精准的全自动医学图像分割算法的需求。这些算法相比人为标注具有很强的客观性，并且可以快速地进行批量化的图像标注，大大减轻医生的劳动量。
[0003]多模态是医学影像数据的一个突出特点。MRI会根据成像时参数设置的不同，生成不同种类的图像序列，称为模态(Modality)。人体器官、组织、病灶等在不同模态上表现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的MR图像3D语义分割方法，其特征在于，包括以下步骤：S1，采集待训练图像作为训练集，将训练集进行配准，然后对配准后的训练集的所有模态的最大前景区计算一个最大邻接矩形框，然后进行重采样获取特征数据；S2，根据获取的特征数据计算自适应网络模块的网络参数；S3，将训练集数据输入至设置好网络参数的自适应网络模块中进行卷积处理，将卷积处理后的数据进行解码，同时将卷积处理的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，最终解码得到分割结果；S4，利用解码后的分割结果及对应的训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。2.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，具体的，步骤S4中，使用反向传播策略优化网络的参数，根据损失函数的值更新网络参数，使得损失函数不断下降直到收敛至设定值，完成网络分割模型的训练。3.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，采用开源工具包SimpleITK中刚体配准的VersorRigid3DTransform函数，以T1C为主模态，将T2模态配准至T1C模态，使训练集中图片的物理空间进行互相匹配配准。4.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，对互相匹配配准后的所有模态的最大前景区域计算一个最大邻接矩形框，并对配准后的整个训练集，统一每个样本的空间大小到一致的水平，使卷积核以相同的感受野遍历数据提取特征，从而进行重采样获取特征数据。5.根据权利要求4所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，对整个数据集进行平均处理得到重采样的目标空间。6.根...

【专利技术属性】
技术研发人员：田智强，李皓冰，宋婧祎，杜少毅，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：