【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体涉及一种基于深度学习的髓母细胞瘤多模态多视角分割方法。
技术介绍
1、髓母细胞瘤(medulloblastoma)是一种常见的恶性中枢神经系统肿瘤，通常发生在小儿和青少年。影像学可以提供有关髓母细胞瘤的重要信息。在mri(磁共振成像)中，髓母细胞瘤的影像形态通常呈现以下特征：位置：髓母细胞瘤最常见于小脑的后下方，称为小脑鞍区(cerebellar vermis)。它也可以出现在小脑半球(cerebellar hemisphere)或脑桥(brainstem)等区域。强化模式：髓母细胞瘤通常在造影后呈现明显的增强效果。在造影剂注入后，肿瘤通常呈现均匀的强化，但也可以出现不均匀的强化区域。囊性变化：髓母细胞瘤中常见囊性变化，即内部形成囊肿。这些囊肿可能包含液体，呈现低信号强度。强度：在t1加权图像上，髓母细胞瘤通常呈现等或稍高信号强度。而在t2加权图像上，肿瘤区域通常呈现高信号强度。边界：髓母细胞瘤通常具有不规则的边界，可能与周围的组织相互侵入。
2、随着人工智能的发展，生物医学领域的进步，髓母细胞瘤的研究也进入了新的领域，可以使用计算机处理大量图像，从中学习到分布式特征，再映射到样本标记空间。现有的髓母细胞瘤分割方法一般是基于轴状位的单视角单模态进行分割。
3、使用单视角单模态进行髓母细胞瘤影像分割存在一些缺点，包括：视角限制：单视角意味着只能从一个固定的角度观察图像，这可能导致部分髓母细胞瘤区域被遮挡或无法清晰显示。某些重要的空间关系和形态特征可能在单一视角下无法充分捕获
技术实现思路
1、本专利技术提供一种基于深度学习的髓母细胞瘤多模态多视角分割方法，目的是构建一种深度学习模型，根据髓母细胞瘤mri多模态多视角影像，做出精准分割，帮助医生制定更加完善的治疗方案。
2、为解决上述技术问题，本专利技术采用如下技术方案：
3、一种基于深度学习的髓母细胞瘤多模态多视角分割方法，包括以下步骤：
4、s1，分别对轴状位视角、矢状位视角和冠状位视角的t1切片库、t1_e切片库、t2切片库和t2_flair切片库进行深度维度的拼接，达到多模态融合，得到轴状位拼接融合特征图、矢状位拼接融合特征图和冠状位拼接融合特征图；
5、s2，分别对轴状位拼接融合特征图、矢状位拼接融合特征图和冠状位拼接融合特征图进行下采样特征提取操作，得到轴状位下采样特征图、矢状位下采样特征图和冠状位下采样特征图；
6、s3，分别将轴状位下采样特征图、矢状位下采样特征图和冠状位下采样特征图与s2中得到的尺寸大小一致的另外两个视角特征图进行拼接融合，得到轴状位全视角特征图、矢状位全视角特征图和冠状位全视角特征图；
7、分别对轴状位全视角特征图、矢状位全视角特征图和冠状位全视角特征图进行上采样特征提取操作，得到轴状位上采样特征图、矢状位上采样特征图和冠状位上采样特征图；
8、s4，分别对轴状位上采样特征图、矢状位上采样特征图和冠状位上采样特征图进行解码操作，得到轴状位肿瘤三维标签、矢状位肿瘤三维标签和冠状位肿瘤三维标签；
9、对轴状位肿瘤三维标签、矢状位肿瘤三维标签和冠状位肿瘤三维标签进行融合处理，得到融合肿瘤三维标签；
10、s5，将融合肿瘤三维标签分别和轴状位拼接融合特征图、矢状位拼接融合特征图和冠状位拼接融合特征图进行融合，得到轴状位二次融合特征图、矢状位二次融合特征图和冠状位二次融合特征图；
11、分别对轴状位二次融合特征图、矢状位二次融合特征图和冠状位二次融合特征图裁剪出大脑轮廓区域，得到轴状位裁剪特征图、矢状位裁剪特征图和冠状位裁剪特征图；
12、s6，分别对轴状位裁剪特征图、矢状位裁剪特征图和冠状位裁剪特征图重复步骤s2；重复步骤s3；重复步骤s4；生成轴状位第二阶段肿瘤三维标签、矢状位第二阶段肿瘤三维标签和冠状位第二阶段肿瘤三维标签，将轴状位第二阶段肿瘤三维标签、矢状位第二阶段肿瘤三维标签和冠状位第二阶段肿瘤三维标签融合，生成一个终极三维肿瘤标签。
13、进一步地，在所述步骤s1中，轴状位拼接融合特征图表示为fiax，矢状位拼接融合特征图表示为fisag，冠状位拼接融合特征图表示为t1切片库深度拼接后表示为t1_e切片库深度拼接后表示为t2切片库深度拼接后表示为t2_flair切片库深度拼接后表示为fit2f，所述多模态融合的具体描述为：
14、
15、其中fi是融合后的特征图，分别将fiax、fisag或代入计算，concat(·)表示深度拼接操作，其中i表示神经网络的层数。
16、进一步地，在所述步骤s2中，分别对轴状位拼接融合特征图fiax、矢状位拼接融合特征图和冠状位拼接融合特征图进行下采样特征提取操作，具体描述为：
17、
18、
19、
20、其中是轴状位下采样特征图，是矢状位下采样特征图，是冠状位下采样特征图，down(·)表示下采样操作。
21、进一步地，在所述步骤s3中，轴状位全视角特征图为冠状位全视角特征图为矢状位全视角特征图为融合操作的具体描述为：
22、
23、
24、
25、轴状位上采样特征图为矢状位上采样特征图为冠状位上采样特征图为上采样具体描述为：
26、
27、
28、
29、其中up(·)表示上采样操作。
30、进一步地，在所述步骤s4中，对轴状位上采样特征图矢状位上采样特征图和冠状位上采样特征图分别进行解码操作，具体描述为：
31、
32、
33、
34、其中preax是轴状位肿瘤三维标签，precor是冠状位肿瘤三维标签，presag是矢状位肿瘤三维标签，softmax(·)表示softmax激活函数；
35、对三条分支预测的结果进行融合，pre是融合肿瘤三维标签，具体描述为：
36、pre＝add(preax,precor,presag)；
37、其中add(·)表示特征图相加融合操作。...
【技术保护点】
1.一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，在所述步骤S1中，轴状位拼接融合特征图表示为Fiax，矢状位拼接融合特征图表示为Fisag，冠状位拼接融合特征图表示为Ficor，T1切片库深度拼接后表示为Fit1，T1_E切片库深度拼接后表示为Fit1e，T2切片库深度拼接后表示为Fit2，T2_Flair切片库深度拼接后表示为Fit2f，所述多模态融合的具体描述为：
3.根据权利要求1所述一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，在所述步骤S2中，分别对轴状位拼接融合特征图Fiax、矢状位拼接融合特征图Fisag和冠状位拼接融合特征图Ficor进行下采样特征提取操作，具体描述为：
4.根据权利要求1所述一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，在所述步骤S3中，轴状位全视角特征图为冠状位全视角特征图为矢状位全视角特征图为融合操作的具体描述为：
5.根据权利要求1所述一种基于深
6.根据权利要求1所述一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，在所述步骤S5中，将融合肿瘤三维标签pre分别和轴状位拼接融合特征图Fiax、矢状位拼接融合特征图Fisag和冠状位拼接融合特征图Ficor进行融合，具体描述为：
7.根据权利要求1所述一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，在所述步骤S6中，生成一个终极三维肿瘤标签，具体描述为：
...【技术特征摘要】
1.一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，在所述步骤s1中，轴状位拼接融合特征图表示为fiax，矢状位拼接融合特征图表示为fisag，冠状位拼接融合特征图表示为ficor，t1切片库深度拼接后表示为fit1，t1_e切片库深度拼接后表示为fit1e，t2切片库深度拼接后表示为fit2，t2_flair切片库深度拼接后表示为fit2f，所述多模态融合的具体描述为：
3.根据权利要求1所述一种基于深度学习的髓母细胞瘤多模态多视角分割方法，其特征在于，在所述步骤s2中，分别对轴状位拼接融合特征图fiax、矢状位拼接融合特征图fisag和冠状位拼接融合特征图ficor进行下采样特征提取操作，具体描述为：
4.根据权利要求1所...
【专利技术属性】
技术研发人员：李鹏，孙晓艳，褚海涛，宫剑，欧云尉，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。