【技术实现步骤摘要】
本申请实施例涉及图像分割，特别涉及一种面向显微血管减压术的多模态多目标分割方法及系统。
技术介绍
1、微血管减压术(mvd)是一种广泛使用的用于治疗颅神经压迫的神经外科手术，用于治疗由颅内血管压迫神经引起的疼痛或肌肉痉挛等症状。mvd相关结构的分割，包括脑干、神经、动脉和静脉，对于术前规划和术中决策至关重要。
2、当前临床应用中，医生通常采用人工勾画的方式对mvd手术相关的脑干、神经和动脉、静脉进行分割，其过程耗时费力且依赖临床经验。为快速提升临床效率，研究者提出自动与半自动的方法对mvd相关结构进行提取，例如临床上有在3d可视化软件如3d slicer和brainlab等的帮助下进行三维可视化，但这些方法依赖于手动调整各种复杂参数来实现更好地可视化，常常受限于医生的经验，因此造成较大的人为误差。
3、随着深度学习的发展，现有技术提出许多深度神经网络模型用于医学图像自动分割任务，其中神经网络模型大多基于u-net改进而来，然而在对mvd相关的脑干、神经和血管的分割上，现有的分割方法仅仅考虑了单一模态，忽视了两种模态能够提供的互补信息和随之而来的性能提升。
技术实现思路
1、本申请实施例提供一种面向显微血管减压术的多模态多目标分割方法及系统，实现mvd相关结构的自动准确分割。
2、为解决上述技术问题，第一方面，本申请实施例提供一种面向显微血管减压术的多模态多目标分割方法，包括以下步骤：首先，以不同模态的图像作为多模态模型的输入，依次经过共享编码器、
3、在一些示例性实施例中，以不同模态的图像作为多模态模型的输入，依次经过共享编码器、特定解码器进行特征提取，分别得到像素级别的分割结果和投影特征，包括：以不同模态的图像作为多模态模型的输入，将多个不同模态的图像沿通道进行拼接后输入共享编码器；多个不同模态的图像经所述共享编码器处理后，沿通道进行拆分并分别输入与图像的模态对应的特定解码器中，经特定解码器进行特征提取后，分别输出像素级别的分割结果和投影特征。
4、在一些示例性实施例中，不同模态的图像包括t2和tof两种模态的图像；特定解码器包括分别与t2模态对应的t2特定解码器、与tof模态对应的tof特定解码器。
5、在一些示例性实施例中，给定t2和tof模态相对于第c类∈{脑干,动脉}的预测概率和所述跨模态互信息蒸馏损失的表示式为：
6、
7、其中，limd为跨模态互信息蒸馏损失，[·,·]表示拼接操作，dkl表示kl散度的计算。
8、在一些示例性实施例中，基于投影特征，计算模态间对比损失，包括：将来自特定解码器的特征向量输入到投影头；根据标签中的语义类别对所述投影头进行分组，得到投影向量，并存储在内存库中；将投影向量输入到预测头部；构建对比损失，并采用余弦相似度度量不同类别之间的差异，计算模态间对比损失。
9、在一些示例性实施例中，模态间对比损失的表达式为：
10、
11、其中，lcontr是模态间对比损失，nc＝4表示所有模态的数量，fc和zc分别表示类别c的投影向量和预测向量，·表示点乘。
12、在一些示例性实施例中，基于投影特征，计算投影拓扑损失，包括：假设pdp和pdg分别为预测结果和标签的持久性图，采用wasserstein距离寻找预测结果和标签的持久性图之间的最佳匹配；基于最佳匹配，计算每对匹配点pdp和pdg之间的平方距离；在三维预测和真值的二维投影上评估拓扑特征，以降低计算复杂度；将预测的最小强度投影定义为沿给定轴的最低强度，计算投影拓扑损失。
13、在一些示例性实施例中，计算每对匹配点pdp和pdg之间的平方距离，其表达式为：
14、
15、其中，u∈pdp，v∈pdg，w1表示1阶wasserstein距离；
16、投影拓扑损失的表示式为：
17、
18、其中，ltopo是投影拓扑损失；是在给定轴上的投影。
19、在一些示例性实施例中，多模态模型的损失函数的表示式为：
20、l＝lseg+λ1limd+λ2lcontr+λ3ltopo
21、其中，lseg是dice损失和交叉熵损失平等加权和，limd是跨模态互信息蒸馏损失，lcontr是模态间对比损失，ltopo是投影拓扑损失，λ1，λ2，λ3是调节损失值的超参数。
22、第二方面，本申请实施例还提供了一种面向显微血管减压术的多模态多目标分割系统，包括：依次连接的特征提取模块、知识蒸馏模块、类别对比模块、拓扑保持约束模块以及数据处理模块；其中，特征提取模块用于以不同模态的图像作为多模态模型的输入，依次经过共享编码器、特定解码器进行特征提取，分别得到像素级别的分割结果和投影特征，并将所述投影特征存储在存储库中；知识蒸馏模块用于根据所述分割结果，计算像素级别分割损失函数，并基于所述像素级别分割损失函数，计算跨模态互信息蒸馏损失；类别对比模块包括带有记忆库的对比学习模块，根据所述投影特征，通过对比学习模块计算模态间对比损失；拓扑保持约束模块用于根据所述投影特征，计算投影拓扑损失；数据处理模块用于根据所述跨模态互信息蒸馏损失、所述投影拓扑损失以及所述模态间对比损失，得到多模态模型的损失函数；并基于所述多模态模型的损失函数，进行多目标分割。
23、本申请实施例提供的技术方案至少具有以下优点：
24、本申请实施例提供一种面向显微血管减压术的多模态多目标分割方法及系统，该方法包括以下步骤：首先，以不同模态的图像作为多模态模型的输入，依次经过共享编码器、特定解码器进行特征提取，分别得到像素级别的分割结果和投影特征；然后，基于分割结果，计算像素级别分割损失函数，并基于所述像素级别分割损失函数，计算跨模态互信息蒸馏损失；接下来，基于投影特征，计算投影拓扑损失；将投影特征存储在存储库中，并基于投影特征，计算模态间对比损失；最后，基于跨模态互信息蒸馏损失、投影拓扑损失以及模态间对比损失，得到多模态模型的损失函数；基于多模态模型的损失函数，进行多目标分割。
25、本申请提出一种面向显微血管减压术的多模态多目标分割方法，是基于知识驱动的互相蒸馏和拓扑约束的用于mvd手术相关关键结构分割的多模态方法。其中，为了利用每种模态的优势知识，本申请提出了一种临床知识引导的相互蒸馏方案，以临床知识为导向的相互蒸馏，有助于跨模态动脉知识的蒸馏，使动脉的性能最大化；针对类别模糊导致的错误识本文档来自技高网...
【技术保护点】
1.一种面向显微血管减压术的多模态多目标分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，所述以不同模态的图像作为多模态模型的输入，依次经过共享编码器、特定解码器进行特征提取，分别得到像素级别的分割结果和投影特征，包括：
3.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，所述不同模态的图像包括T2和TOF两种模态的图像；
4.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，给定T2和TOF模态相对于第c类∈{脑干,动脉}的预测概率和所述跨模态互信息蒸馏损失的表示式为：
5.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，基于所述投影特征，计算模态间对比损失，包括：
6.根据权利要求5所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，所述模态间对比损失的表达式为：
7.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，基于所述投影特征
8.根据权利要求7所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，计算每对匹配点PDp和PDg之间的平方距离，其表达式为：
9.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，所述多模态模型的损失函数的表示式为：
10.一种面向显微血管减压术的多模态多目标分割系统，其特征在于，包括：依次连接的特征提取模块、知识蒸馏模块、类别对比模块、拓扑保持约束模块以及数据处理模块；其中，
...【技术特征摘要】
1.一种面向显微血管减压术的多模态多目标分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，所述以不同模态的图像作为多模态模型的输入，依次经过共享编码器、特定解码器进行特征提取，分别得到像素级别的分割结果和投影特征，包括：
3.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，所述不同模态的图像包括t2和tof两种模态的图像；
4.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，给定t2和tof模态相对于第c类∈{脑干,动脉}的预测概率和所述跨模态互信息蒸馏损失的表示式为：
5.根据权利要求1所述的面向显微血管减压术的多模态多目标分割方法，其特征在于，基于所述投影特征...
【专利技术属性】
技术研发人员：司伟鑫，肖林霞，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。