【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种面向数字人的跨模态医学影像配准方法、系统和设备。
技术介绍
1、综合来说，数字人指存在于非物理世界中，由计算机手段创造及使用，并具有多重人类特征的综合产物。早期的数字人主要通过手绘、动作捕捉、计算机图形学技术等方法制作，近年来，随着深度学习算法的突破，数字人的概念和应用场景再次得到全方位拓展，数字人更细化为由人物形象、语音生成、动画生成、音视频合成显示、交互等5个模块组成。但现有数字人重建技术聚焦于表观建模，如面部的几何形状、纹理和皮肤材质等，往往忽略了内部骨骼结构和表观模型之间的相关性。同时，考虑到对内部结构有需求的应用场景，如：医疗整容行业需要可视化人体内部结构在手术前后的效果对比。因此，考虑结合人体内部医学影像和外表扫描图像等多模态数据，同时对数字人内部的肌肉、骨骼、肌腱、脂肪、血管甚至神经等结构和外表皮肤进行建模，实现更加符合解剖学规律数字人的生成。
2、医学影像例如计算机断层扫描（computed tomography，ct)和磁共振成像（magnetic resonance imaging，mri)等技术则可以以非侵入的方式获取针对人体或人体部位的影像知识，为构建内部解剖结构正确的数字人提供数据支撑。ct图像提供了非常清晰的骨骼和器官轮廓信息，但是受试者面临高辐射照射的威胁，同时采集过程仅能在临床允许的情况下进行。mri扫描是一种安全的解决方案，可以在人体软组织（如肌肉、脂肪、肌腱和神经元）中提供良好的对比度。然而，由于人体软组织结构复杂，mri中骨骼结构不清晰，因此很
3、大多数现有的解剖约束参数化人体器官模型都基于公共ct、mri数据集或人工生成数据集。然而，基于数据驱动的器官解剖结构重建需要大量带有人工标注的ct或mri图像。但现有医学影像数据面临如下困难：（1）大量影像资料尚未数字化，且医院间的数据共享和互通程度较低，数据获取困难；（2）与自然图像相比，医学影像数据规模较小，一个数据集通常只含几百张图像；（3）大多数标注依赖人工识别，数据标注耗费大量人力财力。因此现存的医学影像数据集规模难以满足高质量、可扩展、自动化的过程，而临床的采集获取又面临以上种种挑战。近年来，随着高性能计算资源的快速普及，基于深度学习的数据生成技术已被广泛用于医学成像，因为与传统的图像处理算法相比，这些新方法在许多情况下提供了卓越的性能。
4、在获取大量的医学影像数据之后，需要高效、准确、稳健的3d头骨重建算法支持下游任务，为实现数字人参数化模型驱动的内外一致性提供基础。然而，头骨重建在数据准备方面也面临着多项挑战，包括但不限于以下方面：（1）辐射风险和数据采集困难：要构建准确的数字人，必须获得内外一致的数据。然而，获得精准的骨骼信息通常需要使用计算机断层扫描（ct）技术，而这种技术涉及高辐射照射，对被试者的健康构成风险，且数据采集相对困难。（2）姿势不一致和配准复杂性：内外一致数据通常需要来自不同受试者，他们可能具有不同的形状和姿势。这导致了数据的配准问题，使数据处理变得更加复杂。（3）标注困难和成本高昂：在ct影像中标注骨骼结构需要经验丰富的医生，通常需要数小时的耗时，并且标注的准确性因个体差异而异。这不仅耗时，还难以确保准确性，因此迫切需要一种方法，可以自动从外部mri图像中推断内部骨骼信息。（4）数据不完整和实际困难：在实际应用中，获取完全匹配的ct-mri数据对于受试者来说并不容易。此外，采集ct和mri数据不仅可行性低，而且可能对受试者的健康产生不必要的影响。
技术实现思路
1、针对上述存在的问题，本专利技术旨在提供一种面向数字人的跨模态医学影像配准方法、系统和设备，通过将模板ct图像与多个mri图像进行配准，实现了内部骨骼与mri外表面的一致性，避免了高辐射风险、减少了内外数据不一致和标注成本的问题，可用于为3d头骨重建任务提供依据。
2、为了实现上述目的，本专利技术所采用的技术方案如下：
3、一种面向数字人的跨模态医学影像配准方法，包括以下步骤：
4、s1：ct头骨模型数据和mri数据提取；
5、s2：通过平移、旋转和缩放操作，初步对齐ct与mri图像；
6、s3：基于ct头骨模型数据，训练基于形变图优化的配准模型；
7、s4：使用步骤s3中训练好的配准模型，输出与mri影像外表面掩膜相匹配的形变后的ct头骨三维网格，实现影像数据的配准。
8、进一步的，步骤s1中所述的ct头骨模型数据的提取包括以下步骤：
9、s101a：提取ct头骨模板掩膜和ct头骨模板标注点；
10、s102a：通过marching cubes算法，根据ct头骨模板掩膜生成ct头骨的三维网格；所述三维网格包括顶点、面以及法线信息；
11、s103a：坐标变换，使ct头骨模板标注点对齐到ct头骨三维网格的正确位置和尺寸。
12、进一步的，步骤s1中所述的mri数据的提取包括以下步骤：
13、s101b：提取一系列mri数据中的mri影像数据、mri影像外表面掩膜和mri影像头骨标注点；
14、s102b：使用marching cubes算法根据mri影像外表面掩膜生成mri面部的三维网格；
15、s103b：坐标变换，使mri影像头骨标注点对齐到mri面部三维网格的正确位置和尺寸。
16、进一步的，步骤s2的具体操作包括以下步骤：
17、s201：计算ct头骨三维网格和mri面部三维网格的中心差异，并执行平移，确保它们的原点对齐；
18、s202：执行绕x、y和z轴的旋转，确保两个模型的朝向一致；
19、s203：计算mri影像头骨标注点和ct头骨模板标注点之间的缩放比例，同时调整ct头骨三维网格和ct头骨模板标注点，使两种影像初步对齐；
20、s204：将ct头骨三维网格、mri面部三维网格和相应的点云以三维场景的形式展示并输出保存，确保两种影像的一致性。
21、进一步的，步骤s3的具体操作包括以下步骤：
22、s301：创建用于表示ct头骨三维网格形变的deformationgraph模型，该模型由控制节点和顶点组成；
23、s302：初始化随机梯度下降优化器，并以最小化总损失为目标，对deformationgraph模型的旋转和平移参数进行优化循环。
24、进一步的，步骤s302中所述的总损失 loss计算公式为：
25、；
26、本文档来自技高网...
【技术保护点】
1.一种面向数字人的跨模态医学影像配准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种面向数字人的跨模态医学影像配准方法，其特征在于，步骤S1中所述的CT头骨模型数据的提取包括以下步骤：
3.根据权利要求2所述的一种面向数字人的跨模态医学影像配准方法，其特征在于，步骤S1中所述的MRI数据的提取包括以下步骤：
4.根据权利要求3所述的一种面向数字人的跨模态医学影像配准方法，其特征在于，步骤S2的具体操作包括以下步骤：
5.根据权利要求4所述的一种面向数字人的跨模态医学影像配准方法，其特征在于，步骤S4的具体操作包括以下步骤：
6.一种面向数字人的跨模态医学影像配准系统，其特征在于：包括CT头骨模型数据提取模块、MRI数据提取模块、CT与MRI图像初步对齐模块和配准模型模块；
7.一种面向数字人的跨模态医学影像配准设备，其特征在于，包括至少一个处理器；以及与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行权利要求1-5中任
...【技术特征摘要】
1.一种面向数字人的跨模态医学影像配准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种面向数字人的跨模态医学影像配准方法，其特征在于，步骤s1中所述的ct头骨模型数据的提取包括以下步骤：
3.根据权利要求2所述的一种面向数字人的跨模态医学影像配准方法，其特征在于，步骤s1中所述的mri数据的提取包括以下步骤：
4.根据权利要求3所述的一种面向数字人的跨模态医学影像配准方法，其特征在于，步骤s2的具体操作包括以下步骤：
5.根据权利要求4所述的...
【专利技术属性】
技术研发人员：崔恒飞，王一凡，郑凡，李妍，夏勇，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。