一种基于增强现实的内窥镜投影方法及系统技术方案

本发明专利技术提供了一种基于增强现实的内窥镜投影方法及系统，包括如下步骤：对病人进行术前CT或MR扫描，获取目标部位的医学扫描数据；对扫描数据进行三维体重建，并输入图卷积网络分割目标手术部位；建立手术场景坐标系，使用光学跟踪系统将三维模型与病人，以及内窥镜末端位置姿态进行配准；通过光学跟踪系统和内窥镜内置三轴加速度计实时跟踪内窥镜的位置和姿态并与三维模型进行实时配准；基于实时配准的坐标变换和相机投影模型，将内窥镜影像在三维模型上叠加显示，获得内窥镜所示部位的增强现实图像，在显示设备中显示。本发明专利技术使医生能够同时获知三维影像精确的结构信息和内窥镜影像丰富的真实细节信息，从而提高手术的准确性和安全性。性和安全性。性和安全性。

【技术实现步骤摘要】
一种基于增强现实的内窥镜投影方法及系统


[0001]本专利技术属于图像处理和医疗
，尤其涉及一种基于增强现实的内窥镜投影方法及系统。

技术介绍

[0002]在图像引导手术(Image Guided Surgery，IGS)中，医生通过手术导航技术，将手术中仪器的位置、影像和患者的解剖结构图像进行融合，融合的内窥镜图像和MR/CT等术前的三维扫描信息能够帮助医生提高手术的准确性和安全性，增强医生对患者信息的感知。
[0003]增强现实技术(Augmented Reality，AR)是一种能够将虚拟信息和真实世界巧妙融合的技术，基于增强现实的内窥镜投影方法，通过三维重建和空间坐标变换，在虚拟的术前三维模型中生成内窥镜投影视图，在三维模型的准确结构信息上补充内窥镜影像的真实细节信息，为医生提供更加直观、真实的手术信息。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出一种基于增强现实的内窥镜投影方法及系统，使得医生能够同时获知三维影像精确的结构信息和内窥镜影像丰富的真实细节信息，从而提高手术的准确性和安全性。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的内窥镜投影方法，其特征在于，包括以下步骤，获取目标手术部位的三维医学影像数据，并对所述三维医学影像数据进行预处理；对预处理后的所述三维医学影像数据进行三维体重建，获得体重建的三维模型，并利用图卷积网络，对所述三维模型进行分割；建立手术场景坐标系，利用光学跟踪系统，将分割后的所述三维模型和术中图像进行配准；实时获取内窥镜位置、姿态，将所述内窥镜位置、姿态和分割后的所述三维模型进行实时配准；获得内窥镜影像，基于实时配准的坐标变换和相机投影模型，利用空间投影法，将所述内窥镜影像在分割后的所述三维模型上叠加显示，获得内窥镜的增强现实图像。2.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，对所述三维医学影像数据进行预处理的方法为：基于图像强度，对所述三维医学影像数据进行阈值分割。3.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，获得体重建的三维模型的方法为：利用预处理后的所述三维医学影像数据中各个体素的图像信息，对病人体数据进行三维体重建，获得体重建的三维模型。4.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，利用图卷积网络，对所述三维模型进行分割的方法为：建立映射权重矩阵，将所述三维模型的数据特征进行合并，获得节点连接图；利用图卷积网络，提取所述节点连接图中节点之间的交互特征，获得所述三维模型的分割结果。5.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，实时获取内窥镜位置、姿态的方法为：利用所述光学跟踪系统和内窥镜内置三轴加速度计，实时获取内窥镜位置和姿态。6.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，获得内...

【专利技术属性】
技术研发人员：陈欣荣，戴晓坤，张新康，钱艳，张子群，
申请(专利权)人：复旦大学，
类型：发明
国别省市：