一种内窥镜手术导航方法和系统技术方案

本发明专利技术提供一种内窥镜手术导航方法和系统，包括：读取多模态医学影像数据；以多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；使用快速配准方法完成CT导航影像与病人位姿的配准；通过凸包优化的表面点云快速校准；跟踪内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在虚拟场景中获取内窥镜的虚拟场景视图；对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现场景分层渲染。本发明专利技术提升了影像渲染速度，提高了导航精度。

A navigation method and system for endoscopic surgery

The invention provides an endoscopic surgical navigation system and method, including: reading the multimodality medical image data; in any multimodality medical image data in a medical image data as a reference image, with other medical image data as the image, image, full affine reconstruction of the scene; mixed rendering image the image data after matching and affine virtual scene; using fast registration method to complete the CT navigation images and patient position registration; through the surface point cloud fast convex hull optimization calibration; tracking endoscope and surgical instruments, and obtain the position relationship between the endoscopic and surgical instruments with the patient's body the basis; the resulting pose relation, virtual scene view mirror for endoscope in the virtual scene; the endoscope real-time image edge Gauss Function Attenuation And the virtual scene view of the endoscope is fused to realize the layered rendering of the scene. The invention improves the speed of image rendering and improves the navigation precision.

【技术实现步骤摘要】
一种内窥镜手术导航方法和系统
本专利技术涉及手术导航领域，具体地说，涉及一种内窥镜手术导航方法和系统。
技术介绍
颅底肿瘤由于其发生位置较深，临近结构复杂难辨，诊疗过程涉及神经外科、耳鼻喉科和头颈外科等多学科技术，完整的肿瘤切除较为困难。经过百余年的发展，颅底肿瘤诊疗由裸眼开颅手术发展到内窥镜微创手术阶段。内镜微创技术术式简洁、术后恢复快，通过内窥镜图像引导避免了手术入路对于面部皮肤结构的破坏，降低了各种并发症发生的概率。目前，常规鼻及鼻窦恶性肿瘤手术以及颅底肿瘤手术采用单纯鼻内窥镜视频导航，基于医学影像引导的手术导航系统目前大多能够提供较为准确的三视图信息，同时显示内窥镜图像或者能够显示当前位姿手术工具与人体的相对位姿，但是依然存在几个方面的缺陷：1、单模态医学影像的组织结构信息较为单一，图像精度和成像质量对于手术导航影响较大，用于手术导航时效果不理想；2、手术导航中对于手术器械与人体之间的相对位置与距离表现并不精确，无法达到精准引导的目的；3、采用单一渲染方式的虚拟场景重建耗时长，显示解剖结构距离感不强，容易引起判断错误，结构不清晰，计算量大引起导航过程卡顿，均极大限制了导航系统的作用；4、基于人工标志点的实时跟踪和配准方法的配准精度除受到图像质量的影响，还与医生配准的操作方法有关，人为增加了误差来源。因此，迫切需要一种新型的内窥镜手术导航方案。
技术实现思路
为了克服上述技术问题，本专利技术提供了一种内窥镜手术导航方法和系统，提升了影像渲染速度，提高了导航精度。为了实现上述目的，本专利技术提供了一种内窥镜手术导航方法，包括：读取多模态医学影像数据；以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成CT导航影像与病人位姿的配准；完成病人位姿的配准后，跟踪所述内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现场景分层渲染。进一步地，所述对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：对所述图像全仿射匹配后的影像数据中的关键结构进行分割和标注；对分割和标注后的影像数据进行快速渲染；对所述图像全仿射匹配后的影像数据进行基于移动立方体MarchingCube的体渲染；针对所述快速渲染和所述体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。进一步地，在跟踪手术工具并获取所述手术工具与所述病人身体之间的位姿关系前，还包括：当病人在手术过程中出现移动时，获取病人面部的实时点云数据；基于凸包优化匹配的方法快速配准所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。进一步地，所述以所述多模态医学影像数据中的任意一种医学影像数据为基准，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，具体包括：在所述待配准图像中选取标记点；在所述基准图像中以预设定的顺序选取参考点，建立所述待配准图像的标记点与所述基准图像的参考点之间的对应集；根据所述对应集，计算得到所述基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。本专利技术还提供了一种内窥镜手术导航系统，包括：计算机、双目摄像机、内窥镜和手术工具；所述计算机用于读取多模态医学影像数据；以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成所述CT导航影像与病人位姿的配准；所述双目摄像机用于跟踪所述内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；所述计算机还用于针对所述双目摄像机定位内窥镜，进而获取的所述内窥镜的虚拟场景视图，对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现分层渲染。进一步地，所述计算机对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：对所述图像全仿射匹配后的影像数据中的关键结构进行分割和标注；对分割和标注后的影像数据进行快速渲染；对所述图像全仿射匹配后的影像数据进行基于移动立方体MarchingCube的体渲染；针对所述快速渲染和所述体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。进一步地，所述系统还包括：深度相机，用于当病人在手术过程中出现移动时，获取病人面部的实时点云数据；所述计算机还用于基于凸包优化匹配的方法快速配准所述深度相机获取的所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。进一步地，所述计算机以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，具体包括：在所述待配准图像中选取标记点；在所述基准图像中以预设定的顺序选取参考点，建立所述待配准图像的标记点与所述基准图像的参考点之间的对应集；根据所述对应集，计算得到所述基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。本专利技术实施例所述的内窥镜手术导航方法系统，首先读取多模态医学影像数据，并以多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，然后对图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应参考点的标志点，使用ICP快速配准计算方法完成内窥镜采集的导航影像与病人位姿的配准；完成病人位姿的配准后，跟踪内窥镜和手术工具，并获取内窥镜和手术工具与病人身体之间的位姿关系，并依据位姿关系，在虚拟场景中获取内窥镜的虚拟场景视图；最后针对内窥镜的虚拟场景视图，对视图边缘进行高斯函数衰减，实现分层渲染。该方案不但提升渲染速度，并且通过对病人位姿的配准提高了导航精度，降低了误差，改进了内窥镜微创手术的安全性。附图说明图1为本专利技术实施例提供的内窥镜手术导航方法的流程图；图2为本专利技术实施例提供的重建场景混合渲染的流程图；图3为本专利技术实施例提供的基于表面点云快速配准的内窥镜手术导航方法的流程图；图4为本专利技术实施例的内窥镜手术导航系统的应用场景示意图和导航示意图；图5为本专利技术实施例的内窥镜手术导航系统的CPU与GPU处理模块图。具体实施方式下面参考附图来说明本专利技术的实施例。在本专利技术的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其他附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关的、本领域普通技术人员已知的部件本文档来自技高网...

【技术保护点】
一种内窥镜手术导航方法，其特征在于，包括：读取多模态医学影像数据；以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成CT导航影像与病人位姿的配准；完成病人位姿的配准后，跟踪所述内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现场景分层渲染。

【技术特征摘要】
1.一种内窥镜手术导航方法，其特征在于，包括：读取多模态医学影像数据；以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成CT导航影像与病人位姿的配准；完成病人位姿的配准后，跟踪所述内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现场景分层渲染。2.根据权利要求1所述的方法，其特征在于，所述对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：对所述图像全仿射匹配后的影像数据中的关键结构进行分割和标注；对分割和标注后的影像数据进行快速渲染；对所述图像全仿射匹配后的影像数据进行基于移动立方体MarchingCube的体渲染；针对所述快速渲染和所述体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。3.根据权利要求1所述的方法，其特征在于，在跟踪手术工具并获取所述手术工具与所述病人身体之间的位姿关系前，还包括：当病人在手术过程中出现移动时，获取病人面部的实时点云数据；基于凸包优化匹配的方法快速配准所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。4.根据权利要求1所述的方法，其特征在于，所述以所述多模态医学影像数据中的任意一种医学影像数据为基准，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，具体包括：在所述待配准图像中选取标记点；在所述基准图像中以预设定的顺序选取参考点，建立所述待配准图像的标记点与所述基准图像的参考点之间的对应集；根据所述对应集，计算得到所述基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。5.一种内窥镜手术导航系统，其特征在于，包括：计算机、双目摄像机、内...

【专利技术属性】
技术研发人员：杨健，楚亚奎，王涌天，陈雷，梁萍，丛伟建，陈钢，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11