基于视频叠加的增强现实手术导航方法、系统及电子设备技术方案

本发明专利技术公开了一种基于视频叠加的增强现实手术导航方法、系统及电子设备，该方法包括：获取目标组织器官的术前三维解剖模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据；对术前三维模型和点云数据进行配准，根据配准结果，得到术前三维解剖模型和当前腹腔镜视图对应的点云数据的目标变换关系；根据目标变换关系，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜视图上。由此，无需人工手动介入，可实现完全自动化的非刚性配准，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。

Augmented Reality Surgery Navigation Method, System and Electronic Equipment Based on Video Overlay

【技术实现步骤摘要】
基于视频叠加的增强现实手术导航方法、系统及电子设备
本专利技术涉及微创外科手术
，尤其涉及一种基于视频叠加的增强现实手术导航方法、系统及电子设备。
技术介绍
腔镜微创手术已经成为软组织器官治疗的主要术式，如肾肿瘤部分切除术、肝肿瘤部分切除术、胰十二指肠切除术等。然而，微创手术和腹腔镜下有限的手术环境感知和手术时间限制等，使手术对医生的经验和技巧有很高要求。增强现实手术导航可以有效缓解医生术中环境感知有限的问题，为医生提供手术引导，成为近些年的研究热点。相关技术中，基于视频叠加的增强现实手术导航技术是当前腹腔镜增强现实导航的主要形式。实现方式主要是从患者CT/MRI医学图像中重建出目标组织器官的解剖结构模型，通过图像配准技术实现解剖结构模型与术中腹腔镜图像的配准，最后通过增强现实显示技术完成对术中场景的增强显示，实现图像引导。其中，配准可大体分为基于点的配准和基于面的配准两种方式。但是，目前存在的问题是：基于点的配准的手术导航系统方式往往需要人工干预完成，这打断了正常的手术流程，分散了医生的注意力并增加了并发症的风险，而植入标记点的配准方式对人体有侵略性，临床应用困难，且该系统往往需要额外的跟踪设备；基于面的配准的手术导航方式需要进行术中组织形态测量，获取术中目标组织的表面信息，而术中腹腔镜成像环境复杂(烟雾、反光等)造成获取术中目标组织器官的密集重建结果困难。同时，由于术中有限的腹腔镜视野，目标组织表面重建面积小，自动配准难以实现，当前公开的腹腔镜增强现实导航系统大部分为手动配准或半自动配准完成，其中，半自动配准系统指需要人工干预完成初始配准的导航系统。此外，由于腹腔的特殊性，软组织器官存在术中变形，而相关技术中的手术导航系统多忽略了软组织的变形，所提供的手术导航系统不能对软组织的变形进行补偿而导致导航精度差。
技术实现思路
本专利技术的目的旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于视频叠加的增强现实的手术导航方法，该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。本专利技术的第二个目的在于提出一种基于视频叠加的增强现实的手术导航系统。本专利技术的第三个目的在于提出一种电子设备。本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。为达到上述目的，本专利技术第一方面实施例提出的一种基于视频叠加的增强现实手术导航方法，包括：获取目标组织器官的术前三维模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；根据所述刚性配准结果，将术中重建的所述第二点云数据与术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；根据非刚性配准结果，得到所述术前三维模型和所述第二点云数据的目标变换关系；根据所述目标变换关系及相机成像基本原理，将所述术前三维解剖模型通过增强现实技术叠加显示在所述当前视图的腹腔镜图像上。根据本专利技术实施例的基于视频叠加的增强现实手术导航方法，可获取目标组织器官的术前三维模型，然后根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据，之后对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果，然后根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点，之后根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果，然后根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系，最后根据目标变换关系及相机成像基本原理，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜图像上。该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。为达到上述目的，本专利技术第二方面实施例提出的基于视频叠加的增强现实手术导航系统，包括：第一获取模块，用于获取目标组织器官的术前三维模型；构建模块，用于根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；第一配准模块，用于对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；第二获取模块，用于根据刚性配准结果，将术中重建的所述第二点云数据与术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点；第二配准模块，用于根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；第一确定模块，用于根据非刚性配准结果，确定所述术前三维模型和所述第二点云数据的目标变换关系；显示模块，用于根据所述目标变换关系及相机成像基本原理，将所述术前三维解剖模型通过增强现实技术叠加显示在所述当前视图的腹腔镜图像上。根据本专利技术实施例的基于视频叠加的增强现实手术导航系统，可获取目标组织器官的术前三维模型，然后根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据，之后对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果，然后根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点，之后根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果，然后根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系，最后根据目标变换关系及相机成像基本原理，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜图像上。该系统无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实本文档来自技高网...

【技术保护点】
1.一种基于视频叠加的增强现实手术导航方法，其特征在于，包括：获取目标组织器官的术前三维模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；根据所述刚性配准结果，将术中重建的所述第二点云数据与所述术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；根据非刚性配准结果，得到所述术前三维模型和所述第二点云数据的目标变换关系；根据所述目标变换关系及相机成像基本原理，将所述术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。

【技术特征摘要】
1.一种基于视频叠加的增强现实手术导航方法，其特征在于，包括：获取目标组织器官的术前三维模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；根据所述刚性配准结果，将术中重建的所述第二点云数据与所述术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；根据非刚性配准结果，得到所述术前三维模型和所述第二点云数据的目标变换关系；根据所述目标变换关系及相机成像基本原理，将所述术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。2.如权利要求1所述的方法，其特征在于，所述腹腔镜视频信息包括按时间顺序排列的多幅腹腔镜图像，其中，所述根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据，包括：根据预先训练的图像分割模型，对所述腹腔镜图像进行目标组织器官区域和手术器械区域分割，得到目标组织器官图像和手术器械图像；根据分割出的所述目标组织器官图像及手术器械图像，计算其分别对应的目标组织器官及手术器械三维点云；根据分割得到的多幅目标组织器官腹腔镜图像，计算其对应的多个目标组织器官三维点云间的两两变换关系；根据目标组织器官三维点云的两两变换关系，通过空间映射将多个目标组织器官三维点云变换到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，完成点云拼接；对拼接的点云进行降噪、曲面拟合和降采样的后处理操作；将拼接结束时获得的三维拼接点云作为术中目标组织器官表面的第一点云数据，将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据。3.如权利要求2所述的方法，其特征在于，所述方法还包括：采用MASKR-CNN的深度学习算法进行腹腔镜图像中的目标组织器官与手术器械的分割。4.如权利要求2所述的方法，其特征在于，所述方法还包括：根据分割出的手术器械图像信息，计算手术器械的三维点云，通过点云刚性配准技术计算手术器械三维点云的变换关系，对所述手术器械进行追踪。5.如权利要求2所述的方法，其特征在于，所述根据分割出的所述目标组织器官图像及手术器械图像，计算其分别对应的目标组织器官及手术器械三维点云，包括：根据半全局立体匹配算法，对分割出的所述目标组织器官图像和手术器械图像分别进行立体匹配，以得到所述目标组织器官图像和手术器械图像的视差图图像；基于所述视差图图像，依据三维重建基本原理，在相机标定获得相机参数后，计算确定目标组织器官和手术器械三维点云。6.如权利要求1-5任一项所述的方法，其特征在于，对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果之前，还包括：基于预设的主成分分析算法进行初始配准矩阵计算；对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果，包括：根据预设的刚性配准算法，基于所述初始配准矩阵计算结果进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果。7.如权利要求1所述的方法，其特征在于，所述预设的非刚性配准算法包括一致性点漂移算法CPD。8.一种基于视频叠加的增强...

【专利技术属性】
技术研发人员：王君臣，张晓会，孙振，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11