一种基于双目定位的混合透视方法、系统及设备技术方案

本发明专利技术涉及一种基于双目定位的混合透视方法、系统及设备。包括：获取患者三维器官模型；基于双摄像头分别获取参考架图像、患者人体图像，根据实时获取的参考架图像构建参考架掩膜图，通过配准映射得到患者人体模型；基于三维器官模型、患者人体模型、参考架掩膜图和双摄像头坐标系的位置关系，在双摄像头视频中实时显示的人体模型上同时投影三维器官模型、参考架掩膜图，得到混合透视视频图像。本发明专利技术方法旨在基于双摄像头进行空间定位，通过混合透视在视频中人体上实时投影参考架的三维模型与三维重建的器官模型，发掘其在协助外科医生实现最佳手术结果中的潜在应用价值。生实现最佳手术结果中的潜在应用价值。生实现最佳手术结果中的潜在应用价值。

【技术实现步骤摘要】
一种基于双目定位的混合透视方法、系统及设备


[0001]本专利技术涉及临床医学中的图像可视化分析领域，更具体地，涉及一种基于双目定位的混合透视方法、系统、设备、计算机可读存储介质及其应用。

技术介绍

[0002]手术导航是以超声、X射线、CT、MRI等医学影像为基础数据，借助计算机、精密仪器和图像处理而发展起来的一种可视化图像引导手术技术，可通过三维数字化患者病灶组织，实时追踪手术器械位置，实现外科手术可视化和自动化，从而辅助医生或机器人更快速、准确和安全地完成手术任务。
[0003]目前，医生主要通过观察超声、X光、CT和MRI等二维图像进行诊断。但是，二维图像无法直观展现病灶区域的立体解剖结构，需医生依靠经验进行推断；同时，图像存在走样、噪音、伪影等问题，影响医生准确判断病情。由此，手术的成功率极大依赖于医生以往的经验来进行手术，而以往经验的形成需要长时间的医疗培训和临床经验。鉴于三维模型重建是对客观物体在计算机中建立相同的三维虚拟模型，可将患者的CT、MRI等二维医学影像原始数据导入三维模型重建系统，形成患者检查部位的三维可视化数字模型。

技术实现思路

[0004]本申请的目的在于，本申请实施例提供一种基于双目定位的混合透视方法、系统、设备、计算机可读存储介质及其应用，旨在基于双目摄像头进行定位，通过混合透视解决导航可视化的问题，导航时把手术工具的三维模型、患者的三维器官模型与摄像头拍摄的人体叠加在一起，以发掘其在协助外科医生实现最佳手术结果中的潜在应用价值，对治疗决策的选择提供更充分的支持。
[0005]根据本申请的第一方面，本申请一实施例提供了一种基于双目定位的混合透视方法，其包括：获取患者的三维器官模型；基于双摄像头获取参考架图像，根据所述参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息；基于所述空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图像；基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的映射关系，映射得到患者人体模型；基于三维器官模型、患者人体模型、实时的参考架掩膜图像和双摄像头坐标系的位置关系，在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，得到混合透视视频图像。
[0006]在一实施例中，所述患者的三维器官模型基于患者术前的各种器官的医学影像按照1：1比例进行三维器官重建得到。
[0007]进一步，所述各种器官的医学影像包括CT影像和/或MRI影像，所述三维器官重建，
是将患者术前的各种器官的医学影像输入到训练好的人体三维器官模型得到患者的三维器官模型。
[0008]可选的，所述训练好的人体三维器官模型通过下列网络模型中的任意一种或几种实现：多视图三维重建网络pixelNeRF、MVSNet、PatchMatchNet。
[0009]在一实施例中，所述基于双摄像头获取参考架图像还包括：通过双目定位对所述参考架进行定位，具体的，所述双目定位利用张正友标定法对左右两个相机进行标定和双目矫正特征点识别，基于所述参考架具有的黑白交替的特征点，进行自适应搜索框半径，沿着搜索框边缘检测满足有且仅有黑白交替点的候选区域，对所述候选区域进行对称性检测，过滤不满足条件的区域，对满足条件的候选区域做卷积作为积分生成积分图，对积分图做非极大值抑制和亚像素点位置计算来确定最终的特征点位置，定位得到所述参考架的关键特征点。
[0010]在一实施例中，所述实时的参考架掩膜图像，基于所述空间位姿信息中的关键特征点生成，具体的，通过遍历双摄像头获取的左右两幅图中的特征点查找是否存在所述参考架指定的特殊形状，过滤掉未配对的特征点，再通过配对成功的特征点检测对应关系，利用最小二乘法计算得到参考架掩膜图像。其中，所述参考架是指手术工具。
[0011]进一步，所述空间位姿信息包括所述参考架具有特定结构的关键特征点，所述特定结构包括由黑白交替的特征点构成的多个黑白交替的目标区域。
[0012]在一些实施例中，所述基于双摄像头获取患者人体图像，还包括所述通过机器学习的方法对所述患者人体图像的目标区域进行自动分割和定位，得到所述目标区域的关键位置信息和姿态信息，基于所述目标区域的关键位置信息和姿态信息进而确定人体坐标系；可选的，所述自动分割和定位通过下列算法中的任意一种或几种实现：分水岭分割、U
‑
Net、MIScnn、ResUNet。
[0013]在一实施例中，所述配准通过点云配准的方法确定人体坐标系和双摄像头坐标系的映射关系，其中，所述点云配准基于全局特征配准和局部特征配准的混合方式进行。
[0014]进一步，所述点云配准采用下列方法中的任意一种或几种：3Dsc、4pcs、super4pcs、K
‑
4PCS。
[0015]根据本申请的第二方面，本申请一实施例提供了一种基于双目定位的混合透视系统，其包括：三维模型获取模块，用于获取患者的三维器官模型；坐标系确定模块，基于双摄像头获取参考架图像，根据所述参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息；掩膜图像生成模块，基于所述空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图像；人体模型配准模块，基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的关系，基于所述人体坐标系和双摄像头坐标系的关系，将人体坐标系映射到双摄像头坐标系下，在双摄像头的视频内实时显示患者人体模型；混合透视显示模块，用于在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，基于三维器官模型、患者人体模型、实时的参考架掩膜图像和双摄像头坐标系的位置关系，得到混合透视视频图像。
[0016]根据本申请的第三方面，本申请一实施例提供了一种基于双目定位的混合透视设备，主要包括：存储器和处理器；所述存储器用于存储程序指令，所述程序指令存储有基于双目定位的混合透视的计算机程序，当所述计算机程序被处理器执行时，实现上述的一种基于双目定位的混合透视方法；所述处理器用于调用程序指令，当程序指令被执行时，用于执行实现上述的一种基于双目定位的混合透视方法。
[0017]根据本申请的第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有基于双目定位的混合透视的计算机程序，所述计算机程序被处理器执行时，实现上述基于双目定位的混合透视方法。
[0018]上述的设备或系统在对手术的智能导航可视化的应用；可选的，可视化应用包括通过双目标定和配准算法使虚拟坐标系与摄像头统一，通过混合透视在视频中人体上实时投影手术工具的三维模型与三维重建的人体器官模型；上述的设备或系统在提取深度信息的应用；可选的，所述应用包括在多个摄像机查看同一场景时，通过空间定位，可以从图像中提取深度信息；上述的设备或系统在辅助外科医生进行准确诊断分析的应用；可选的，所述辅助包括：通过重建的三维模型可直观显示病灶区域的血管、神经、骨质等组织结构，并可任意旋转、缩放和测量，用于精准定位病灶位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目定位的混合透视方法，包括：获取患者的三维器官模型；基于双摄像头获取参考架图像，根据所述参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息；基于所述空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图像；基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的映射关系，映射得到患者人体模型；基于三维器官模型、患者人体模型、实时的参考架掩膜图像和双摄像头坐标系的位置关系，在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，得到混合透视视频图像。2.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述患者的三维器官模型基于患者术前的各种器官的医学影像按照1：1比例进行三维器官重建得到。3.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述空间位姿信息包括所述参考架具有特定结构的关键特征点，所述特定结构包括由黑白交替的特征点构成的多个黑白交替的目标区域。4.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述基于双摄像头获取参考架图像还包括：通过双目定位对所述参考架进行定位，具体的，所述双目定位利用张正友标定法对左右两个相机进行标定和双目矫正特征点识别，基于所述参考架具有的黑白交替的特征点，进行自适应搜索框半径，沿着搜索框边缘检测满足有且仅有黑白交替点的候选区域，对所述候选区域进行对称性检测，过滤不满足条件的区域，对满足条件的候选区域做卷积作为积分生成积分图，对积分图做非极大值抑制和亚像素点位置计算来确定最终的特征点位置，定位得到所述参考架的关键特征点。5.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述实时的参考架掩膜图像，基于所述空间位姿信息中的关键特征点生成，具体的，通过遍历双摄像头获取的左右两幅图中的特征点查找是否存在所述参考架指定的特殊形状，过滤掉未配对的特征点，再通过配对成功的特征点检测对应关系，利用最小二乘法计算得到参考架掩膜图像。6.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述基于双摄像头获取患者人体图像，还包括所述通过机器学习的方法对所...

【专利技术属性】
技术研发人员：翟伟明，鲁通，
申请(专利权)人：北京维卓致远医疗科技发展有限责任公司，
类型：发明
国别省市：