大尺度动态环境下融合现实手术导航配准系统及方法技术方案

本发明专利技术提供了大尺度动态环境下融合现实手术导航配准系统及方法，通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；基于霍尔曼滤波器进行点云跟踪；将Unity3D模型引入云中，进行Azure远程渲染。本发明专利技术为非常规场景下的混合现实手术导航系统的实时虚实配准问题提供了解决方案，提升配准实时性和精度大大高，减少采集时间、节约储存空间以及之后点云预处理数量和时间。储存空间以及之后点云预处理数量和时间。储存空间以及之后点云预处理数量和时间。

【技术实现步骤摘要】
大尺度动态环境下融合现实手术导航配准系统及方法


[0001]本专利技术属于虚拟现实、人机交互、数据处理
，涉及大尺度动态环境下融合现实手术导航配准系统及方法。

技术介绍

[0002]混合现实(MR，Mixed Reality)指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实技术是一项前沿的创新技术，它在医疗领域的应用也初具规模，目前也有相关的报道和文献表明，很多科研工作者正在开发相应的产品和方法，将混合现实结合手术应用中。随着基于图像引导的手术导航系统(Image
‑
guided Surgery,IGS)的开发问世，其从根本上改变了传统手术模式，实现了术前规划方案至临床手术操作的精准转移，极大地提高了手术的安全性、可靠性和高效性。该技术被誉为现代临床医学手术室的“卫星定位GPS系统”，以CT、MRI等医学影像资料和计算机辅助术前规划信息为基础，在手术过程中利用高精度定位跟踪仪对手术器械和患者进行跟踪，并将两者的相对位置关系实时显示在计算机屏幕上，从而提供给临床医生更精确的量化信息指导，引导其按照术前规划的方案顺利实施手术。在医学研究中引入增强现实技术，可以将获得的人体三维组织信息准确的叠加在医生的视野环境中，为医生提供更为直观的用于诊断的显示效果。利用增强现实技术，直接将CT、MRI等信息显示在病人身上，并对需要施行手术的部位精确的定位，这在提高医学诊断和手术精度方面均具有很重要的研究意义。
[0003]但基于混合现实的手术导航系统也存在各种问题：
[0004]一、混合现实中会产生动态环境下的实时配准问题，如：在飞机上进行手术救援时，飞机不时会产生颠簸，从而可能造成患者位置或医护人员位置发生改变。目前为止，绝大部分基于混合现实的手术导航系统的应用是在实验室或医院等场景中进行的，而在这些场景中进行手术时患者几乎是保持不动的，在设计配准算法时不需要考虑目标频繁移动问题，故目前基于混合现实手术导航系统中所设计的虚实配准算法不适用于动态环境下的实时配准。
[0005]二、在系统中加入复杂算法或处理数据量很大时，基于HoloLens的硬件配置无法满足实际需求。(1)在基于混合现实的手术导航系统中，在手术器械建模和配准工作完成后，就需要对手术器械和患者实体的运动进行实时跟踪，并将两者的位置变化统一反映在计算机屏幕虚拟图像中，引导医生按照术前规划的路径施行手术，避免损伤重要的解剖结构。在虚拟图像中同步显示手术器械和患者的绝对运动的表现形式(亦即基于世界坐标系配准的绝对跟踪)较符合客观实际、真实直观，但该方法在导航过程中需要实时对患者STL格式三维模型(一般在几十兆左右)进行移动、旋转并显示的计算，这就不可避免地存在内存占用大，容易引起图像显示滞后，甚至导航系统死机与瘫痪的缺点。(2)在移动设备查看3D内容的传统方法需要压缩模型并去除多边形。并且为了让虚拟物体看起来与真实物体接近，稳定地出现在某个位置并且拥有平滑的动画效果，渲染的刷新率是非常重要的。在
HoloLens中，我们要求至少拥有60FPS以上的刷新率，在某些VR设备中，甚至要求90FPS以上的刷新率。过低的刷新率会导致抖动的出现或者图像重影，这会使得用户出现头晕症状。因此，努力让虚拟物体以60FPS以上的刷新率进行渲染，有助于提高体验时的舒适度。这会要求开发者把模型简化到可以在低性能GPU硬件运行的程度，但结果可能是丢失了关键业务和设计决策所需的重要细节。

技术实现思路

[0006]为解决上述问题，本专利技术提供了一种大尺度动态环境下融合现实手术导航配准系统及方法。
[0007]为了达到上述目的，本专利技术提供如下技术方案：
[0008]大尺度动态环境下融合现实手术导航配准方法，包括如下步骤：
[0009]步骤一，点云采集与预处理
[0010]通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；
[0011]步骤二，ICP点云虚实配准
[0012]根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；
[0013]步骤三，基于卡尔曼滤波的点云跟踪
[0014]基于卡尔曼滤波器进行点云跟踪；
[0015]步骤四，云渲染
[0016]将Unity3D模型引入云中，进行Azure远程渲染。
[0017]进一步的，所述步骤一包括如下子步骤：
[0018](1)通过调用HoloLens开发工具包MRTK中函数，生成可移动空间映射边界框；
[0019](2)利用主成分分析对点云进行特征提取。
[0020]进一步的，所述步骤(2)具体包括如下过程：
[0021]首先在点云中检测出多个平面，然后将每个平面所能拟合的点投影到各自平面上，并将投影后的边界点作为特征线的候选点，而后应用RANSAC在候选点中检测出特征线并使用主成分分析的方法确定特征线的参数。
[0022]进一步的，所述步骤二包括如下子步骤：
[0023](1)计算最近点，基准点在CT图像坐标系及世界坐标系下的坐标点集分别为P＝{Pi,i＝0,1,2,
…
,k}及U＝{Ui,i＝0,1,2,
…
,n}，对于集合U中的每一个点，在集合P中都找出距该点最近的对应点，设集合P中由这些对应点组成的新点集为Q＝{q
i
,i＝0,1,2,
…
,n}；
[0024](2)计算两个点集Q和U的重心位置坐标，并进行点集中心化生成新的点集；由新的点集计算正定矩阵N，并计算N的最大特征值及其最大特征向量；
[0025](3)由于最大特征向量等价于残差平方和最小时的旋转四元数，将四元数转换为旋转矩阵R；在旋转矩阵R被确定后，由平移向量t仅仅是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定平移矩阵T；
[0026](4)计算坐标变换，即对于集合U，用配准变换矩阵R，T进行坐标变换，得到新的点
集U1，即U1＝RU+T；
[0027](5)计算U1与Q之间的均方根误差，如小于预设的极限值则结束，否则以点集U1替换U，重复上述步骤。
[0028]本专利技术还提供了大尺度动态环境下融合现实手术导航配准系统，包括点云采集与预处理模块、ICP点云虚实配准模块、点云跟踪模块、云渲染模块；所述点云采集与预处理模块用于通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；所述ICP点云虚实配准模块用于根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；所述点云跟踪模块用于基于霍尔曼滤波器进行点云跟踪；所述云渲本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.大尺度动态环境下融合现实手术导航配准方法，其特征在于，包括如下步骤：步骤一，点云采集与预处理通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；步骤二，ICP点云虚实配准根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；步骤三，基于卡尔曼滤波的点云跟踪基于卡尔曼滤波器进行点云跟踪；步骤四，云渲染将Unity3D模型引入云中，进行Azure远程渲染。2.根据权利要求1所述的大尺度动态环境下融合现实手术导航配准方法，其特征在于，所述步骤一包括如下子步骤：(1)通过调用HoloLens开发工具包MRTK中函数，生成可移动空间映射边界框；(2)利用主成分分析对点云进行特征提取。3.根据权利要求2所述的大尺度动态环境下融合现实手术导航配准方法，其特征在于，所述步骤(2)具体包括如下过程：首先在点云中检测出多个平面，然后将每个平面所能拟合的点投影到各自平面上，并将投影后的边界点作为特征线的候选点，而后应用RANSAC在候选点中检测出特征线并使用主成分分析的方法确定特征线的参数。4.根据权利要求1所述的大尺度动态环境下融合现实手术导航配准方法，其特征在于，所述步骤二包括如下子步骤：(1)计算最近点，基准点在CT图像坐标系及世界坐标系下的坐标点集分别为P＝{Pi,i＝0,1,2,
…
,k}及U＝{Ui,i＝0,1,2,
…
...

【专利技术属性】
技术研发人员：王立军，周娜，李争平，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：