一种实时匹配的手术场景增强现实投射方法技术

本发明专利技术提供了一种实时匹配的手术场景增强现实投射方法，用于手术术野投射，指导外科医师手术，也可用于医学教育。该方法包括：对医学影像图像进行快速三维重建以得到虚拟三维模型；通过增强现实技术将所述虚拟模型与手术真实场景进行实时跟踪与叠合；通过微型投影仪投射与手术场景实时叠合的三维影像模型。本发明专利技术借助增强现实技术使得外科医生能够获取更加准确且直观的病人身体内部信息，实现对手术时的引导作用，减少手术的误伤，提高手术成功率。

A real-time matched surgery scene augmented reality projection method

The present invention provides a real-time matched surgical scenario augmented reality projection method for surgical field projection, directing surgeon surgery, and also for medical education. The method includes: the medical image three-dimensional reconstruction to obtain the virtual 3D model; through augmented reality technology in the virtual operation model and real scene real-time tracking and overlapping; three-dimensional shadow through micro projector projection and operation scene real-time stacked like model. With the aid of the augmented reality technique, the surgeon can obtain more accurate and intuitive internal information of the patient body, realize the guiding function to the operation, reduce the accidental injury of the operation and improve the success rate of the operation.

【技术实现步骤摘要】
一种实时匹配的手术场景增强现实投射方法
本专利技术属于增强现实(AR)应用
，涉及一种实时匹配的手术场景增强现实投射方法。
技术介绍
随着计算机技术和影像学技术的发展，利用术前患者影像的重建图像可以更加准确且直观地显示出患者的解剖结构和疾病的病理生理变化。进一步地，将这些患者特异性的影像投射于手术区域，来引导手术进程，保证手术安全成为新兴的技术应用。为解决上述问题,中国专利201010585237.2号便公开了一种“医学手术导航方法”。该专利技术提供了一种医学手术导航方法，包括：第一步骤，用于对医学图像进行三维重建以得到虚拟模型；第二步骤，用于通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融合状态下实现对医学手术的导航作用。根据本专利技术的医学手术导航方法使得外科医生能够获取更加准确且直观的病人身体信息。在该技术方案中，医学手术导航包括：对医学图像进行三维重建得到虚拟模型和虚拟模型与病人身体融合两部分。其存在以下难点：1、医学图像的三维重建难题。现有的医学图像软件进行自动三维重建多用于骨骼系统或血管增强的组织，而用于腹部等软组织结构则没有好的算法解决，多需要依赖人工的判别和描绘。2、虚拟模型与病人实体的定位难题。由于手术中病人或病人的器官处于运动的状态，给图像与实体的自动融合匹配造成困难。较大的误差不仅不能使用户从感官上相信虚拟物体在真实环境中的存在性及其一体性。3、图像的投射问题。手术中医生的头部运动经常会遮挡图像，如何利用投射图像进行引导又不造成手术者的负担是有待解决。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种实时匹配的手术场景增强现实投射方法。本专利技术的目的是通过以下技术方案实现的：一种实时匹配的手术场景增强现实投射方法，该方法包括：根据CT图像进行三维重建，得到虚拟3D模型；通过红外摄像机获得手术病人的红外图像，并将其与虚拟3D模型的冠状面图像(从人体的前面往后面看)进行融合；同时对手术病人的体位信息进行实时跟踪，最后根据体位信息，通过投影仪将融合图像投射在病人体表。进一步地,所述图像融合方法如下：(1)根据虚拟3D模型获得冠状面图像的灰度图；采用全局阈值分割法对灰度图进行分割，提取前景图像；(2)对红外摄像机实时采集的红外图像，采用基于仿射传播聚类的视频关键帧提取方法，获取关键帧图像。采用全局阈值分割法对关键帧图像的灰度图进行分割，提取前景图像；(3)将步骤1和2获得的前景图像进行融合。进一步地,根据体位信息，通过投影仪将融合图像投射在病人体表，具体为：(1)通过训练,获得红外摄像机和投影仪位置相对于病人位置的变化矩阵T；(2)对红外摄像机实时采集的红外图像，采用基于仿射传播聚类的视频关键帧提取方法，获取关键帧图像。采用全局阈值分割法对关键帧图像的灰度图进行分割，获得前景图像中各个像素点的坐标(xu,yu)；(3)根据像素点坐标以及变换矩阵T，调整投影仪的位置，将融合图像投射在病人体表。本专利技术的有益效果在于：本专利技术的快速CT图像三维重建算法可实现CT图像的快速自动重建，为实时引导提供图像基础。由于本专利技术的红外线反射摄像头可以捕捉到病人器官的运动，使得投射图像具有实时的跟踪功能，为手术提供实时的指引。计算机的定位融合模块，可解决因手术中变化位置等因素的干扰和影像，保证了叠合图像的稳定性和可靠性。附图说明图1是本专利技术的技术路线图。图2是本专利技术的实时手术区域跟踪识别过程图。图3是本专利技术的投射构造图。图4为投射效果图。具体实施方式下面结合附图和实施方式对本专利技术进一步说明。本专利技术提供一种实时匹配的手术场景增强现实投射方法，该方法包括：根据CT图像进行三维重建，得到虚拟3D模型；通过红外摄像机获得手术病人的红外图像，并将其与虚拟3D模型的冠状面图像进行融合；同时对手术病人的体位信息进行实时跟踪，最后根据体位信息，通过投影仪将融合图像投射在病人体表。其中，CT图像的快速三维自动重建是基于血管树和概率模型的腹腔脏器分割算法，主要任务为从腹部CT图像中提取出实质性脏器和血管结构，并重建其3D模型，以便更直观地反映出器官的生理构造。本算法的基本思路为通过提取器官的血管树来对器官进行定位，并将与器官内血管在特定距离范围内的细胞(体素)定义为器官结构。这一过程类似于树叶的生长过程，只有与树枝在特定距离范围内的树叶才能接收到树枝传输的营养物质，并存活下来。同样地，只有与器官血管在特定距离范围内的细胞才能与之进行物质交换并成为器官的一部分。本算法采用了概率模型，利用CT图像中密度值、位置以及与血管的距离等特征定义了四个概率公式，通过综合考量这四个概率来得到最终的判定结果。在腹部器官分割的过程中，用户只需要通过交互界面输入一个种子点，系统即可通过区域生长、形态扩张和阈值等算法得到器官的大致定位，并分割出较为准确的器官血管树。此后，系统会根据血管树的点云构建KD树，实现组织器官的自动重建。所述图像融合方法如下：(1)根据虚拟3D模型获得冠状面图像的灰度图；采用全局阈值分割法对灰度图进行分割，提取前景图像；一般情况下，阈值取100。(2)对红外摄像机实时采集的红外视频序列，采用基于仿射传播聚类的视频关键帧提取方法，获取关键帧图像。具体如下：计算任意两个帧i(0≤i<m)andk(0≤k<m)的直方图交的距离。采用仿射传播聚类方法生成聚类集合:r(i,k)←D(i,k)-max{a(i,j)+s(i,j)}(j∈{1,2,...,N},butj≠k)然后采用全局阈值分割法对关键帧图像的灰度图进行分割，提取前景图像；一般情况下，阈值取100。(3)将步骤1和2获得的前景图像进行融合。根据体位信息，通过投影仪将融合图像投射在病人体表，具体为：(1)通过训练，获得红外摄像机和投影仪位置相对于病人位置的变化矩阵T；变化矩阵T可通过在病人体表设置4个或更多的标志点，通过病人沿设定方向移动一定距离来获得。假定病人坐标系为xwywzw，在手术病人体表设置4个定位点，病人分别沿x，y和z轴作缓慢运动。Optictrack红外摄像机获取红外图像，检测与识别现实手术病人场景的信息，生成V3×3和W3×1矩阵，V3×3是一个3×3的矩阵，表示了摄像头相对于病人坐标系下绕x，y，z三个坐标轴的旋转角度。W3×1是一个3×l的矩阵，表示了摄像头相对病人坐标系下沿x，y，z三个坐标轴平移距离。从而得到摄像头和投影仪相对于病人坐标系的变换矩阵T，如式(1)所示。(2)对红外摄像机实时采集的红外视频序列，采用基于仿射传播聚类的视频关键帧提取方法，获取关键帧图像。采用全局阈值分割法对关键帧图像的灰度图进行分割，获得前景图像中各个像素点的坐标(xu,yu)；(3)根据像素点坐标以及变换矩阵T，调整投影仪的位置，将融合图像投射在病人体表，如图4所示。其中，(u,v,h)为投射的虚拟模型上某一点的坐标，(Xw,Yw,Zw)为人体坐标系下的坐标；P矩阵为已知的摄像头固有内部物理参数矩阵，A矩阵为单位矩阵。本专利技术通过图像融合以及实时跟踪，解决人体器官三维图像与手术实景界面的锚定问题，从而将虚拟三维结构与实体解剖画面准确对合，解决手术区域被牵拉扭曲甚至切除后，快速更新三维结构图，以配合手术进程与实体解剖画面相叠合，保证了叠合图像的本文档来自技高网...

【技术保护点】
一种实时匹配的手术场景增强现实投射方法，其特征在于，该方法包括：根据CT图像进行三维重建，得到虚拟3D模型；通过红外摄像机获得手术病人的红外图像，并将其与虚拟3D模型的冠状面图像(从人体的前面往后面看)进行融合；同时对手术病人的体位信息进行实时跟踪，最后根据体位信息，通过投影仪将融合图像投射在病人体表。

【技术特征摘要】
1.一种实时匹配的手术场景增强现实投射方法，其特征在于，该方法包括：根据CT图像进行三维重建，得到虚拟3D模型；通过红外摄像机获得手术病人的红外图像，并将其与虚拟3D模型的冠状面图像(从人体的前面往后面看)进行融合；同时对手术病人的体位信息进行实时跟踪，最后根据体位信息，通过投影仪将融合图像投射在病人体表。2.根据权利要求1所述的方法，其特征在于，所述图像融合方法如下：(1)根据虚拟3D模型获得冠状面图像的灰度图；采用全局阈值分割法对灰度图进行分割，提取前景图像；(2)对红外摄像机实时采集的红外图像，采用基于仿射传播聚类的视频关键帧提取方法，获取关...

【专利技术属性】
技术研发人员：郑毅雄，吴育连，郑斌，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33