一种用于增强现实手术导航的腹腔镜视频精准融合方法技术

本发明专利技术涉及一种用于增强现实手术导航的腹腔镜视频精准融合方法，步骤一：对腹腔镜相机进行标定，确定相机参数；步骤二：使用腹腔镜相机标定参数进行3D图形渲染引擎的投影矩阵设置；步骤三：获取手术对象术中的腹腔镜图像，用3D图形渲染引擎渲染生成对应的无畸变视图；步骤四：用畸变模型对步骤三所述3D图形渲染引擎渲染获得的无畸变视图进行变形处理，获得与实际腹腔镜具有同样畸变效果的虚拟视图；步骤五：融合虚拟视图与实际腹腔镜图像，检测步骤四生成虚拟视图的每一个像素点的深度值；步骤六：实时获取术中实际腹腔镜图像，重复步骤三到步骤五，获得具有正确位置映射关系的精准虚拟‑真实融合视频用于手术导航。

【技术实现步骤摘要】

本专利技术涉及微创外科手术
，尤其涉及一种用于增强现实手术导航的腹腔镜视频精准融合方法。
技术介绍
在腹腔镜手术过程中，由于腹腔镜下有限的手术环境感知，医生无法直观获取腹腔镜视野周边的全局信息，传统的腹腔镜手术只能依靠医生的经验和技巧把握病人病灶的位置、深度和切除范围，存在对病灶及其边界定位不准，健康组织切除过多等问题，致使手术的难度和风险性较大。增强现实导航技术可以有效解决腹腔镜手术中存在的有限手术环境感知问题，即把高分辨率的器官组织或目标肿瘤的三维解剖模型(CT或MRI重建)通过图像配准过程匹配到术中视野，为医生提供基于视频叠加的视觉引导，实现微创手术可视化。在目前腹腔镜手术增强现实导航研究方面，美国佛罗里达大学的Su等在文献“AugmentedRealityDuringRobot-assistedLaparoscopicPartialNephrectomy:TowardReal-Time3D-CTtoStereoscopicVideoRegistration”中公开了一种用于肾部分切除术的增强现实导航方法，该方法将术前肾脏解剖模型和肿瘤位置通过刚性配准匹配到术中腹腔镜的相机坐标系下，并叠加显示在腹腔镜视野上。日本名古屋大学的Feuerstein等在文献“Intraoperativelaparoscopeaugmentationforportplacementandresectionplanninginminimallyinvasiveliverresection”中公开了一种将肝脏血管的术前三维图像增强显示在腹腔镜视频上用于肝脏切除手术导航。国内腹腔镜手术增强现实导航方面仍处于初级起步研究阶段。腹腔镜手术增强现实导航的关键是实现视频叠加融合，即如何将可视化信息(例如器官/肿瘤的术前解剖模型)实时、正确地匹配到术中腹腔镜视野上。当前的技术主要采用两种手段实现视频叠加融合：第一类方法采用蛮力算法遍历术前解剖模型(三角面片模型)的每个三维点，使用事先标定好的相机内外参数，计算每个三维点在二维图像上的坐标，并采用绘图函数画出该二维投影点；第二类方法先对腹腔镜相机的原始图像做畸变校正，然后通过设置3D图形渲染引擎(例如OpenGL)的投影几何关系，对畸变校正图像进行图像渲染，从而得到与校正后的腹腔镜图像一致的虚拟图像。第一类方法的缺点在于效率太低，缺少三维效果，无法做到实时渲染，而且也无法实现三维渲染中的遮挡、光照等效果；第二类方法的缺点是为了保证相机的线性投影关系而损失了一部分术中视野。
技术实现思路
专利技术目的：本专利技术克服了现有腹腔镜视频叠加融合技术中的缺点，提出了一种用于增强现实手术导航的腹腔镜视频精准融合方法，在不损失术中视野范围的前提下，能充分利用3D图形渲染引擎的渲染能力，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加(overlay)。技术方案：本专利技术一种用于增强现实手术导航的腹腔镜视频精准融合方法，其步骤如下：步骤一：对腹腔镜相机进行标定，确定其相机参数包括：f、k1、k2、k3、p1、p2、sx、sy、cx、cy、W、H。其中，步骤一中所述f指腹腔镜相机的焦距(单位为毫米)，所述k1、k2、k3指腹腔镜相机镜头的径向畸变系数，所述p1、p2指腹腔镜相机镜头的切向畸变系数，所述sx指腹腔镜相机单个像素的横向物理尺寸(单位为毫米)，所述sy指腹腔镜相机单个像素的纵向物理尺寸(单位为毫米)，所述cx指腹腔镜相机光轴与成像平面的交点在相机图像上的横向像素坐标，所述cy指腹腔镜相机光轴与成像平面的交点在相机图像上的纵向像素坐标，所述W指腹腔镜相机拍摄图像的宽度(单位为像素)，所述H指腹腔镜相机拍摄图像的高度(单位为像素)。步骤二：使用腹腔镜相机标定参数进行3D图形渲染引擎的投影矩阵设置，使得3D图形渲染引擎的视图平截头体与实际腹腔镜相机具有相同的投影几何关系。以OpenGL为例，其中，步骤二中所述的“投影矩阵设置”，其作法如下：P=2fr-l0r+lr-l002ft-bt+bt-b000-zf+znzf-zn-2zfznzf-zn00-10]]>该P即为所述投影矩阵；式中，l＝-(cx+0.5)sx，r＝(W-0.5-cx)sx，t＝(cy+0.5)sy，b＝-(H-0.5-cy)sy，该f、sx、sy、cx、cy、W、H与步骤一所述一致；式中，zn为OpenGL视图平截头体中的近裁剪平面对应的z坐标绝对值，zf为OpenGL中的远裁剪平面对应的z坐标绝对值，取值依据|zf-zn|的值不小于5倍目标器官长度大小，比如，器官的最大维度为100mm，则可取|zf-zn|＝500，可令zn＝1，zf＝501。步骤三：获取手术对象术中的腹腔镜图像，使用3D图形渲染引擎渲染生成对应的无畸变视图。其中，步骤三中所述的“3D图形渲染引擎渲染”，其作法如下：(1)将术前器官组织的三维解剖模型以顶点数组对象(vertexarrayobject)形式导入3D图形渲染引擎环境中；(2)获取真实腹腔镜图像(2D图像)，采用基于视图的3D-2D配准方法得到模型视图矩阵MV，将步骤二所述投影矩阵P和模型视图矩阵MV相乘获得模型视图投影矩阵MVP，该MVP＝P·MV；(3)启动3D图形渲染引擎渲染流水线，把模型视图投影矩阵MVP传给3D图形渲染引擎的顶点着色器(vertexshader)，在顶点着色器中用该MVP变换三维解剖模型的每一个几何顶点，并在3D图形渲染引擎的片段着色器(fragmentshader)中进行光照和纹理渲染，最终得到的渲染图像即为在腹腔镜相机拍摄角度下的与实际腹腔镜相机具有同样几何成像的无畸变视图。步骤四：利用畸变模型对步骤三所述3D图形渲染引擎渲染获得的无畸变视图进行变形处理(wrap)，获得与实际腹腔镜具有同样畸变效果的虚拟视图。其中，步骤四所述的“畸变模型”，它表示如下：u~v~=u+u(k1r2+k2r4+k3r6)+p1(r2+2u2)+2p2uvv+v(k1r2+k2r4+k3r6)+p2(r2+2v2)+2p1uv]]>式中，所述该u、v为无畸变视图中任一点的归一化坐标；式中，所述为u、v点发生镜头畸变后对应在畸变视图中的归一化坐标；式中，所述k1、k2、k3为步骤一所述腹腔镜相机镜头的径向畸变系数，所述p1、p2为步骤一所述腹腔镜相机镜头的切向畸变系数。其中，步骤四所述的“变形处理”，其作法如下：利用和(u、v)之间的映射关系可以生成一个W×H的查找表，该W、H与步骤一所述一致，查找表里面存储着畸变视图的每一个像素点对应在非畸变视图中的位置。将查找表以纹理(texture)形式导入3D图形渲染引擎环境，在3D图形渲染引擎的片段着色器中对非畸变视图进行并行变形处理，最终得到与实际腹腔镜具有同样畸变效果的虚拟视图。步骤五：融合虚拟视图与实际腹腔镜图像，在3D图形渲染引擎的片段着色器中检测步骤四所生成虚拟视图的每一个像素点的深度值(z-buffervalue)，如果虚拟视图中的像素是背景像素，则将实际腹腔镜图像上对应的像素值赋予当前像素，否则将虚拟视图的对应像素值赋予当前像素，最终获得具有正确位置关系的精准虚拟-真实融合视图。步骤六：实时获取术中实际腹腔镜图像，并不断重复步骤三本文档来自技高网...

【技术保护点】
一种用于增强现实手术导航的腹腔镜视频精准融合方法，特征在于：该方法步骤如下：步骤一：对腹腔镜相机进行标定，确定相机参数；步骤二：使用腹腔镜相机标定参数进行3D图形渲染引擎的投影矩阵设置，使得3D图形渲染引擎的视图平截头体与实际腹腔镜相机具有相同的投影几何关系；步骤三：获取手术对象术中的腹腔镜图像，使用3D图形渲染引擎渲染生成对应的无畸变视图；步骤四：利用畸变模型对步骤三所述3D图形渲染引擎渲染获得的无畸变视图进行变形处理，获得与实际腹腔镜具有同样畸变效果的虚拟视图；步骤五：融合虚拟视图与实际腹腔镜图像，在3D图形渲染引擎的片段着色器中检测步骤四所生成虚拟视图的每一个像素点的深度值，如果虚拟视图中的像素是背景像素，则将实际腹腔镜图像上对应的像素值赋予当前像素，否则将虚拟视图的对应像素值赋予当前像素，最终获得具有正确位置关系的精准虚拟‑真实融合视图；步骤六：实时获取术中实际腹腔镜图像，并不断重复步骤三到步骤五，最终获得具有正确位置映射关系的精准虚拟‑真实融合视频用于手术导航，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加。

【技术特征摘要】
1.一种用于增强现实手术导航的腹腔镜视频精准融合方法，特征在于：该方法步骤如下：步骤一：对腹腔镜相机进行标定，确定相机参数；步骤二：使用腹腔镜相机标定参数进行3D图形渲染引擎的投影矩阵设置，使得3D图形渲染引擎的视图平截头体与实际腹腔镜相机具有相同的投影几何关系；步骤三：获取手术对象术中的腹腔镜图像，使用3D图形渲染引擎渲染生成对应的无畸变视图；步骤四：利用畸变模型对步骤三所述3D图形渲染引擎渲染获得的无畸变视图进行变形处理，获得与实际腹腔镜具有同样畸变效果的虚拟视图；步骤五：融合虚拟视图与实际腹腔镜图像，在3D图形渲染引擎的片段着色器中检测步骤四所生成虚拟视图的每一个像素点的深度值，如果虚拟视图中的像素是背景像素，则将实际腹腔镜图像上对应的像素值赋予当前像素，否则将虚拟视图的对应像素值赋予当前像素，最终获得具有正确位置关系的精准虚拟-真实融合视图；步骤六：实时获取术中实际腹腔镜图像，并不断重复步骤三到步骤五，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加。2.根据权利要求1所述的一种用于增强现实手术导航的腹腔镜视频精准融合方法，其特征在于：步骤二中所述的3D图形渲染引擎选用OpenGL，则该投影矩阵设置，其作法如下：P=2fr-l0r+lr-l002ft-bt+bt-b000-zf+znzf-zn-2zfznzf-zn00-10]]>该P即为所述投影矩阵；式中，l＝-(cx+0.5)sx，r＝(W-0.5-cx)sx，t＝(cy+0.5)sy，b＝-(H-0.5-cy)sy，所述f指腹腔镜相机的焦距，单位为毫米；所述sx指腹腔镜相机单个像素的横向物理尺寸，单位为毫米；所述sy指腹腔镜相机单个像素的纵向物理尺寸，单位为毫米；所述cx指腹腔镜相机光轴与成像平面的交点在相机图像上的横向像素坐标；所述cy指腹腔镜相机光轴与成像平面的交点在相机图像上的纵向像素坐标；所述W指腹腔镜相机拍摄图像的宽度，单位为像素；所述H指腹腔镜相机拍摄图像的高度，单位为像素；式中，zn为OpenGL视图平截头体中的近裁剪平面对应的z坐标绝对值，zf为OpenGL中的...

【专利技术属性】
技术研发人员：王君臣，张晓会，胡磊，王田苗，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11