一种面向Kinect医生视角追踪的卡尔曼滤波器制造技术

本发明专利技术一种面向Kinect医生视角追踪的卡尔曼滤波器属于医学、三维立体成像、数字图像处理等技术领域；该卡尔曼滤波器在一帧Kinect数据中，定义其卡尔曼滤波器状态向量和观察向量，并列卡尔曼系统方程；该项技术应用于申请人提出的微创手术中体表投影虚拟透明观察内腔方法，作为该方法中医生视角追踪方法的核心部分，将为得到更真实的虚拟腹腔透明效果，实现在不影响医生及手术环境的前提下，满足普通微创手术中医生对内腔辅助观察需求奠定坚实的理论基础。

【技术实现步骤摘要】
一种面向Kinect医生视角追踪的卡尔曼滤波器
本专利技术一种面向Kinect医生视角追踪的卡尔曼滤波器属于医学、三维立体成像、数字图像处理等

技术介绍
相对于传统开腔手术，微创手术具有创口小、痛感轻、愈合快等优势，迎合了现代人的审美观念，因此日益受到广泛欢迎，应用在部分腹腔和颅腔手术中。微创手术目前主要的观察方式是内腔镜。内腔镜借助于多个针孔摄像机、氙灯光源拍摄充气膨胀后的内腔图像，呈现在显示器上供医生观察。目前最先进的内腔镜可获得很高质量的内腔图像，进而由内腔图像衍生出手术设备定位技术，准确度可达1mm。但是，内腔镜并未满足医生的观察需求，如图1所示：①内腔图像呈现在显示器上，医生需不断地在手术部位和显示器之间移动视线，因此影响医生手术操作的连贯性，且容易疲劳。②单个内腔镜观察局部，若医生需要大范围观察，则多个内腔镜同时介入人体，这既增加了患者的负担也增加了内腔镜线缆、发射/接收器、介入套管等的复杂与笨重程度；③有时需要助手辅助手持和移动多个内腔镜配合医生观察，给医生的手术操作带来不便。针对上述不足，一些研究者基于增强现实技术提出了患者体表投影法，即利用投影机将内腔镜拍摄的图像投射在患者体表，以在需要时辅助医生判断，形成虚拟的表皮透明效果，如图2和图3所示。这些解决方案并未满足于简单投影，而是进一步探索利用方位追踪装置定位医生头部位置，据此调整投影机在患者体表投射图像的部位。上述解决方案尚处于尝试阶段，仍存在可完善之处：①目前采用的方位追踪技术需在医生头部佩戴发射装置或标志物，增加了医生负担；②内腔图像为二维图像，并未反映内腔的多视角三维形貌；③患者体表并非平面，在其表面投影成像产生畸变，因此需根据患者体表的三维形貌校正投射图像，以便在患者体表观察到未畸变的内腔图像。
技术实现思路
针对上述可完善之处，申请人设计了一种微创手术中体表投影虚拟透明观察内腔方法，包括医生视角追踪方法，内腔三维建模方法和患者体表投影图像序列生成方法三方面内容。本专利技术体表投影虚拟透明观察内腔方法应用于微创手术的体表投影虚拟透明观察内腔系统中，拟针对非二次曲面的患者体表，结合医生视角和内腔三维模型，生成体表投影内腔图像，以得到更真实的虚拟腹腔透明效果；最终实现在不影响医生及手术环境的前提下，满足普通微创手术中医生对内腔辅助观察的需求。在本申请中，具体公开了一种面向Kinect医生视角追踪的卡尔曼滤波器，该技术方案将作为核心技术用于微创手术中体表投影虚拟透明观察内腔方法。本专利技术的目的是这样实现的：一种面向Kinect医生视角追踪的卡尔曼滤波器，在t时刻一帧Kinect数据中，定义其卡尔曼滤波器状态向量Xt和观察向量Zt为：Xt＝(x(t),y(t),z(t),vx(t),vy(t),vz(t))Zt＝(x(t),y(t),z(t))其中，x(t)，y(t)和z(t)为鼻尖中心三维坐标，vx(t)，vy(t)和vz(t)为鼻尖中心速度；据此，列卡尔曼系统方程为：Xt+1＝AXt+BUt+GWtZt+1＝HXt+Vt其中，A是状态矩阵，B是控制矩阵，在面部运动没有控制量时近似为0，G是驱动矩阵，H是观察矩阵，Ut是控制向量，Wt是Xt的Kinect测量误差和噪声，Vt是观察误差和噪声。上述的一种面向Kinect医生视角追踪的卡尔曼滤波器，其特征在于，用于Kinect医生视角追踪。所述的Kinect医生视角追踪用于微创手术中体表投影虚拟透明观察内腔。有益效果：Microsoft近期发布了头部/面部方位追踪(Kinect-basedhead/facetracker)的SDK，该SDK能够追踪面部不少于80个重要特征点，包括眼、鼻、口、耳、额头；本专利技术正是利用该SDK，选择鼻尖的三维特征点，进而通过基于内置的面部模型动态识别算法，追踪面部位置和方向六个自由度的变化，其计算和追踪频率可以达到30Hz，足以本领域实时性要求；该项技术应用于申请人提出的微创手术中体表投影虚拟透明观察内腔方法，作为该方法中医生视角追踪方法的核心部分，将为得到更真实的虚拟腹腔透明效果，实现在不影响医生及手术环境的前提下，满足普通微创手术中医生对内腔辅助观察需求奠定坚实的理论基础。说明书附图图1是内腔镜未满足医生观察需求示意图。图2是虚拟表皮透明投影效果示意图。图3是虚拟表皮透明投影效果真实图。图4体表投影系统示意图。图5是微创手术中体表投影虚拟透明观察内腔方法技术路线图。图6是Kinect医生视角追踪方法示意图。图7是PTAM内腔三维建模方法示意图。图8是既包括镜面反射区域和血管的内腔图像。图9是生成患者体表投影图像序列方法示意图。图10是计算和投影内腔图像示意图。图11是一种用于微创手术体表投影的调整装置的整体结构示意图。图12是图11的细节结构示意图。图13是图12中的脚部垫板的结构示意图。图14是图12中的固定垫的结构示意图。图15是面向微创手术体表投影调整装置的轴调整件的结构示意图。图16是图15中的轴驱动件的结构示意图。图17是图15中的第二固定件的结构示意图。图18是实施例二十四中取样段获得的示意图。图19是实施例二十四中摆台角度示意图。图20是实施例二十四中的结构简化图。图21是图20调整后的结构简化图。具体实施例具体实施例一本实施例是微创手术中体表投影虚拟透明观察内腔方法实施例。本实施例的微创手术中体表投影虚拟透明观察内腔方法，所对应的体表投影系统如图4所示，该方法的技术路线图如图5所示，包括以下步骤：步骤a、Kinect医生视角追踪，用于确定医生当前的头部位置和视觉角度；步骤b、PTAM内腔三维建模，PTAM为ParallelTrackingandMapping，用于生成能够随步骤a所述医生视角旋转的内腔三维模型；步骤c、生成患者体表投影图像序列，基于步骤a所述的医生视角，将步骤b生成的内腔三维模型投影到患者体表。具体实施例二本实施例是Kinect医生视角追踪方法实施例。本实施例的Kinect医生视角追踪方法，既可以单独存在，又可以对具体实施例一作进一步限定；该Kinect医生视角追踪方法，如图6所示，包括以下步骤：步骤a1、选择瞳孔、鼻尖的深度数据作为关键点，建立医生视角数学模型；步骤a2、用卡尔曼滤波器预测医生视角并修正追踪数据；步骤a3、分析Kinect与医生头部、患者体表、患者内腔、投影机之间的方位关系并统一坐标系，设计患者体表投影系统参数。具体实施例三本实施例是卡尔曼滤波器实施例。本实施例的卡尔曼滤波器，既可以单独存在，又可以对具体实施例二作进一步限定；该卡尔曼滤波器具体为：在t时刻一帧Kinect数据中，定义其卡尔曼滤波器状态向量Xt和观察向量Zt为：Xt＝(x(t),y(t),z(t),vx(t),vy(t),vz(t))Zt＝(x(t),y(t),z(t))其中，x(t)，y(t)和z(t)为鼻尖中心三维坐标，vx(t)，vy(t)和vz(t)为鼻尖中心速度；据此，列卡尔曼系统方程为：Xt+1＝AXt+BUt+GWtZt+1＝HXt+Vt其中，A是状态矩阵，B是控制矩阵，在面部运动没有控制量时近似为0，G是驱动矩阵，H是观察矩阵，Ut是控制向量，Wt是Xt的Kinect测量误差和噪声，Vt是观察误差和噪声。具体实施本文档来自技高网...

【技术保护点】
1.一种面向Kinect医生视角追踪的卡尔曼滤波器，其特征在于，在t时刻一帧Kinect数据中，定义其卡尔曼滤波器状态向量Xt和观察向量Zt为：Xt＝(x(t),y(t),z(t),vx(t),vy(t),vz(t))Zt＝(x(t),y(t),z(t))其中，x(t)，y(t)和z(t)为鼻尖中心三维坐标，vx(t)，vy(t)和vz(t)为鼻尖中心速度；据此，列卡尔曼系统方程为：Xt+1＝AXt+BUt+GWtZt+1＝HXt+Vt其中，A是状态矩阵，B是控制矩阵，在面部运动没有控制量时近似为0，G是驱动矩阵，H是观察矩阵，Ut是控制向量，Wt是Xt的Kinect测量误差和噪声，Vt是观察误差和噪声。

【技术特征摘要】
1.一种面向Kinect医生视角追踪的卡尔曼滤波器，其特征在于，在t时刻一帧Kinect数据中，定义其卡尔曼滤波器状态向量Xt和观察向量Zt为：Xt＝(x(t),y(t),z(t),vx(t),vy(t),vz(t))Zt＝(x(t),y(t),z(t))其中，x(t)，y(t)和z(t)为鼻尖中心三维坐标，vx(t)，vy(t)和vz(t)为鼻尖中心速度；据此，列卡尔曼系统方程为：Xt+1＝AXt+BUt+GWtZt+1＝HXt+Vt...

【专利技术属性】
技术研发人员：吴海滨，成琴，汪颖，李冬明，于博洋，于晓洋，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23