一种脊柱微创手术增强现实导航方法技术

技术编号:19428075 阅读:22 留言:0更新日期:2018-11-14 11:07
本发明专利技术涉及一种脊柱微创手术增强现实导航方法,将CT图像转换成术前点云,并将CT图像进行三维重建;在术中通过深度相机采集切口处的脊柱图像,并生成术中点云;将术前点云和术中点云进行配准;计算头戴式显示设备在空间的位置,获取头戴式显示设备和现实脊柱的转换关系,将脊柱三维模型通过增强现实技术叠加显示在患者脊柱上。本发明专利技术利用深度信息,实时定位和修正显示设备在实际手术空间中的位置;解决了术中三维模型变焦显示的问题,实时精确地将术前图像叠加到真实手术中患者脊椎对应位置,不受视野限制,降低了医生手术的难度,缩短手术时间。

【技术实现步骤摘要】
一种脊柱微创手术增强现实导航方法
本专利技术涉及增强现实导航领域,具体地说是一种脊柱微创手术增强现实导航方法。
技术介绍
目前,将增强现实导航技术用于外科手术领域还存在以下问题:由于术中图像在采集的过程中视野狭小以及环境噪声等的影响,成像后的自然特征不明显,影响配准的精度,无法将基于术前CT图像生成的脊柱三维模型准确的和术中扫描的脊柱点云匹配。确定观察点和视角的过程中传感器的噪声,会导致观察点和视角的偏差,无法将三维模型精确地叠加显示在脊柱上。头戴式显示设备定位过程中的噪声会导致系统的精度下降。
技术实现思路
针对现有技术的不足,本专利技术基于患者个性化术前CT图像的脊柱三维模型在术中患者脊柱实时增强现实显示的问题,围绕点云重建、点云配准、脊柱重建及实时定位四个方面开展研究,开展基于患者个性化医学影像和手术现实环境的配准方法、基于头戴设备变焦显示虚拟信息的方法及手术过程动态增强现实显示技术方法的研究,解决成像后的图像特征不明显,头戴式设备位置变化后如何保持脊柱三维模型位置实时叠加在患者脊柱上及图像采集、头戴式显示设备定位过程中的噪声导致系统的精度下降等问题,提供一种将患者的三维脊柱模型直接显示在患者的身体上,并对需要实施手术的部位精确地定位的导航方法。本专利技术为实现上述目的所采用的技术方案是:一种脊柱微创手术增强现实导航方法,包括以下步骤:步骤1:将CT图像转换成术前点云,并将CT图像进行三维重建;步骤2:在术中通过深度相机采集切口处的脊柱图像,并生成术中点云;步骤3:将术前点云和术中点云进行配准;步骤4:计算头戴式显示设备在空间的位置,获取头戴式显示设备和现实脊柱的转换关系,将脊柱三维模型通过增强现实技术叠加显示在患者脊柱上。所述将术前点云和术中点云进行配准包括以下过程:步骤1:基于ICP算法得到术中点云和术前点云的对应关系,并将对应后的点云分割为状态信息点云和量测信息点云;步骤2:构建基于点云的状态空间方程,采用基于扩展集员滤波的配准算法,得到术前点云空间和术中点云空间的转换关系,完成图像空间和真实空间的转换。所述基于ICP算法得到术中点云和术前点云的对应关系过程为:步骤1:在重建的三维脊柱模型中选择棘突点和/或横突点作为特征点,进行配准;步骤2:获取一个初始的转换关系,并用初始的转换关系对术中点云进行转换;步骤3:通过ICP算法迭代优化转换矩阵,寻找术中浮动点云中每个点在目标点云中的最近点,构成对应点对,计算术中点云和术前点云的转换关系。所述状态信息点云为在建立状态空间方程时,作为状态量的点云。所述量测信息点云为在建立状态空间方程时,作为观测量的点云。所述基于点云的状态空间方程为:Xk+1=Xk+ωkYk=h(Xk)+vk其中h(Xk)的定义方式如下:ui=(xi,kt11+yi,kt12+zi,k+t13+t14)/(xi,kt41+yi,kt42+zi,kt43+t44)vi=(xi,kt21+yi,kt22+zi,kt23+t24)/(xi,kt41+yi,kt42+zi,kt43+t44wi=(xi,k+t31+yi,kt32+zi,kt33+t34)/(xi,kt41+yi,kt42+zi,kt43+t44)术中点云和术前点云的转换关系T2如下所示:其中i=1,2,…,n,n为对应点个数,k为第k时刻,ωk,vk分别对应过程和观测噪声;定义术前图像中ICP对应的特征点序列为状态向量Xk=[x1,k,y1,k,z1,k,x2,k,y2,k,z2,k,...xn,k,yn,k,zn,k],其中xi,k为术前点云特征点中第i个点的横坐标,yi,k为术前点云特征点中第i个点的纵坐标,zi,k为术前点云特征点中第i个点的深度坐标;定义术中图像中ICP对应的特征点序列为观测向量Yk=[u1,k,v1,k,w1,k,u2,k,v2,k,w2,k,...un,k,wn,k,wn,k],其中ui,k为术中点云特征点中第i个点的横坐标,vi,k为术中点云特征点中第i个点的纵坐标,wi,k为术中点云特征点中第i个点的深度坐标。所述头戴式显示设备是将深度相机和全息显示屏集成在一体的显示设备所述计算头戴式显示设备在空间的位置的过程为:根据标志点在图像中的坐标和相机内部参数,获得标志点在相机坐标系中的坐标;再结合位置固定的标志点在真实空间中的坐标,获取相机坐标系与真实空间的转换关系,进而求出头戴式显示设备在空间中的位置。所述特征点为4个。本专利技术具有以下有益效果及优点:1.本专利技术利用有限的图像采集范围,用基于滤波算法的分步空间配准算法,通过初配准与精配准结合,解决了不同稀疏度、不同范围点云配准问题,只通过微创切口的部分图像即可与整体脊柱模型匹配;2.本专利技术利用深度信息,实时定位和修正显示设备在实际手术空间中的位置;3.本专利技术实时精确地将术前图像叠加到真实手术中患者脊椎对应位置,不受视野限制,降低了医生手术的难度,缩短手术时间;4.本专利技术通过将三维图像、手术规划增强显示到真实手术环境中,解决了医生手术过程中无法肉眼透视的问题,降低了辐射剂量。附图说明图1是本专利技术的方法流程图;图2是本专利技术的基于ICP算法得到术中点云和术前点云的对应关系流程图。具体实施方式下面结合附图及实施例对本专利技术做进一步的详细说明。如图1所示为本专利技术的方法流程图。首先将患者CT图像通过等值面的点云提取方法转成术前点云,并将CT数据三维重建。其次,利用深度摄像头扫描患者手术中暴露的脊柱,并生成术中点云,在微创手术过程中,视野的限制,术中点云只是脊柱模型的一部分,即局部点云。再次,将术前点云和术中点云配准,术前CT图像和术中显示设备的分辨率也不同,术前点云和术中点云的稀疏度亦不同。配准过程分为两步:i初配准:基于ICP算法寻求局部点云和全局点云对应关系并将对应后的点云分割为两类(状态信息点云和量测信息点云),ii精配准:构建基于点云的状态空间方程;采用基于(ESMF)算法的配准算法,优化术前点云空间和术中点云空间转换关系,完成图像空间和真实空间转换。最终,实时定位显示设备,医生采用头戴式设备所携带的深度相机,采集手术空间中的深度信息,在手术空间中建立显示设备位置的状态空间方程,利用头戴式显示设备所携带的深度相机计算该设备在空间的位置,获取头戴式显示设备和现实脊柱的转换矩阵,基于增强现实原理,将虚拟空间中的术前手术规划叠加到真实空间中,将真实空间中器械的位姿等信息和手术规划的位置比较,实现手术器械、手术环境与术前三维医学影像的动态融合,将脊柱三维模型通过全息眼镜叠加显示在患者脊柱上。如图2所示为本专利技术的基于ICP算法得到术中点云和术前点云的对应关系流程图。有如下步骤:步骤1:在重建的三维脊柱模型中选择棘突点和/或横突点作为特征点,在病灶附近取点,以减少手术切口的数量,选好4个点后,保持深度相机处于静止状态,采集这4个特征点,利用同一组点在不同空间中的不同位置进行空间配准;步骤2:获取一个初始的转换关系,并用初始的转换关系对术中点云进行转换,为下一步ICP算法迭代做准备;步骤3:通过ICP算法迭代优化转换矩阵,寻找术中浮动点云中每个点在目标点云中的最近点,构成对应点对,计算术中点云和术前点云的转换关系。本文档来自技高网...

【技术保护点】
1.一种脊柱微创手术增强现实导航方法,其特征在于,包括以下步骤:步骤1:将CT图像转换成术前点云,并将CT图像进行三维重建;步骤2:在术中通过深度相机采集切口处的脊柱图像,并生成术中点云;步骤3:将术前点云和术中点云进行配准;步骤4:计算头戴式显示设备在空间的位置,获取头戴式显示设备和现实脊柱的转换关系,将脊柱三维模型通过增强现实技术叠加显示在患者脊柱上。

【技术特征摘要】
1.一种脊柱微创手术增强现实导航方法,其特征在于,包括以下步骤:步骤1:将CT图像转换成术前点云,并将CT图像进行三维重建;步骤2:在术中通过深度相机采集切口处的脊柱图像,并生成术中点云;步骤3:将术前点云和术中点云进行配准;步骤4:计算头戴式显示设备在空间的位置,获取头戴式显示设备和现实脊柱的转换关系,将脊柱三维模型通过增强现实技术叠加显示在患者脊柱上。2.根据权利要求1所述的脊柱微创手术增强现实导航方法,其特征在于:所述将术前点云和术中点云进行配准包括以下过程:步骤1:基于ICP算法得到术中点云和术前点云的对应关系,并将对应后的点云分割为状态信息点云和量测信息点云;步骤2:构建基于点云的状态空间方程,采用基于扩展集员滤波的配准算法,得到术前点云空间和术中点云空间的转换关系,完成图像空间和真实空间的转换。3.根据权利要求2所述的脊柱微创手术增强现实导航方法,其特征在于:所述基于ICP算法得到术中点云和术前点云的对应关系过程为:步骤1:在重建的三维脊柱模型中选择棘突点和/或横突点作为特征点,进行配准;步骤2:获取一个初始的转换关系,并用初始的转换关系对术中点云进行转换;步骤3:通过ICP算法迭代优化转换矩阵,寻找术中浮动点云中每个点在目标点云中的最近点,构成对应点对,计算术中点云和术前点云的转换关系。4.根据权利要求2所述的脊柱微创手术增强现实导航方法,其特征在于:所述状态信息点云为在建立状态空间方程时,作为状态量的点云。5.根据权利要求2所述的脊柱微创手术增强现实导航方法,其特征在于:所述量测信息点云为在建立状态空间方程时,作为观测量的点云。6.根据权利要求2所述的脊柱微创手术增强现实导航方法,其特征在于:所述基于点云的状态空间方程为:Xk+1=Xk+ωkYk=h(Xk)+vk其中h(Xk)的定义方式如下:ui=(xi,kt11+...

【专利技术属性】
技术研发人员:宋国立白华赵忆文韩建达刘晓壮
申请(专利权)人:中国科学院沈阳自动化研究所
类型:发明
国别省市:辽宁,21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1