基于虚实融合的骨科微创术中实时可视化导航系统技术方案

本发明专利技术提供一种基于虚实融合的骨科微创术中实时可视化导航系统，包括：NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。

【技术实现步骤摘要】
基于虚实融合的骨科微创术中实时可视化导航系统
本专利技术涉及一种基于虚实融合的骨科微创术中实时可视化导航系统。
技术介绍
“微创化”是骨科手术发展的必然趋势，如何使微创手术“精准化”是目前亟待解决的问题。随着虚拟现实技术和增强现实技术的不断发展，将其应用至医学领域，尤其是骨科微创领域，越来越受到人们的广泛关注。利用虚拟现实技术可以突破空间的束缚，将患者的病灶区域全方位无死角地展现给术者；利用增强显示技术，可以将数字化虚拟信息叠加到真实场景，从根本上解决骨科微创手术非直观、定位不准确等问题。基于虚实融合的骨科微创术中实时可视化导航系统可以有效地解决骨科微创手术的“精准化”问题，实现微创手术“透视化”，提高手术的安全性、精确性；“术中实时可视化”的实现可减少穿刺过程的盲目性，降低手术难度，从而使骨科微创手术更具有可推广性。该系统操作简便、不需要额外配置大型设备，可迅速地、广泛地进行传播和交流，具有良好的可推广性。
技术实现思路
本专利技术解决的技术问题是骨科微创手术定位不准、手术过程不直观的问题，针对此问题，本专利技术提供了一种基于虚实融合的骨科微创术中实时可视化导航系统。该系统满足了骨科微创手术“精准化”和“可视化”的要求。本专利技术采用的技术方案为：一种基于虚实融合的骨科微创术中实时可视化导航系统，包括：NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。进一步的，视频导航计算装置，包括以下三个模块：术中多元数据配准与虚实融合模块：用于识别患者体表放置的标记点，标记患者病灶区域，实现对其定位与追踪；并且利用深度学习的方法，构建YOLOv3网络，对输入的术中实时视频和X光影像，识别并跟踪标记点的位置，通过计算视频的尺度信息和X光影像尺度信息调整X光影像的大小，根据视频标志点的位置信息调整X光影像的角度，实现与术中实时视频的匹配与融合显示；光学跟踪数据与X光影像配准模块：用于根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，获取当前时刻穿刺针的位姿信息，利用坐标映射矩阵和X光影像的尺度信息，实现穿刺针的实时渲染；光学跟踪数据与三维模型配准模块：用于根据术前获取的CT数据，重建患者病灶区域三维模型并构建三维模型坐标系；根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，计算穿刺针模型的位移大小和方向，根据坐标映射矩阵公式将其映射至三维模型坐标系下，完成穿刺针模型的渲染。进一步的，所述的术中多元数据配准与虚实融合模块，用于对X光影像和术中手术视频进行配准及虚实融合，在患者体表放置标记点，标记患者病灶区域，实现对其定位与追踪；首先利用YOLOv3深度神经网络识别并标记术中实时视频的标记点位置及对应X光影像中标记点位置，利用标记点在视频中的尺度信息和在X光影像中的尺度信息，计算视频空间尺度和X光影像空间尺度的映射关系，并根据尺度映射关系调整X光影像的大小；然后根据所获得的标记点位置，选取标记点中坐标最小的两个点作为线段的两个端点，将术中视频中该线段与坐标系的夹角并与X光影像中该线段与坐标系的夹角进行比较，二者差值即为完成图像匹配时X光图像的旋转角；以术中视频与X光影像中坐标最小的标记点为匹配中心，根据计算所得旋转角，将调整至适当大小的X光影像旋转，并与术中实时视频叠加，实现X光影像和术中手术视频的配准及虚实融合。进一步的，所述光学跟踪数据与X光影像配准模块，用于对微创手术穿刺针在X光影像中6自由度进行实时更新及融合，计算NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵，根据当前时刻穿刺针的6自由度位姿信息，计算穿刺针模型在X光影像坐标系中的位姿，完成穿刺针的渲染；根据NDIPolaris光学追踪设备和X光机在现实空间中的物理位置关系，计算二者坐标系的映射关系，并根据NDIPolaris光学追踪设备的尺度信息和X光影像的尺度信息，计算二者坐标系间尺度映射关系，最终计算得到NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵；规定穿刺针在相机坐标系中坐标为(u,v)，穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x1,y1,z1)，穿刺针在现实空间坐标系中坐标为(x2,y2,z2)，则：其中，dx、dy、dz、du、dv为坐标系单位长度变换比例；然后根据NDIPolaris光学追踪设备获得的穿刺针位姿信息，通过坐标系映射矩阵，计算得到穿刺针在X光影像坐标系下的6自由度位姿，并根据穿刺针的尺度信息，完成穿刺针在X光影像坐标系下的实时渲染。进一步的，所述光学跟踪数据与三维模型配准模块，用于对穿刺针在三维模型中的位置实时渲染更新，通过计算NDIPolaris光学追踪设备坐标系和物理空间坐标系的映射矩阵，以及物理空间坐标系和三维模型坐标系的映射矩阵，利用两个坐标系映射矩阵实现穿刺针模型在三维模型坐标系的渲染；首先，根据NDIPolaris光学追踪设备和病人在现实空间中的物理位置关系和尺度信息，计算二者坐标系的映射矩阵；根据病人和三维模型的尺度关系，构建二者坐标系的映射矩阵。规定穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x1,y1,z1)，穿刺针在现实空间坐标系中坐标为(x2,y2,z2)，则：其中，dx、dy、dz为坐标系单位长度变换比例；然后，在三维模型空间中设定穿刺针的初始位置和姿态，将穿刺针摆放至现实物理空间中对应位置和姿态，记录此时NDIPolaris光学追踪设备提供的实时6自由度坐标信息作为穿刺针初始位姿，之后实时获取穿刺针6自由度位姿信息，计算穿刺针在NDIPolaris光学追踪设备坐标系下相对初始位姿的实时位移和角度偏转；通过NDIPolaris光学追踪设备-现实物理空间坐标系映射矩阵及现实物理空间-三维模型空间坐标系映射矩阵，计算穿刺针在三维模型空间下相对初始位姿的位移和角度偏转，从而实现穿刺针在三维模型空间系下实时定位追踪，实现穿刺针模型的实时渲染。本专利技术与现有技术相比的优点在于：1、本专利技术的导航系统将X光影像和穿刺针实时渲染至术中视频中，实现“术中实时可视化”，可减少穿刺过程的盲目性，降低手术难度。2、本专利技术的导航系统利用深度学习，结合NDIPolaris光学追踪设备，实现病人空间坐标定位和体表无创定位，所用器材简单、可靠，方便医生在术中使用。3、本专利技术的导航系统以骨科微创手术为本文档来自技高网...

【技术保护点】
1.一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于，包括：/nNDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；/n光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；/n深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；/n显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；/n视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；/n视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。/n

【技术特征摘要】
1.一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于，包括：
NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；
光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；
深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；
显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；
视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；
视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。


2.根据权利要求1所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于，视频导航计算装置，包括以下三个模块：
术中多元数据配准与虚实融合模块：用于识别患者体表放置的标记点，标记患者病灶区域，实现对其定位与追踪；并且利用深度学习的方法，构建YOLOv3网络，对输入的术中实时视频和X光影像，识别并跟踪标记点的位置，通过计算视频的尺度信息和X光影像尺度信息调整X光影像的大小，根据视频标志点的位置信息调整X光影像的角度，实现与术中实时视频的匹配与融合显示；
光学跟踪数据与X光影像配准模块：用于根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，获取当前时刻穿刺针的位姿信息，利用坐标映射矩阵和X光影像的尺度信息，实现穿刺针的实时渲染；
光学跟踪数据与三维模型配准模块：用于根据术前获取的CT数据，重建患者病灶区域三维模型并构建三维模型坐标系；根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，计算穿刺针模型的位移大小和方向，根据坐标映射矩阵公式将其映射至三维模型坐标系下，完成穿刺针模型的渲染。


3.根据权利要求2所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于：
所述的术中多元数据配准与虚实融合模块，用于对X光影像和术中手术视频进行配准及虚实融合，在患者体表放置标记点，标记患者病灶区域，实现对其定位与追踪；首先利用YOLOv3深度神经网络识别并标记术中实时视频的标记点位置及对应X光影像中标记点位置，利用标记点在视频中的尺度信息和在X光影像中的尺度信息，计算视频空间尺度和X光影像空间尺度的映射关系，并根据尺度映射关系调整X光影像的大小；
然后根据所获得的标记点位置，选取标记点中坐标最小的两个点作为线段的两个端点，将术中视频中该线段与坐标系的夹角并与X光影像中该线段与坐标系的夹角进行比较，二者差值即为完成图像匹配时X光图像的旋转角；
以术中视频与X光影像中坐标最小的标记点为匹配中心，根据计算所得旋转角，将调整至适当大小的X光影像旋转，并与术中实时视频叠加，实现X光影像和术中手术视频的配准及虚实融...

【专利技术属性】
技术研发人员：潘俊君，于东方，李冉阳，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11