基于特征点配准与增强现实的髋臼假体放置引导系统及方法技术方案

本发明专利技术公开了一种基于特征点配准与增强现实的髋臼假体放置引导系统及方法，该方法包括：获取髋关节图像信息及三维重建髋关节模型；求解对应髋臼杯型号；将对应髋臼杯导入并模拟髋臼杯放置；求解并可视化髋臼假体放置方向；将虚拟三维髋关节模型作为浮动图像，将实际髋关节手术部位作为参考图像，基于选取特征点匹配的四元数法求解旋转平移矩阵进行虚实场景的配准；利用增强现实技术将配准好的虚拟规划路径实时渲染到实际场景；采用张式标定法实现机械臂的手眼标定，获取相机坐标系到机械臂坐标系的变换矩阵，引导机械臂抓取髋臼锉到达术前规划路径的空间位置。本发明专利技术减少仅凭主观判断引起的误差，提高假体放置的准确性和安全性，缩短假体放置时间。缩短假体放置时间。缩短假体放置时间。

【技术实现步骤摘要】
基于特征点配准与增强现实的髋臼假体放置引导系统及方法


[0001]本专利技术涉及计算机图形图像处理
，具体涉及一种基于特征点配准与增强现实的髋臼假体放置引导系统及方法。

技术介绍

[0002]研究发现术中假体植入位置不正确是导致髋关节置换术后关节不稳定脱位等多种并发症的重要原因，而髋臼假体的准确放置又是假体放置中难度最大的一环，因此国内外许多专家认为髋臼假体的精准放置是手术成功的关键。
[0003]由于髋关节结构的特殊性与复杂性和受到多种潜在因素的影响，如术中患者体位发生变化、术者目测误差、参考标志变形或缺失等，髋臼假体的精准放置方法尚无统一标准，存在定位不准，手术难度与风险大的问题。
[0004]目前国内医生在髋关节置换术前大多采用CT图像了解病人病灶信息，但是CT图像是二维图像，医生只能凭借经验从序列二维图像估计病灶大小和形状，想象病灶和周围组织的关系，这给手术方案的制定带来了一定的困难。在髋关节置换术中，主要也还是依靠临床经验和肉眼观察来定位髋臼假体的放置位置，存在假体植入不准的问题。

技术实现思路

[0005]本专利技术的目的在于克服现有技术存在的髋臼假体植入不准问题，提出了一种基于特征点配准与增强现实的髋臼假体放置引导系统及方法，本专利技术减少仅凭主观判断引起的误差，提高髋臼假体放置的准确性和安全性，缩短假体放置时间。
[0006]为了达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术提供一种基于特征点配准与增强现实的髋臼假体放置引导系统，包括：髋关节图像解析模块、髋关节模型三维重建模块、髋臼杯型号求解模块、模拟髋臼杯放置模块、假体放置路径规划模块、深度相机信息获取模块，旋转平移矩阵求解模块、虚实场景配准模块、机械臂引导模块；
[0008]所述髋关节图像解析模块用于对髋关节部位的DICOM格式文件进行解析，获取髋关节图像信息；
[0009]所述髋关节模型三维重建模块用于基于移动立方体算法获取虚拟三维髋关节模型；
[0010]所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；
[0011]所述模拟髋臼杯放置模块用于将对应髋臼杯以STL文件格式导入，采用Lewinnek安全区作为髋臼假体放置的参考标准模拟髋臼杯放置；
[0012]所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化；
[0013]所述深度相机信息获取模块用于获取实际髋关节手术部位目标模型视频场景，对
视频图像进行格式解析，获取视频图像的彩色信息和深度信息；
[0014]所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；
[0015]所述虚实场景配准模块用于将求解的旋转平移矩阵作用于虚场景，以实现虚实场景的配准，同时利用增强现实技术将已配准好的虚拟规划路径实时渲染到实际场景；
[0016]所述机械臂引导模块用于基于张氏标定法实现机械臂的手眼标定，获取相机坐标系转换到机械臂坐标系下的变换矩阵，从而引导机械臂抓取髋臼锉到术前规划路径的空间位置，结合增强现实效果进行髋臼磨锉和髋臼假体的放置。
[0017]作为优选的技术方案，所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号，具体包括：
[0018]对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取多个特征点进行髋臼杯大小的拟合，基于最小二乘法求解对应的髋臼杯外径大小，确定全髋关节置换中所需的髋臼杯型号。
[0019]作为优选的技术方案，所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，具体包括：
[0020]根据髋臼杯的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，根据平面中心区域选取髋臼磨锉点，根据三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化法向量，作为髋臼磨锉与植入髋臼假体的路径方向。
[0021]作为优选的技术方案，所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，具体包括：
[0022]在虚拟三维髋关节模型上获取目标点集U＝{u
i
,i＝0,1,2,
…
,n}，在视频图像上获取实际髋关节手术部位目标模型对应的参考点集X＝{x
i
,i＝0,1,2,
…
,n}；
[0023]设置目标函数为：
[0024]其中，R表示旋转矩阵，T表示平移矩阵；
[0025]分别求目标点集U和参考点集X的重心，表示为：
[0026][0027]基于目标点集U和参考点集X构造协方差矩阵K，表示为：
[0028][0029]基于协方差矩阵K中元素K
ij
构造出对称矩阵N，表示为：
[0030][0031]基于Jacobi法计算对称矩阵N对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，进一步求解旋转矩阵R，表示为：
[0032][0033]基于旋转矩阵R求解平移矩阵T，表示为：
[0034]T＝μ
X
‑
Rμ
U
[0035]其中，μ
U
表示目标点集U的重心，μ
X
表示参考点集X的重心。
[0036]本专利技术还提供一种基于特征点配准与增强现实的髋臼假体放置引导方法，包括下述步骤：
[0037]对髋关节部位的DICOM格式文件进行解析，获取髋关节图像信息；
[0038]基于移动立方体算法三维重建虚拟三维髋关节模型；
[0039]基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；
[0040]将髋臼杯型号以STL文件格式导入，采用Lewinnek安全区作为髋臼假体放置的参考标准模拟髋臼杯放置；
[0041]根据髋臼杯边缘信息与交互式点拾取技术确定髋臼磨锉与植入髋臼假体路径方向并进行可视化；
[0042]使用深度相机获取实际髋关节手术部位目标模型视频图像，解析图像的彩色信息和深度信息；
[0043]将虚拟三维髋关节模型作为浮动图像，将实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；
[0044]根据旋转矩阵和平移矩阵得到虚拟场景转换到实际场景的空间变换关系，实现虚实场景的配准；
[0045]利用增强现实技术将配准好的虚拟规划路径实时渲染到实际本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，包括：髋关节图像解析模块、髋关节模型三维重建模块、髋臼杯型号求解模块、模拟髋臼杯放置模块、假体放置路径规划模块、深度相机信息获取模块，旋转平移矩阵求解模块、虚实场景配准模块、机械臂引导模块；所述髋关节图像解析模块用于对髋关节部位的DICOM格式文件进行解析，获取髋关节图像信息；所述髋关节模型三维重建模块用于基于移动立方体算法获取虚拟三维髋关节模型；所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；所述模拟髋臼杯放置模块用于将对应髋臼杯以STL文件格式导入，采用Lewinnek安全区作为髋臼假体放置的参考标准模拟髋臼杯放置；所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化；所述深度相机信息获取模块用于获取实际髋关节手术部位目标模型视频场景，对视频图像进行格式解析，获取视频图像的彩色信息和深度信息；所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；所述虚实场景配准模块用于将求解的旋转平移矩阵作用于虚场景，以实现虚实场景的配准，同时利用增强现实技术将已配准好的虚拟规划路径实时渲染到实际场景；所述机械臂引导模块用于基于张氏标定法实现机械臂的手眼标定，获取相机坐标系转换到机械臂坐标系下的变换矩阵，从而引导机械臂抓取髋臼锉到术前规划路径的空间位置，结合增强现实效果进行髋臼磨锉和髋臼假体的放置。2.根据权利要求1所述的基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号，具体包括：对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取多个特征点进行髋臼杯大小的拟合，基于最小二乘法求解对应的髋臼杯外径大小，确定全髋关节置换中所需的髋臼杯型号。3.根据权利要求1所述的基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，具体包括：根据髋臼杯的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，根据平面中心区域选取髋臼磨锉点，根据三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化法向量，作为髋臼磨锉与植入髋臼假体的路径方向。4.根据权利要求1所述的基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，具体包括：
在虚拟三维髋关节模型上获取目标点集U＝{u
i
,i＝0,1,2,
…
,n}，在视频图像上获取实际髋关节手术部位目标模型对应的参考点集X＝{x
i
,i＝0,1,2,
…
,n}；设置目标函数为：其中，R表示旋转矩阵，T表示平移矩阵；分别求目标点集U和参考点集X的重心，表示为：基于目标点集U和参考点集X构造协方差矩阵K，表示为：基于协方差矩阵K中元素K
ij
构造出对称矩阵N，表示为：基于Jacobi法计算对称矩阵N对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，进一步求解旋转矩阵R，表示为：基于旋转矩阵R求解平移矩阵...

【专利技术属性】
技术研发人员：李彬，郑梅义，孙鸿涛，杨荣骞，杨宜昕，田联房，
申请(专利权)人：广东省第二人民医院广东省卫生应急医院，
类型：发明
国别省市：