内窥镜增强现实误差补偿方法及装置制造方法及图纸

内窥镜增强现实误差补偿方法及装置，AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使系统的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于系统定位噪声和图像中角点识别噪声的敏感性强。方法包括：(1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；(2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。操作空间中最佳的相机位姿补偿矩阵。操作空间中最佳的相机位姿补偿矩阵。

【技术实现步骤摘要】
内窥镜增强现实误差补偿方法及装置


[0001]本专利技术涉及医学图像处理的
，尤其涉及一种内窥镜增强现实误差补偿方法，以及内窥镜增强现实误差补偿装置。

技术介绍

[0002]在过去的十余年时间里，手术导航已经成为微创手术中重要的辅助工具，用来保证手术过程的精确性和安全性。近年来，随着增强现实(AR)技术的发展，这项技术也被越来越多地与手术导航相结合。基于AR的手术导航为医生提供了肿瘤、神经和血管等重要组织结构的形状和位置信息，通过将特定组织器官或感兴趣区域的AR信息叠加在内窥镜或显微镜视图上，而不需要额外的显示器来显示，为医生提供更加丰富的导航信息的同时，避免了分散医生的视线和注意力。
[0003]基于AR的手术导航通常需要经过图像配准以及相机标定(包括畸变系数、内参和外参)两个步骤。这两个步骤实现了AR成像过程涉及的三个主要坐标系之间的统一，即人所在真实世界坐标系、图像所在虚拟世界坐标系以及相机坐标系。多项针对内镜AR手术导航的研究表明，他们所使用的硬件配置大致相同，包括光学或电磁外部跟踪器、位置传感器和内窥镜。通过将位置传感器固定在内窥镜上，并使用外部跟踪器实时获取内窥镜相机坐标系到真实世界坐标系的刚性变换，可以将虚拟对象与内窥镜成像平面对齐，实现AR融合叠加显示。这需要三个不变参数来实现：1)通过真实
‑
图像配准计算虚拟世界坐标系到真实世界坐标系的刚性变换；2)通过相机标定计算相机成像模型参数，用于3D世界坐标到2D成像平面的映射；3)通过手眼标定计算相机坐标系到世界坐标系的刚性变换。这些参数在AR导航中随着内窥镜的运动而更新，并且这些参数的准确度会显著影响AR融合显示的准确度。
[0004]手术导航中的真实
‑
图像配准经历了由基于标识点(fiducial
‑
based)到基于表面(surface
‑
based)的配准方法，目前已经可以提供亚毫米级的导航精度。相机标定作为计算机视觉领域中的基本任务之一，一直以来都是该领域的研究热点。通过对2D相机畸变系数、内部参数和外部参数的标定，建立起三维世界与相机二维成像平面之间的映射关系，并由此来指导计算机认知整个现实世界。在基于AR的内镜手术导航系统中，相机的外参标定问题常被看作一个手眼标定问题来求解。通过手眼标定，计算出内窥镜相机相对于光学标志物的相对刚性变换，进而实现对内窥镜相机的实时跟踪和定位。手眼标定这一概念来自于机器人视觉系统，其中的“手”和“眼”分别指的是机器人操作臂和与其固定的相机。根据系统硬件配置的不同，内镜AR系统中的手眼标定问题可以被方程AX＝XB或AX＝YB来描述。求解这两种方程的方法一直以来也是备受关注的研究领域。
[0005]尽管很明显，更高精度的配准和标定可以带来更高的AR导航精度。但由于系统中噪声的存在，配准和标定结果中仍然有残余的空间变换误差存在。且每次空间变换中的残余误差都会累积，从而影响AR融合的准确性。根据我们的调查，传统的内镜AR导航系统都使用上述两个独立的标定步骤的组合方法来实现AR导航，而忽略了多次空间变换中的累积误差对AR成像性能的影响。不同的是Lee等人于2020年提出一种应用于AR导航系统的一步标
定(one
‑
step calibration)法。他们利用特制的标识点，实现患者
‑
图像配准和内镜手眼标定的同步优化。虽然这在一定程度上能够提升AR融合的精度，但并没有真正解决由于误差累积导致的导航精度下降问题。同时，这种方法要求患者粘贴特制标识点进行影像扫描，无疑增加了术者在术前的工作量，对于临床环境并不友好。

技术实现思路

[0006]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种内窥镜增强现实误差补偿方法，其AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使系统的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于系统定位噪声和图像中角点识别噪声的敏感性强。
[0007]本专利技术的技术方案是：这种内窥镜增强现实误差补偿方法，其包括以下步骤：
[0008](1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；
[0009](2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
[0010]本专利技术通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值，然后提出一种基于2D标记的交互式内窥镜相机位姿估计方法，通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵，因此AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使系统的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于系统定位噪声和图像中角点识别噪声的敏感性强。
[0011]还提供了内窥镜增强现实误差补偿装置，其包括：
[0012]观测值获取模块，其配置来通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值；
[0013]相机位姿补偿模块，其配置来通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
附图说明
[0014]图1是根据本专利技术的内窥镜增强现实误差补偿方法的流程图。
具体实施方式
[0015]如图1所示，这种内窥镜增强现实误差补偿方法，其包括以下步骤：
[0016](1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；
[0017](2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。
[0018]本专利技术通过内窥镜标定和外部跟踪得到的内窥镜相机位姿的观测值，然后提出一种基于2D标记的交互式内窥镜相机位姿估计方法，通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵，因此AR融合的精度有显著提升，能够对内窥镜镜管旋转引起的相机位姿误差进行精确补偿，使系统的AR融合误差维持在较低的水平，且该补偿模型的应用避免了对内窥镜相机的重新校准，对于系统
定位噪声和图像中角点识别噪声的敏感性强。
[0019]优选地，所述步骤(1)中，定义表示A坐标系到B坐标系的转换，相关的坐标系包括光学跟踪系统{O}、真实跟踪标志{PM}、虚拟对象{V}、内窥镜跟踪标志{EM}、内窥镜相机{EC}和内窥镜图像{EI}，其中虚拟对象是从CT医学影像中提取的3D感兴趣区域；
[0020]通过基于标识点的图像配准方法在图像虚拟空间和患者物理空间分别找到至少3个不共线的点对，记为P
V
和P
PM
，利用SVD分解最小化以下公式(1)，找到两个坐标系之间的最优变换关系
[0021][0022]其中N为用于患者
‑
图像配准的点对个数，‖<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.内窥镜增强现实误差补偿方法，其特征在于：其包括以下步骤：(1)通过内窥镜标定和外部跟踪得到内窥镜相机位姿的观测值；(2)通过结合内窥镜相机位姿的观测值和估计值，利用最小二乘法计算当前操作空间中最佳的相机位姿补偿矩阵。2.根据权利要求1所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(1)中，定义表示A坐标系到B坐标系的转换，相关的坐标系包括光学跟踪系统{O}、真实跟踪标志{PM}、虚拟对象{V}、内窥镜跟踪标志{EM}、内窥镜相机{EC}和内窥镜图像{EI}，其中虚拟对象是从CT医学影像中提取的3D感兴趣区域；通过基于标识点的图像配准方法在图像虚拟空间和患者物理空间分别找到至少3个不共线的点对，记为P
V
和P
PM
，利用SVD分解最小化以下公式(1)，找到两个坐标系之间的最优变换关系换关系其中N为用于患者
‑
图像配准的点对个数，‖
·
‖2表示L2范数；相应的相机标定任务包括对相机外部参数、固有参数和畸变系数的标定，将相机成像模型简化为一个针孔模型，该模型通过相机的固有参数矩阵K来表示：其中u0和v0为主点的坐标，f
x
和f
y
分别为两个坐标轴方向上的焦距；通过在不同方位拍摄含有二维棋盘格的至少三幅图像计算出相机的固有参数和畸变系数；将标志物{EM}固定在内窥镜管上，并设计一个带有标志物{CM}的棋盘格{CB}，标定过程中，使用内窥镜在N(N≥2)个方位捕获数据，并通过最小化以下公式(3)来计算内窥镜相机到内窥镜标志物之间的变换到内窥镜标志物之间的变换其中分别为手眼标定方程中待求解的矩阵X和Y。3.根据权利要求2所述的内窥镜增强现实误差补偿方法，其特征在于：所述步骤(2)中，假设{EC
‑
V}和{EC
‑
R}分别表示相机位姿的观测值和真实值，则由于系统中空间变换的残余误差的存在，会导致{EC
‑
V}和{EC
‑
R}之间有一定偏移，表示为T
err
；内窥镜相机的观测姿态T
ob
表示为：其中通过离线的手眼标定获得，通过光学跟踪器实时获取；
找到最佳的T
err
使其满足公式(5)：min‖T
ob
T
err
‑
T
est
‖2ꢀꢀꢀꢀꢀꢀ
(5)。4.根据权利要求...

【专利技术属性】
技术研发人员：李文杰，范敬凡，宋红，艾丹妮，杨健，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：