一种面向具有远心不动点约束的手术机器人手眼标定方法技术

本发明专利技术公开了一种面向具有远心不动点约束的手术机器人手眼标定方法。通过相机图像计算手术器械的三维位姿，并根据远心不动点结构约束构建损失函数，实现对多种摆位下手术器械空间姿态的同步式优化，利用其独有的远心不动点结构特征，通过手术器械在机器坐标系下的姿态和优化后的手术器械中心线的公垂点位置实现手眼关系的计算，与传统方法相比能够大幅提升手术机器人手眼标定的精度，解决了运用传统方法进行手眼标定时因腹腔镜手术机器人运动空间狭窄、姿态变化较小而导致的病态矩阵问题，从而为图像引导的手术任务自主化发展提供了技术基础。了技术基础。了技术基础。

【技术实现步骤摘要】
一种面向具有远心不动点约束的手术机器人手眼标定方法


[0001]本专利技术涉及医疗手术机器人的手眼标定领域，特别是涉及一种面向具有远心不动点约束的手术机器人手眼标定方法。

技术介绍

[0002]随着现代科学技术的进步，以直觉手术公司达芬奇机器人为代表的手术机器人平台在过去二十年间得到了长足的发展。随着硬件平台与软件系统的日趋成熟，近年来，利用视觉信息实现手术机器人任务操作自主化正在成为一个新兴的研究方向。在此类研究中，需要基于相机的反馈信息对手术视野中的关键器械与组织进行识别、分割与重建，并将相机坐标系下的感知信息转换至机器人坐标系，进而引导机器人进行自主化的任务规划与操作。获取相机三维坐标系与机器人坐标系间转换关系的这一过程，便称为机器人的手眼标定。由于腹腔镜手术机器人在结构上具有远心不动点的运动约束，现有的手眼标定技术难以有效且准确的获取手术机器人的手眼关系。
[0003]现有的手眼标定技术主要包括以下几类方法：
[0004]1、基于AX＝XB模型的手眼标定方法：还包括由传统AX＝XB模型中衍生处的标定方法，这种模式下的校准方法需要广泛使用棋盘格来进行手眼标定，而且基于AX＝XB原理进行手眼关系求解时，需要采集的机器人正向运动学信息之间存在明显差异，因腹腔镜手术机器人存在远心不动点的结构限制，手眼标定过程中手术器械的位姿变化小、移动范围受限，求解时极易出现病态矩阵的问题，难以保证手术机器人的校准精度；
[0005]2、基于CAD模型的标定方法：将手术工具的CAD模型与量化梯度方向检测到的图像特征相结合，可以动态校正手眼标定误差。然而CAD模型的设计、加载与计算会导致整体的手眼校准时间变长，从而降低了手眼标定效率。除此之外，此类方法中模型追踪误差也会给手眼标定的结果带来不确定性。
[0006]3、基于深度学习的标定方法：该方法需要收集大量校准数据，会产生手眼关系过拟合的问题，使得算法的通用性降低，并且此方法的手眼标定耗时长、效率低。
[0007]4、使用外部传感器的标定方法：使用外部传感器(如光学追踪传感器)连接到机器人的关键节点上，得到各关节之间的转换关系。但外部传感器需要频繁的自我校准，以确保其自身的传感可靠性。因此，运用此方式会增加系统的复杂性，同时整体设备的成本会大幅提高，实用性较差。
[0008]综上所述可以看出，针对于腹腔镜手术机器人，现有的手眼标定方法的精度较低。

技术实现思路

[0009]本专利技术的目的是提供一种面向具有远心不动点约束的手术机器人手眼标定方法，以解决现有手眼标定方法对于腹腔镜手术机器人手眼标定精度低的问题。
[0010]为解决上述技术问题，本专利技术提供一种面向具有远心不动点约束的手术机器人手眼标定方法，包括：
[0011]获取多次摆位下手术器械在机器坐标系下的姿态；根据相机拍摄到的图像数据确定多次摆位下手术器械在相机坐标系下的三维位姿；
[0012]利用所述手术器械在相机坐标系下的三维位姿，计算相机坐标系下每次摆位与其他各摆位的手术器械中心线的公垂点位置；
[0013]根据远心不动点结构约束，利用所述多次摆位下手术器械在相机坐标系下的三维位姿和所述每次摆位与其他各摆位的手术器械中心线的公垂点位置构建损失函数，对所述损失函数进行迭代优化，当相邻两次迭代优化后的损失函数差值满足预设值时确定每次摆位下手术器械在相机坐标系下的最优三维位姿；
[0014]根据所述最优三维位姿计算每次摆位与其它各摆位的手术器械中心线的最优公垂点位置；
[0015]根据所述多次摆位下手术器械在机器坐标系下的姿态和所述每次摆位下与各摆位的手术器械中心线的最优公垂点位置，确定手术器械的手眼关系。
[0016]优选地，所述根据相机拍摄到的图像数据确定多次摆位下手术器械在相机坐标系下的三维位姿包括：
[0017]确定第i次摆位下的手术器械在相机拍摄图像上的上下边界，并计算第i次摆位下手术器械的边界矩阵Cb
i
：
[0018][0019]式中，和分别为第i次摆位下手术器械在相机拍摄的图像上的上边界和下边界，i＝1,2,
…
,k，k为手术器械的摆位总次数；
[0020]对第i次摆位下手术器械的边界矩阵Cb
i
根据相机内参构建矩阵并进行奇异值分解：
[0021][0022]式中，K
c
为相机内参，为第i次摆位下矩阵奇异值分解后的对角矩阵，主对角线上的每个值为分解后的奇异值，为第i次摆位下矩阵奇异值分解后的左奇异矩阵，为第i次摆位下矩阵奇异值分解后的右奇异矩阵；
[0023]选择中的两个最大值∑
i1
与∑
i2
，计算第i次摆位手术器械在相机坐标系下的三维位姿
[0024][0025][0026]式中，为第i次摆位下手术器械在相机坐标系下的三维位姿即普吕克坐标，表示取的最后一列，r
C
为手术器械末端执行器的半径长度，
为取的第一列，∑
i1
与∑
i2
分别为对角线上的前两个元素且∑
i1
>∑
i2
。
[0027]优选地，所述计算相机坐标系下每次摆位下与其他各摆位的手术器械中心线的公垂点位置包括：
[0028][0029][0030]式中，为手术器械第i次摆位与第j次摆位的中心线在第i次摆位中心线上的公垂点位置，为手术器械第j次摆位与第i次摆位的中心线在第j次摆位中心线的公垂点位置，为手术器械第i次摆位的普吕克坐标，为手术器械第j次摆位的普吕克坐标，i＝1,2,
…
,k，k为手术器械的摆位总次数。
[0031]优选地，所述确定每次摆位下手术器械在相机坐标系下的最优三维位姿包括：
[0032]利用多次摆位下手术器械在相机坐标系下的三维位姿和每次摆位与其它各摆位的手术器械中心线的公垂点位置构建损失函数LS
AS
：
[0033][0034]式中，为相机坐标系下第i次摆位的手术器械进行优化后的普吕克坐标，为第i次摆位手术器械在相机坐标系下的普吕克坐标，[*]×
代表矩阵*的斜对称矩阵，为手术器械第i次摆位与第j次摆位的中心线在第i次摆位中心线上的公垂点位置，为手术器械第j次摆位与第i次摆位的中心线在第j次摆位中心线的公垂点位置，i＝1,2,
…
,k，k为手术器械的摆位总次数；
[0035]对LS
AS
进行迭代式优化，当相邻两次迭代后的LS
AS
的差值小于预设值时，确定最后一次迭代时优化后的普吕克坐标为相机坐标系下多次摆位的手术器械的最优三维位姿。
[0036]优选地，所述确定手术器械的手眼关系包括计算手眼关系的平移矩阵和计算手眼关系的旋转矩阵。
[0037]优选地，所述计算手眼关系的平移矩阵为：
[0038][0039]式中，
...

【技术保护点】

【技术特征摘要】
1.一种面向具有远心不动点约束的手术机器人手眼标定方法，其特征在于，包括：获取多次摆位下手术器械在机器坐标系下的姿态；根据相机拍摄到的图像数据确定多次摆位下手术器械在相机坐标系下的三维位姿；利用所述手术器械在相机坐标系下的三维位姿，计算相机坐标系下每次摆位与其他各摆位的手术器械中心线的公垂点位置；根据远心不动点结构约束，利用所述多次摆位下手术器械在相机坐标系下的三维位姿和所述每次摆位与其他各摆位的手术器械中心线的公垂点位置构建损失函数，对所述损失函数进行迭代优化，当相邻两次迭代优化后的损失函数差值满足预设值时确定每次摆位下手术器械在相机坐标系下的最优三维位姿；根据所述最优三维位姿计算每次摆位与其它各摆位的手术器械中心线的最优公垂点位置；根据所述多次摆位下手术器械在机器坐标系下的姿态和所述每次摆位下与各摆位的手术器械中心线的最优公垂点位置，确定手术器械的手眼关系。2.根据权利要求1所述的面向具有远心不动点约束的手术机器人手眼标定方法，其特征在于，所述根据相机拍摄到的图像数据确定多次摆位下手术器械在相机坐标系下的三维位姿包括：确定第i次摆位下的手术器械在相机拍摄图像上的上下边界，并计算第i次摆位下手术器械的边界矩阵Cb
i
：式中，和分别为第i次摆位下手术器械在相机拍摄的图像上的上边界和下边界，i＝1,2,
…
,k，k为手术器械的摆位总次数；对第i次摆位下手术器械的边界矩阵Cb
i
根据相机内参构建矩阵并进行奇异值分解：式中，K
c
为相机内参，为第i次摆位下矩阵奇异值分解后的对角矩阵，主对角线上的每个值为分解后的奇异值，为第i次摆位下矩阵奇异值分解后的左奇异矩阵，为第i次摆位下矩阵奇异值分解后的右奇异矩阵；选择中的两个最大值∑
i1
与∑
i2
，计算第i次摆位手术器械在相机坐标系下的三维位姿位姿位姿式中，为第i次摆位下手术器械在相机坐标系下的三维位姿即普
吕克坐标，表示取的最后一列，r
C
为手术器械末端执行器的半径长度，为取的第一列，∑
i1
与∑
i2
分别为对角线上的前两个元素且∑
i1
>∑
i2
。3.根据权利要求1所述的面向具有远心不动点约束的手术机器人手眼标定方法，其特征在于，所述计算相机坐标系下每次摆位下与其他各摆位的手术器械中心线的公垂点位置包括：包括：式中，为手术器械第i次摆位与第j次摆位的中心线在第i次摆位中心线上的公垂点位置，为手术器械第j次摆位与第i次摆位的中心线在第j次摆位中心线的公垂点位置，为手术器械第i次摆位的普吕克坐标，为手术器械第j次摆位的普吕克坐标，i＝1,2,
…
,k，k为手术器械的摆位总次数。4.根据权利要求1所述的面向具有远心不动点约束的手术机器人手眼标定方法，其特征在于，所述确定每次摆位下手术器械在相机坐标系下的最优三维位姿包括：利用多次摆位下手术器械在相机坐标系下的三维位姿和每次摆位与其它各摆位的手术器械中心线的公垂点位置构建损失函数LS
AS
：式中，为相机坐标系下第i次摆位的手术器械进行优化后的普吕克坐标，为第i次摆位手术器械在相机坐标系下的普吕克坐标，[*]
×
代表矩阵*的斜对称矩阵，为手术器械第i次摆位与第j次摆位的中心线在第...

【专利技术属性】
技术研发人员：陆波，刘会聪，迟文政，陈涛，孙立宁，
申请(专利权)人：苏州大学，
类型：发明
国别省市：