基于计算机视觉的手眼标定方法及装置、存储介质制造方法及图纸

本申请涉及人工智能，公开了一种基于计算机视觉的手眼标定方法及装置、存储介质、计算机设备，该方法包括：控制机器人的机械臂在四个自由度的约束条件下在预设范围移动并通过设置在所述机械臂末端的相机采集标定图像，其中，所述机械臂在所述预设范围的移动过程中所述相机对应的相机坐标系Z轴始终穿过预设目标点位置；基于所述标定图像，确定所述预设目标点的坐标，并确定所述相机坐标系下所述预设目标点与所述相机的第一相对变换以及世界坐标系下的预设标定点与所述机械臂末端的第二相对变换；根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述机械臂末端与所述相机的刚性变换。

【技术实现步骤摘要】
基于计算机视觉的手眼标定方法及装置、存储介质
本申请涉及计算机视觉
，尤其是涉及到一种基于计算机视觉的手眼标定方法及装置、存储介质、计算机设备。
技术介绍
目前，医疗电子机械设备的发展对先进治疗技术的发展起到了巨大的帮助，例如医疗机器人。手术机器人除了需要精准的位置、力控制，完善的视觉传感系统，另外一个依赖性很强的技术就是实现精准鲁棒的手眼标定，保证机器人和手术专用相机间的坐标系统关系。在eye-in-hand机械臂设置下(即相机放置在机械臂末端)，手眼标定技术在提供机械臂末端与相机坐标的刚性变换的过程中起着关键的作用。就手眼标定算法本身而言，已经有大量成熟和准确的算法来减少标定误差从而达到稳定的应用效果。但这些算法的前提都要求末端的移动为6个自由度，且需要一定程度的运动范围作为前提，因此在移动自由度数量和移动范围的双重限定下，如何完成标定过程一个值得研究的问题。结合该问题映射到实际场景中的问题，比如在医疗手术机器人的工作过程中，机械臂末端的自由度会被限制，且移动范围需要限制地非常小，稍有不慎就会影响伤口大小及手术效果，因此，在该过程中实现精准的手眼标定是非常重要的问题。著名的医疗手术机器人—达芬奇手术机器人在该过程中则是引入外部精准的视觉跟踪工具辅助标定过程，因此也不可避免地引入额外的标定误差源，容易造成标定误差。目前在该
，如何对限定移动自由度和限定移动范围的机器人进行精准的手眼标定成为了热点问题。
技术实现思路
有鉴于此，本申请提供了一种基于计算机视觉的手眼标定方法及装置、存储介质、计算机设备。根据本申请的一个方面，提供了一种基于计算机视觉的手眼标定方法，包括：控制Eye-in-hand机器人的机械臂在四个自由度的约束条件下在预设范围移动并通过设置在所述机械臂末端的相机采集标定图像，其中，所述机械臂在所述预设范围的移动过程中所述相机对应的相机坐标系Z轴始终穿过预设目标点的位置；基于所述标定图像，确定所述预设目标点的坐标，并确定所述相机坐标系下所述预设目标点与所述相机的第一相对变换以及世界坐标系下的预设标定点与所述机械臂末端的第二相对变换；根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述机械臂末端与所述相机的刚性变换。具体地，所述确定所述预设目标点的坐标，具体包括：基于所述标定图像，确定所述相机坐标系的Z轴对应的辅助点的坐标，其中，所述辅助点为所述相机坐标系的Z轴上任意一点；按照预设误差项公式以及所述辅助点的坐标，确定所述预设目标点的坐标。具体地，所述标定图像包括N张，所述预设误差项公式为其中，N大于或等于2，wi为第i张标定图像对应的惩罚因子，oref,i为第i张标定图像对应的所述辅助点的坐标，pref,i为第i张标定图像对应的所述预设目标点的坐标，dref,i为第i张标定图像对应的所述相机坐标系的Z轴方向向量。具体地，若所述相机为双目相机，则所述确定所述预设目标点的坐标，具体包括：基于所述双目相机中的左眼相机对应的左眼标定图像确定所述预设目标点的第一坐标，以及基于所述双目相机中的右眼相机对应的右眼标定图像确定所述预设目标点的第二坐标；将所述第一坐标和所述第二坐标的平均值作为所述预设目标点的坐标。具体地，所述确定所述机械臂末端与所述相机的刚性变换，具体包括：按照预设刚性变换公式确定所述机械臂末端与所述相机的刚性变换，其中，所述预设刚性变换公式为为所述第一相对变换，pref为所述预设目标点的坐标，为所述第二相对变换，pworld为所述预设标定点的坐标。具体地，所述刚性变换包括旋转刚性变换和平移刚性变换；所述确定所述机械臂末端与所述相机的刚性变换，具体包括：根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述旋转刚性变换；根据所述旋转刚性变换，确定所述平移刚性变换。具体地，所述确定所述机械臂末端与所述相机的刚性变换之后，所述方法还包括：获取所述相机采集的控制图像；基于所述控制图像以及所述机械臂末端与所述相机的刚性变换，控制所述机械臂运动。根据本申请的另一方面，提供了一种基于计算机视觉的手眼标定装置，包括：标定图像采集模块，用于控制Eye-in-hand机器人的机械臂在四个自由度的约束条件下在预设范围移动并通过设置在所述机械臂末端的相机采集标定图像，其中，所述机械臂在所述预设范围的移动过程中所述相机对应的相机坐标系Z轴始终穿过预设目标点位置；目标点坐标确定模块，用于基于所述标定图像，确定所述预设目标点的坐标，并确定所述相机坐标系下所述预设目标点与所述相机的第一相对变换以及世界坐标系下的预设标定点与所述机械臂末端的第二相对变换；刚性变换确定模块，用于根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述机械臂末端与所述相机的刚性变换。具体地，所述目标点坐标确定模块，具体包括：辅助点确定单元，用于基于所述标定图像，确定所述相机坐标系的Z轴对应的辅助点的坐标，其中，所述辅助点为所述相机坐标系的Z轴上任意一点；第一目标点确定单元，用于按照预设误差项公式以及所述辅助点的坐标，确定所述预设目标点的坐标。具体地，所述标定图像包括N张，所述预设误差项公式为其中，N大于或等于2，wi为第i张标定图像对应的惩罚因子，oref,i为第i张标定图像对应的所述辅助点的坐标，pref,i为第i张标定图像对应的所述预设目标点的坐标，dref,i为第i张标定图像对应的所述相机坐标系的Z轴方向向量。具体地，所述目标点坐标确定模块，具体包括：第二目标点确定单元，用于若所述相机为双目相机，则基于所述双目相机中的左眼相机对应的左眼标定图像确定所述预设目标点的第一坐标，以及基于所述双目相机中的右眼相机对应的右眼标定图像确定所述预设目标点的第二坐标；第三目标点确定单元，用于将所述第一坐标和所述第二坐标的平均值作为所述预设目标点的坐标。具体地，所述刚性变换确定模块，具体包括：第一刚性变换确定单元，用于按照预设刚性变换公式确定所述机械臂末端与所述相机的刚性变换，其中，所述预设刚性变换公式为为所述第一相对变换，pref为所述预设目标点的坐标，为所述第二相对变换，pworld为所述预设标定点的坐标。具体地，所述刚性变换包括旋转刚性变换和平移刚性变换；所述刚性变换确定模块，具体包括：第二刚性变换确定单元，用于根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述旋转刚性变换；第三刚性变换确定单元，用于根据所述旋转刚性变换，确定所述平移刚性变换。具体地，所述装置还包括：图像获取模块，用于确定所述机械臂末端与所述相机的刚性变换之后，获取所述相机采集的控制图像；控制模块，用于基于所述控制图像以及所述机械臂本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的手眼标定方法，其特征在于，包括：/n控制Eye-in-hand机器人的机械臂在四个自由度的约束条件下在预设范围移动并通过设置在所述机械臂末端的相机采集标定图像，其中，所述机械臂在所述预设范围的移动过程中所述相机对应的相机坐标系Z轴始终穿过预设目标点的位置；/n基于所述标定图像，确定所述预设目标点的坐标，并确定所述相机坐标系下所述预设目标点与所述相机的第一相对变换以及世界坐标系下的预设标定点与所述机械臂末端的第二相对变换；/n根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述机械臂末端与所述相机的刚性变换。/n

【技术特征摘要】
1.一种基于计算机视觉的手眼标定方法，其特征在于，包括：
控制Eye-in-hand机器人的机械臂在四个自由度的约束条件下在预设范围移动并通过设置在所述机械臂末端的相机采集标定图像，其中，所述机械臂在所述预设范围的移动过程中所述相机对应的相机坐标系Z轴始终穿过预设目标点的位置；
基于所述标定图像，确定所述预设目标点的坐标，并确定所述相机坐标系下所述预设目标点与所述相机的第一相对变换以及世界坐标系下的预设标定点与所述机械臂末端的第二相对变换；
根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述机械臂末端与所述相机的刚性变换。


2.根据权利要求1所述的方法，其特征在于，所述确定所述预设目标点的坐标，具体包括：
基于所述标定图像，确定所述相机坐标系的Z轴对应的辅助点的坐标，其中，所述辅助点为所述相机坐标系的Z轴上任意一点；
按照预设误差项公式以及所述辅助点的坐标，确定所述预设目标点的坐标。


3.根据权利要求2所述的方法，其特征在于，所述标定图像包括N张，所述预设误差项公式为其中，N大于或等于2，wi为第i张标定图像对应的惩罚因子，oref,i为第i张标定图像对应的所述辅助点的坐标，pref,i为第i张标定图像对应的所述预设目标点的坐标，dref,i为第i张标定图像对应的所述相机坐标系的Z轴方向向量。


4.根据权利要求1至3中任一项所述的方法，其特征在于，若所述相机为双目相机，则所述确定所述预设目标点的坐标，具体包括：
基于所述双目相机中的左眼相机对应的左眼标定图像确定所述预设目标点的第一坐标，以及基于所述双目相机中的右眼相机对应的右眼标定图像确定所述预设目标点的第二坐标；
将所述第一坐标和所述第二坐标的平均值作为所述预设目标点的坐标。


5.根据权利要求4所述的方法，其特征在于，所述确定所述机械臂末端与所述相机的刚性变换，具体包括：
按照预设刚性变换公式确定所述机械臂末端与所述相机的刚性变...

【专利技术属性】
技术研发人员：喻凌威，周宸，周宝，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44