多足机器人视觉传感器的外参标定系统、方法及装置制造方法及图纸

本申请实施例公开了多足机器人视觉传感器的外参标定系统、方法及装置。本申请实施例提供的技术方案通过获取足部坐标系变换至本体坐标系的第一变换矩阵，获取本体视觉坐标系变换至世界坐标系的第二变换矩阵、足部视觉坐标系变换至世界坐标系的第三变换矩阵，并根据第二变换矩阵和第三变换矩阵计算获得本体视觉坐标系变换至足部视觉坐标系的第四变换矩阵，之后根据第一变换矩阵、第二变换矩阵和第四变换矩阵计算外参标定，通过结合足部视觉坐标系与多足机器人的本体坐标系之间高精度的相对状态测量，将多足机器人的外参问题转变为机械臂手眼标定问题，在环境中加载标定板，使足部相对于本体坐标系运动即可完成外参标定，操作简单，外参标定精度高。外参标定精度高。外参标定精度高。

【技术实现步骤摘要】
多足机器人视觉传感器的外参标定系统、方法及装置


[0001]本申请实施例涉及机器人视觉
，尤其涉及一种多足机器人视觉传感器的外参标定系统、方法、装置、设备及存储介质。

技术介绍

[0002]移动机器人的工作场景正不断向着室外及结构化复杂环境发展，相较于轮式与履带式机器人，多足机器人因其类似动物的腿部结构设计而拥有更高的运动灵活性，在复杂环境中依旧能以较低能耗跨越或绕开障碍物、实现高速运动，并且具有对地表环境要求低，对地面破坏性小等优势，可以广泛用于探索、搜救、运输等场景。在机器人的运动过程中，通过综合多视觉传感器、惯性测量单元以及腿部电机的编码器等来估计自身的状态并完成对周围环境的重建，而传感器信息融合首要的前提就是进行准确的传感器标定。
[0003]为了完成基于视觉传感器的建图、定位与导航，需要完成机器人所加载的视觉传感器的内参与外参标定。视觉传感器的内参标定可以根据不同的相机成像模型，例如针孔模型，鱼眼相机模型等，结合公开知识能较为轻易的完成相机内参的标定，获得焦距，光心，畸变等参数。然而，视觉传感器的外参标定，也即是计算机器人本体坐标系与视觉传感器坐标系之间的平移向量和旋转矩阵，共计六个自由度的待估计量，常称为“位姿”或“姿态”。由于多足机器人相对于轮式和履带式机器人具有特殊的运动学模型，视觉传感器的外参标定具有较高的难度，鲜有成熟的解决方案。
[0004]针对移动机器人平台上视觉传感器外参标定问题，目前主流的解决方案多基于移动机器人的自我运动(Ego
‑
motion)，通过机器人在环境中移动，利用机器人本体加载的电机编码器和视觉传感器生成两组不同的轨迹，也即是机器人在不同时刻的位姿，进而根据非线性优化等数学方法，完成外参的估计。然而，在多足机器人系统中，使用上述方案很难完成准确的外参估计，具体原因主要包括：1、由足式机器人编码器获得的足式里程计(Legged odometry)数据误差较大，也即是机器人本体的轨迹误差大，很难被用于高精度外参标定；2、多足机器人，多在二维环境内运动，例如在地面上自由走动，无法提供六个自由度的充分激励，从而无法完成六个自由度的高精度标定；3、除了上述问题，视觉传感器的外参标定同样面临时域上的偏差，由于相机的硬件时钟和机器人的电机/编码器时钟无法严格通过IO信号对齐，在电脑主机端，通常会存在50
‑
100毫秒的偏差。

技术实现思路

[0005]本申请实施例提供一种多足机器人视觉传感器的外参标定系统、方法、装置、设备及存储介质，以实现准确的完成多足机器人的本体坐标系与本体相机坐标系之间的外参标定。
[0006]在第一方面，本申请实施例提供了一种多足机器人视觉传感器的外参标定系统，包括：
[0007]多足机器人、标定板和处理器，所述多足机器人包括多个足部，所述多足机器人上
安装有本体视觉传感器，任意一个所述足部上安装有足部视觉传感器，所述本体视觉传感器和所述足部视觉传感器均连接所述处理器；所述本体视觉传感器用于采集所述多足机器人前方的图像信息，所足部视觉传感器用于采集所述足部前方的图像信息，所述处理器用于根据所述本体视觉传感器对应的本体视觉坐标系和根据足部视觉传感器对应的足部视觉坐标系计算得到本体坐标系变换至所述本体相机坐标系的目标变换矩阵；所述标定板安装在所述多足机器人的前方，且所述标定板落入至本体视觉传感器和所述足部视觉传感器的视线范围内。
[0008]在第二方面，本申请实施例提供了一种多足机器人视觉传感器的外参标定方法，包括：
[0009]构建多足机器人的足部坐标系，获取所述足部坐标系变换至所述多足机器人的本体坐标系的第一变换矩阵；
[0010]获取本体视觉传感器对应的本体视觉坐标系变换至世界坐标系的第二变换矩阵、足部视觉传感器对应的足部视觉坐标系变换至世界坐标系的第三变换矩阵，其中，所述世界坐标系为以标定板上任意一个点作为原点所建立的坐标系；
[0011]根据所述第二变换矩阵和所述第三变换矩阵计算获得所述本体视觉坐标系变换至所述足部视觉坐标系的第四变换矩阵；
[0012]根据所述第一变换矩阵、所述第二变换矩阵和所述第四变换矩阵计算获得所述本体坐标系变换至所述本体相机坐标系的目标变换矩阵。
[0013]在第三方面，本申请实施例提供了一种多足机器人视觉传感器的外参标定装置，包括：
[0014]第一矩阵获取模块：用于构建多足机器人的足部坐标系，获取所述足部坐标系变换至所述多足机器人的本体坐标系的第一变换矩阵；
[0015]第二矩阵获取模块：用于获取本体视觉传感器对应的本体视觉坐标系变换至世界坐标系的第二变换矩阵、足部视觉传感器对应的足部视觉坐标系变换至世界坐标系的第三变换矩阵，其中，所述世界坐标系为以标定板上任意一个点作为原点所建立的坐标系；
[0016]第三矩阵获取模块：用于根据所述第二变换矩阵和所述第三变换矩阵计算获得所述本体视觉坐标系变换至所述足部视觉坐标系的第四变换矩阵；
[0017]第四矩阵获取模块：用于根据所述第一变换矩阵、所述第二变换矩阵和所述第四变换矩阵计算获得所述本体坐标系变换至所述本体相机坐标系的目标变换矩阵。
[0018]在第四方面，本申请实施例提供了一种外参标定设备，包括：存储器以及一个或多个处理器；
[0019]所述存储器，用于存储一个或多个程序；
[0020]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面所述的多足机器人视觉传感器的外参标定方法。
[0021]在第五方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第二方面所述的多足机器人视觉传感器的外参标定方法。
[0022]本申请实施例获取所述足部坐标系变换至所述多足机器人的本体坐标系的第一变换矩阵，获取本体视觉传感器对应的本体视觉坐标系变换至世界坐标系的第二变换矩
阵、足部视觉传感器对应的足部视觉坐标系变换至世界坐标系的第三变换矩阵，并根据所述第二变换矩阵和所述第三变换矩阵计算获得所述本体视觉坐标系变换至所述足部视觉坐标系的第四变换矩阵，之后根据所述第一变换矩阵、所述第二变换矩阵和所述第四变换矩阵计算获得所述本体坐标系变换至所述本体相机坐标系的目标变换矩阵，通过新定义多足机器人的足部坐标系，在多足机器人的足部固定足部视觉传感器，结合足部视觉坐标系与多足机器人的本体坐标系之间高精度的相对状态测量，将多足机器人的外参问题转变为机械臂手眼标定问题，在外参标定过程中，不需要多足机器人在环境中进行大范围运动，只需要在环境中加载一块标定板，并使多足机器人单足相对于本体坐标系的运动即可完成外参标定，操作简单，外参标定精度高。
附图说明
[0023]图1是本申请实施例提供的一种多足机器人视觉传感器的外参标定系统的结构示意图；
[0024]图2是本申请实施例提供的一种多足机器人视觉传感器的外参标定方法的流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多足机器人视觉传感器的外参标定系统，其特征在于，包括多足机器人、标定板和处理器，所述多足机器人包括多个足部，所述多足机器人上安装有本体视觉传感器，任意一个所述足部上安装有足部视觉传感器，所述本体视觉传感器和所述足部视觉传感器均连接所述处理器；所述本体视觉传感器用于采集所述多足机器人前方的图像信息，所足部视觉传感器用于采集所述足部前方的图像信息，所述处理器用于根据所述本体视觉传感器对应的本体视觉坐标系和根据足部视觉传感器对应的足部视觉坐标系计算得到本体坐标系变换至所述本体相机坐标系的目标变换矩阵；所述标定板安装在所述多足机器人的前方，且所述标定板落入至本体视觉传感器和所述足部视觉传感器的视线范围内。2.一种多足机器人视觉传感器的外参标定方法，其特征在于，包括：构建多足机器人的足部坐标系，获取所述足部坐标系变换至所述多足机器人的本体坐标系的第一变换矩阵；获取本体视觉传感器对应的本体视觉坐标系变换至世界坐标系的第二变换矩阵、足部视觉传感器对应的足部视觉坐标系变换至世界坐标系的第三变换矩阵，其中，所述世界坐标系为以标定板上任意一个点作为原点所建立的坐标系；根据所述第二变换矩阵和所述第三变换矩阵计算获得所述本体视觉坐标系变换至所述足部视觉坐标系的第四变换矩阵；根据所述第一变换矩阵、所述第二变换矩阵和所述第四变换矩阵计算获得所述本体坐标系变换至所述本体相机坐标系的目标变换矩阵。3.根据权利要求2所述的外参标定方法，其特征在于，获取所述足部坐标系变换至所述多足机器人的本体坐标系的第一变换矩阵，包括：获取所述多足机器人预设的足部运动学模型，并获取多足机器人的足部电机编码器采集的编码数据；根据所述足部运动学模型和所述编码数据计算所述足部坐标系变换至所述多足机器人的本体坐标系的第一变换矩阵。4.根据权利要求2所述的外参标定方法，其特征在于，获取本体视觉传感器对应的本体视觉坐标系变换至世界坐标系的第二变换矩阵、足部视觉传感器对应的足部视觉坐标系变换至世界坐标系的第三变换矩阵，包括：将本体视觉传感器的时间戳与足部视觉传感器的时间戳对准，获取所述本体视觉传感器在目标时间戳采集到标定板的第一图像和所述足部视觉传感器在目标时间戳采集标定板的第二图像；获取所述标定板的尺寸参数；根据所述尺寸参数以及所述第一图像获取本体视觉坐标系变换至世界坐标系的第二变换矩阵，根据所述尺寸参数以及所述第二图像获取足部视觉传感器对应的足部视觉坐标系变换至世界坐标系的第三变换矩阵。5.根据权利要求2所述的外参标定方法，其特征在于，根据所述第二变换矩阵和所述第三变换矩阵计算获得所述本体视觉坐标系变换至所述足部视觉坐标系的第四变换矩阵，具体为：根据公式一计算获得所述本体视觉坐标系变换至所述足部视觉坐标系的第四变换矩阵，公式一为：
其中，为第二变换矩阵，为第三变换矩阵，为第四变换矩阵，为世界坐标系变换至足部视觉坐标系的变换矩阵。6.根据权利要求2所述的外参标定方法，其特征在于，根据所述第一变换矩阵、所述第二变换矩阵和所述第四变换矩阵计算获得所述本体坐标系变换至所述本体相机坐标系的目标变换矩阵，包括：根据公式二和所述公式一转换得到公式三，并根据所述公式三计算得到目标变换矩阵，公式二为：公式三：其中，为目标变换矩阵，为足部坐标系变换至足部视觉坐标系的变换矩阵，
b
T
l
为第一变换矩阵，i为本体视觉传感器和足部视觉传感器第i次采集所述标定板的图像，j为本体视觉传感器和足部视觉传感器第j次采集所述标定板的图像，为足部坐标系相对于本体坐标系的第j次运动姿态，为足部坐标系相对于本体坐标系的第i次运动姿...

【专利技术属性】
技术研发人员：孙立晔，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：