使相机的校准状态可视化的方法、系统、以及存储介质技术方案

本发明专利技术提供使相机的校准状态可视化的方法、系统、以及存储介质，能够确认校准参数是否正确。本公开的方法包含：(a)获取第一相机的校准参数的工序；(b)使用第二相机，求出第一相机和第二相机的相对位置的工序；以及(c)将示出第一相机的校准状态的特定图像重叠在由第二相机拍摄的图像，以根据校准参数的值变化的位置姿态在显示设备显示的工序。置姿态在显示设备显示的工序。置姿态在显示设备显示的工序。

【技术实现步骤摘要】
使相机的校准状态可视化的方法、系统、以及存储介质


[0001]本公开涉及使相机的校准状态可视化的方法、系统、以及存储介质。

技术介绍

[0002]在机器人等的各种装置中，利用使用相机识别对象物的位置，实现与对象物的交互动作的技术。在这样的用途中使用相机的情况下，通过进行预先校正(校准)，设定相机的校准参数。校准参数包含表示镜头的性能、镜头与像素的关系的内部参数、表示相机与外部装置的相对位置的外部参数。在机器人中使用相机的情况下，通过将相机配置在与机器人的相对位置固定，并且将作业区域整个面作为视野范围的位置，能够算出相机、机器人间的外部参数。在专利文献1中公开了这样求出外部参数的技术。
[0003]专利文献1：日本特开2021
‑
24056号公报
[0004]但是，相机的校准参数有时随时间变化而发生偏差。因此，存在想要确认校准参数是否正确的需求。

技术实现思路

[0005]根据本公开的第一方式，提供一种使相机的校准状态可视化的方法。该方法包含：(a)获取第一相机的校准参数的工序；(b)使用第二相机，求出所述第一相机和所述第二相机的相对位置的工序；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在显示设备显示的工序。
[0006]根据本公开的第二方式，提供一种使相机的校准状态可视化的系统。该系统具备：利用相机利用设备拍摄图像的第一相机；用于所述第一相机的校准状态的确认的第二相机；显示由所述第二相机拍摄的图像的显示设备；以及与所述第一相机、所述第二相机和所述显示设备连接的控制装置。所述控制装置执行：(a)获取所述第一相机的校准参数的处理；(b)使用所述第二相机，求出所述第一相机和所述第二相机的相对位置的处理；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在所述显示设备显示的处理。
[0007]根据本公开的第三方式，提供一种存储介质，存储使处理器执行使相机的校准状态可视化的处理的计算机程序。该计算机程序使所述处理器执行：(a)获取第一相机的校准参数的处理；(b)使用第二相机，求出所述第一相机和所述第二相机的相对位置的处理；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在显示设备显示的处理。
附图说明
[0008]图1是示出实施方式中的机器人系统的构成的说明图。
[0009]图2是示出第一实施方式中的各种坐标系的关系的示意图。
[0010]图3是实施方式中的控制装置的功能框图。
[0011]图4是示出第一实施方式的处理顺序的流程图。
[0012]图5是示出第一相机和第二相机的相对位置的确定方法的说明图。
[0013]图6是示出示出校准状态的特定图像的显示例的说明图。
[0014]图7是示出示出校准状态的特定图像的其他显示例的说明图。
[0015]图8是示出校准参数的调整窗口的例子的说明图。
[0016]图9是示出第二实施方式中的各种坐标系的关系的示意图。
[0017]图10是示出第二实施方式的处理顺序的流程图。
[0018]附图标记说明
[0019]100
…
机器人；110
…
基台；120
…
机器人臂；121
…
第一连杆；122
…
第二连杆；123
…
工作轴；150
…
机器人手；200
…
机器人控制器；300
…
控制装置；310
…
处理器；312
…
相机校正执行部；314
…
校正状态可视化部；320
…
存储器；330
…
接口电路；340
…
输入装置；350
…
显示装置；360
…
无线通信装置；410
…
第一相机；420
…
第二相机；430
…
第三相机；440
…
VR眼镜；500
…
作业台；501
…
XY平面；510
…
角框；520
…
标记板；530
…
基准标记。
具体实施方式
[0020]A.第一实施方式：
[0021]图1是示出一实施方式中的机器人系统的一例的说明图。该机器人系统具备：作为相机利用设备的机器人100、控制机器人100的机器人控制器200、控制装置300、3个相机410、420、430、VR眼镜440(Virtual Reality Glass：虚拟现实眼镜)、以及作业台500。控制装置300例如是个人计算机。控制装置300向机器人控制器200发送控制指令。也可以将控制装置300称为“上位控制装置”。
[0022]机器人100具备：基台110、机器人臂120。机器人臂120具有第一连杆121、第二连杆122和工作轴123。在机器人臂120的前端，安装有作为末端执行器的机器人手150。机器人手150能够实现为能够把持工件的夹具、吸盘。在机器人手150的前端部附近，设定有作为机器人100的控制点的TCP(Tool Center Point：工具中心点)。需要说明的是，控制点TCP能够设定在任意的位置。
[0023]机器人臂120通过4个关节J1～J4依次连接。在本实施方式中例示了四轴机器人，但能够使用具备具有多个关节的任意机器人臂机构的机器人。另外，本实施方式的机器人100是水平多关节机器人，但也可以使用垂直多关节机器人。
[0024]第一相机410用于拍摄成为机器人100的作业对象的工件，求出工件的三维的位置以及姿态。作为第一相机410，优选使用RGB相机，但也可以使用RGBD相机、单色相机。RGBD相机是具有RGB相机和D相机(深度相机)的相机。在图1的例子中，第一相机410固定在作业台500的上方的位置。但是，第一相机410无论机器人臂120的姿态如何，只要设置在能够确定机器人坐标系和第一相机410的相对位置的位置即可。例如，第一相机410也可以固定于机器人100的第二连杆122。机器人100是利由第一相机410的拍摄结果的相机利用设备。但是，作为相机利用设备，能够使用机器人100以外的任意种类的设备。
[0025]第二相机420用于拍摄包括作业台500的作业环境，以确认第一相机410的校准状态。作为第二相机420，优选使用RGB相机，但也可以使用单色相机，另外，也可以使用不是单反相机而是立体相机。在第二相机420是立体相机的情况下，标记只要能够在左右的图像中
分别识别特定的基准点的位置即可，也可以不能从1张图像识别三维的位置以及姿态。在图1的例子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使相机的校准状态可视化的方法，其特征在于，包含：(a)获取第一相机的校准参数的工序；(b)使用第二相机，求出所述第一相机和所述第二相机的相对位置的工序；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在显示设备显示的工序。2.根据权利要求1所述的方法，其特征在于，所述工序(b)包含：(b1)关于所述第一相机的摄像范围内的特定位置，确定所述第一相机的基准坐标系中的第一三维坐标值的工序；(b2)通过由所述第二相机拍摄能够确定与所述第一相机的相对位置的标记，获取标记图像的工序；以及(b3)使用所述标记图像，确定表示所述第一相机和所述第二相机的所述相对位置的坐标变换矩阵的工序，所述工序(c)包含：(c1)使用所述坐标变换矩阵，将所述第一相机的所述基准坐标系中的所述第一三维坐标值转换为所述第二相机的基准坐标系中的第二三维坐标值的工序；以及(c2)将由所述第二相机拍摄的图像中的所述特定图像的位置设定在由所述第二三维坐标值示出的位置的工序。3.根据权利要求2所述的方法，其特征在于，所述工序(b1)包含：使用第三相机，求出由所述第一相机拍摄的图像中的所述特定位置的深度信息的工序；以及使用与所述特定位置相关的所述第一相机的像素坐标值、所述深度信息以及所述校准参数中包含的内部参数，算出所述特定位置的所述第一三维坐标值的工序。4.根据权利要求2所述的方法，其特征在于，所述工序(b1)包含：使用能够识别三维位置的图案，求出由所述第一相机拍摄的图像中的所述特定位置的深度信息的工序；以及使用与所述特定位置相关的所述第一相机的像素坐标值、所述深度信息以及所述校准参数中包含的内部参数，算出所述特...

【专利技术属性】
技术研发人员：佐藤峻，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：