针对机器人的摄像机的校正方法、系统以及存储介质技术方案

本发明专利技术公开了针对机器人的摄像机的校正方法、系统以及存储介质，无需在机械臂上粘贴标记就能够进行摄像机的校准。本发明专利技术的方法包括：(a)使用第一机器学习模型，根据由摄像机拍摄的机械臂的图像来推定在机械臂上预先设定的多个特征点的像素坐标值的工序；(b)使用第二机器学习模型，根据多个特征点的像素坐标值来推定三维摄像机坐标系中的多个特征点的第一坐标值的工序；(c)使用机械臂的编码器值来计算三维机器人坐标系中的多个特征点的第二坐标值的工序；以及(d)针对机械臂的多个姿态执行工序(a)～(c)，使用多个姿态下的多个特征点的第一坐标值和二坐标值来推定包含摄像机的外部参数的校正参数的工序。的外部参数的校正参数的工序。的外部参数的校正参数的工序。

【技术实现步骤摘要】
针对机器人的摄像机的校正方法、系统以及存储介质


[0001]本专利技术涉及针对机器人的摄像机的校正方法、系统以及计算机程序。

技术介绍

[0002]在机器人的作业中使用摄像机的情况下，通过预先进行校正(校准)来设定摄像机的校正参数。校正参数包括表示透镜的性能或透镜与像素的关系的内部参数和表示摄像机与外部装置的相对位置的外部参数。摄像机的校准通常使用印刷或加工有点或棋盘等图案的专用的校准板来进行。这样的通常的校准处理需要专用的器材，其调整需要非常多的时间。另外，每当摄像机与机器人的位置关系变化时，都需要进行校准，成为降低机器人的使用便利性的1个主要原因。
[0003]为了消除这样的使用便利性的降低，在专利文献1中提出了在机械臂上粘贴臂标记，使机械臂上的已知的位置与臂标记对应的方法。
[0004]专利文献1：日本特开2017
‑
124448号公报
[0005]但是，在上述现有技术中，需要在机械臂上粘贴标记，存在作业繁杂等问题。因此，期望一种无需在机械臂上粘贴标记就能够进行摄像机的校准的技术。

技术实现思路

[0006]根据本专利技术的第一方式，提供针对机器人的摄像机的校正方法。该方法包括：(a)使用学习完毕的第一机器学习模型并根据由所述摄像机拍摄的机械臂的图像来推定在所述机械臂上预先设定的多个特征点的像素坐标值的工序；(b)使用学习完毕的第二机器学习模型并根据所述多个特征点的所述像素坐标值来推定三维摄像机坐标系上的所述多个特征点的第一坐标值的工序；(c)使用所述机械臂的编码器值来计算三维机器人坐标系中的所述多个特征点的第二坐标值的工序；以及(d)针对所述机械臂的多个姿态执行所述工序(a)～(c)，使用所述多个姿态下的所述多个特征点的所述第一坐标值和所述第二坐标值来推定包含所述摄像机的外部参数的校正参数的工序。
[0007]根据本专利技术的第二方式，提供执行针对机器人的摄像机的校正处理的系统。该系统具备：摄像机，能够拍摄所述机器人的机械臂；以及校正处理部，使用由所述摄像机拍摄的图像来执行所述摄像机的校正处理。所述校正处理部执行：(a)使用学习完毕的第一机器学习模型并根据由所述摄像机拍摄的所述机械臂的图像来推定在所述机械臂上预先设定的多个特征点的像素坐标值的处理；(b)使用学习完毕的第二机器学习模型并根据所述多个特征点的所述像素坐标值来推定三维摄像机坐标系中的所述多个特征点的第一坐标值的处理；(c)使用所述机械臂的编码器值来计算三维机器人坐标系中的所述多个特征点的第二坐标值的处理；以及(d)针对所述机械臂的多个姿态执行所述处理(a)～(c)，使用所述多个姿态下的所述多个特征点的所述第一坐标值和所述第二坐标值来推定包含所述摄像机的外部参数的校正参数的处理。
[0008]根据本专利技术的第三方式，提供使处理器执行针对机器人的摄像机的校正处理的计
算机程序。该计算机程序使所述处理器执行：(a)使用学习完毕的第一机器学习模型并根据由所述摄像机拍摄的机械臂的图像来推定在所述机械臂上预先设定的多个特征点的像素坐标值的处理；(b)使用学习完毕的第二机器学习模型并根据所述多个特征点的所述像素坐标值来推定三维摄像机坐标系中的所述多个特征点的第一坐标值的处理；(c)使用所述机械臂的编码器值来计算三维机器人坐标系中的所述多个特征点的第二坐标值的处理；以及(d)针对所述机械臂的多个姿态执行所述处理(a)～(c)，使用所述多个姿态下的所述多个特征点的所述第一坐标值和所述第二坐标值来推定包含所述摄像机的外部参数的校正参数的处理。
附图说明
[0009]图1是表示机器人系统的构成的说明图。
[0010]图2是表示各种坐标系的关系的概念图。
[0011]图3是信息处理装置的功能框图。
[0012]图4是表示第一机器学习模型和第二机器学习模型的功能的说明图。
[0013]图5是表示第一实施方式的校正处理的步骤的流程图。
[0014]图6是表示第二实施方式的校正处理的步骤的流程图。
[0015]图7是表示在步骤S135中使用的机械的制约条件的一例的说明图。
[0016]附图标记说明
[0017]100
…
机器人，110
…
机械臂，111
…
第一连杆，112
…
第二连杆，120
…
末端执行器，140
…
电流传感器，150
…
编码器，200
…
机器人控制器，300
…
信息处理装置，310
…
处理器，320
…
存储器，330
…
接口电路，340
…
输入设备，350
…
显示设备，400
…
摄像机，610
…
校准执行部，611
…
第一机器学习模型，612
…
第二机器学习模型，614
…
学习执行部，616
…
校正处理部，620
…
机器人控制执行部。
具体实施方式
[0018]A.第一实施方式：
[0019]图1是表示一个实施方式的机器人系统的一例的说明图。该机器人系统具备作为摄像机利用设备的机器人100、控制机器人100的机器人控制器200、信息处理装置300以及摄像机400。信息处理装置300例如是个人计算机。信息处理装置300向机器人控制器200发送控制指令。也可以将信息处理装置300称为“上位信息处理装置”。
[0020]机器人100具备机械臂110和末端执行器120。机械臂110具有第一连杆111和第二连杆112。末端执行器120能够被实现为把持工件的夹具或吸附垫。
[0021]机械臂110和末端执行器120通过关节J1～J3依次连接。但是，作为机器人100，可以使用具有具备多个关节的任意的机械臂机构的机器人。
[0022]摄像机400用于拍摄成为机器人100的作业对象的工件而对工件的位置、姿态进行识别。另外，摄像机400具有能够拍摄到机械臂110的足够大小的视野。作为摄像机400，可以使用二维的RGB摄像机，另外，也可以使用RGBD摄像机或单色摄像机。RGBD摄像机是具有RGB摄像机和D摄像机(深度摄像机)的摄像机。
[0023]图2是表示各种坐标系的关系的概念图。图2中描绘的坐标系如下。
[0024](1)机器人坐标系Σr
[0025]机器人坐标系Σr是将机器人100的预先确定的位置作为坐标原点的正交三维坐标系。
[0026](2)摄像机坐标系Σc
[0027]摄像机坐标系Σc是将摄像机400的预先确定的位置作为坐标原点的正交三维坐标系。
[0028](3)像素坐标系Σp
[0029]像素坐标系Σp是由摄像机400拍摄的图像的正交二维坐标系。
[0030]像素坐标系Σ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种校正方法，其特征在于，是针对机器人的摄像机的校正方法，所述校正方法包括：(a)使用学习完毕的第一机器学习模型并根据由所述摄像机拍摄的机械臂的图像来推定在所述机械臂上预先设定的多个特征点的像素坐标值的工序；(b)使用学习完毕的第二机器学习模型并根据所述多个特征点的所述像素坐标值来推定三维摄像机坐标系中的所述多个特征点的第一坐标值的工序；(c)使用所述机械臂的编码器值来计算三维机器人坐标系中的所述多个特征点的第二坐标值的工序；以及(d)针对所述机械臂的多个姿态执行所述工序(a)～(c)，使用所述多个姿态下的所述多个特征点的所述第一坐标值和所述第二坐标值来推定包含所述摄像机的外部参数的校正参数的工序。2.根据权利要求1所述的校正方法，其特征在于，所述多个特征点设定在所述机械臂的多个关节各自的中心位置。3.根据权利要求1所述的校正方法，其特征在于，所述工序(d)包括如下工序：每当针对所述机械臂的新的姿态而利用所述摄像机拍摄所述机械臂的图像时，通过进行使用了卡尔曼滤波器的观测更新来推定所述校正参数。4.根据权利要求1所述的校正方法，其特征在于，所述工序(b)包括如下工序：针对由所述第二机器学习模型得到的所述第一坐标值，进行使用了包含与所述机械臂相关的机械的制约条件的卡尔曼滤波器的观测更新，从而更新所述多个特征点的所述第一坐标值的推定值。5.一种校正系统，其特征在于，是执行针对机器人的摄像机的校正处理的系统，所述校正系统具备：摄像机，能够拍摄所述机器人的机械臂；以及校正处理...

【专利技术属性】
技术研发人员：佐藤彰展，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：