一种近距离机械臂感知与校准方法技术

本发明专利技术涉及尤其是一种近距离机械臂感知与校准方法，其包括如下步骤：步骤1、进行数据采集，所述采集的数据包括机器人的RGB图像和深度图像，并根据所采集的RGB图像、深度图像获取机械臂当前状态下每个轴关节的三维坐标；步骤2、利用步骤1中获取机器臂每个轴关节的三维坐标，构建多目标的感知校准神经网络；步骤3、利用上述的感知校准神经网络得到机器人位姿检测模型，利用机器人位姿检测模型，在输入机器人RGB图像时，能得到机器人关键点在图像中对应的像素点坐标以及关键点的深度值。本发明专利技术能在近距离范围内感知机械臂，并获取机械臂的三维位置以及位姿信息，满足机器人精细作业的要求。

A method of perception and calibration for short distance manipulator

【技术实现步骤摘要】
一种近距离机械臂感知与校准方法
本专利技术涉及一种感知与校准方法，尤其是一种近距离机械臂感知与校准方法，属于机械臂感知定位的

技术介绍
在工业化的流水线生产中，智能化机器人担任了非常重要的角色，机器人与机器人之间的交互及协同作业也越来越广泛。如工业化生产中两个机器人进行零件的传递，多机器人同时进行零件的装配或加工，机器人辅助人工进行作业等等。在大多数工业场景下，生产线上的机器人都是进行一些固定的动作，机器人的运动位置及关节角度都进行过精确校准，这样的机器人虽然能满足大规模的流水线作业需求，但缺乏智能性，一旦工作台位置发生偏移，或需要完成一项新的任务，则需要重新进行手动校准，无法满足未来工业中智能生产的要求。目前，机械臂的校准都是利用传统的视觉传感器和深度传感器得到目标物体的点云信息，但是机器人是个复杂的机械结构体，对机器人的关节进行识别和定位存在较大难度。传统的识别和标定方法是在目标物体上放置一个特定的标签，在图像中检测特定的标签来确定目标物体的位置，这种方法在视觉图像清晰，目标物体无遮挡的时候有较好的效果，但机器人动作灵活，位姿复杂，很容易造成目标点遮挡或偏移，影响识别的准确性。而采用通信设备和定位传感器对机器人进行定位也存在精度较差的问题，目前市场上精度最高的室内定位产品误差在10cm以内，这个精度无法满足机器人精细作业的要求。
技术实现思路
本专利技术的目的是克服现有技术中存在的不足，提供一种近距离机械臂感知与校准方法，其能在近距离范围内感知机械臂，并获取机械臂的三维位置以及位姿信息，满足机器人精细作业的要求。按照本专利技术提供的技术方案，一种近距离机械臂感知与校准方法，所述感知与校准方法包括如下步骤：步骤1、进行数据采集，采集的数据包括机器人的RGB图像和深度图像，并根据所采集的RGB图像、深度图像获取机械臂当前状态下每个轴关节的三维坐标；步骤2、利用步骤1中获取机械臂每个轴关节的三维坐标，构建多目标的感知校准神经网络，所述感知校准神经网络包括机器人检测网络以及关键点检测网络，机器人检测网络以RFBnet作为基础网络框架，关键点检测网络以Resnet34作为基础网络框架；对机器人检测网络，输入机器人的RGB图像能得到机器人的边界框，对关键点检测网络，输入机器人的深度图像以及机器人边界框能得到机器人上关键点的三维空间坐标；在训练感知校准神经网络时，采用边界框匹配作为机器人检测网络的损失函数，采用均方误差作为关键点检测网络的损失函数；步骤3、利用上述的感知校准神经网络得到机器人位姿检测模型，利用机器人位姿检测模型，在输入机器人RGB图像时，能得到机器人关键点在图像中对应的像素点坐标以及关键点的深度值。步骤1中，采集的数据包括真实世界数据以及仿真数据；在采集真实世界数据时，使用Kinect相机采集机器人的RGB图像以及深度图像，Kinect相机架设在机械臂前方，通过手眼校准确定机械臂座在相机坐标系下的三维坐标，同时获得机械臂在当前状态下的每个轴关节的角度，利用正向运动学方式确定每个轴关节在相机坐标系下的三维坐标；采集仿真数据时，利用仿真平台Webots按照真实环境搭建背景，并利用仿真环节中的GPS传感器获取世界坐标系下的三维坐标。关键点检测网络的检测的关键点为机器人基座、肩关节、肘关节、腕关节以及机器人手臂末端。本专利技术的优点：能在近距离范围内感知机械臂，并获取机械臂的三维位置以及位姿信息，满足机器人精细作业的要求。具体实施方式下面结合具体附图和实施例对本专利技术作进一步说明。为了能在近距离范围内感知机械臂，并获取机械臂的三维位置以及位姿信息，下面以珞石xb4机器人为例，对本专利技术的具体过程进行详细说明。具体地，本专利技术包含了数据采集和标定、构建深度学习神经网络、构建损失函数并进行训练三个部分。步骤1、进行数据采集，采集的数据包括机器人的RGB图像和深度图像，并根据所采集的RGB图像、深度图像获取机械臂当前状态下每个轴关节的三维坐标；本专利技术实施例中，采集的数据包括真实世界数据以及仿真数据；对于深度神经网络来说，数据集的质量和大小直接影响着训练结果的准确性。为了得到大量的数据集和准确的基本事实，本专利技术采用真实数据和仿真数据混合的方法，在真实世界和仿真环境中同时采集机械臂的图像，得到一个总共9000个样本的数据集，真实数据和仿真数据之比为1:2。如果只使用真实数据进行训练，数据集采集工作就会变得非常繁重和冗长，而只使用仿真数据的话，训练的结果只适用于仿真环境，输入真实世界的图像，结果就会变得不可预知。其中，采集真实世界数据有以下几个步骤：1、系统搭建：数据采集需要利用一台Kinect相机以及一台珞石xb4机器人，将Kinect相机架设在珞石xb4机器人前方1.2m-1.5m处（大于两个机械臂的工作范围），将机器人控制器和Kinect相机连接到一台pc（计算机），由pc统一控制机器人和Kinect相机。2、手眼校准：对机器人关键点进行标定的时候，所有的坐标信息都是在相机坐标系下描述的，手眼校准的研究内容就是确定机器人坐标系和相机坐标系之间的相对关系。手眼校准是通过在机器人末端放置标定板进行，Kinect相机会通过识别标定板进而计算出世界坐标系与相机坐标系之间的转换矩阵。具体方法在Github上有详细介绍。在Kinect相机与机器人位置都固定的情况下进行校准，校准结束之后即可进行数据采集。3、数据采集：在Kinect相机和机器人位置固定的情况下进行校准和数据采集。采集过程中对机器人进行编程，使机器人每个关节按照设定的步长运动，在机器人的每个姿态下，使用Kinect相机采集机器人的RGB图像和深度图像。并记录当前姿态下，机器人六个关节的转动角度。在采集3000张数据之后，移动Kinect相机，重新开始校准和采集，共采集五次，样本总计15000个。具体地，从机器人基座、腰部、大臂、小臂、腕部、末端依次分布的6个转动轴分别为轴1-轴6，珞石xb4机器人关节的运动步长与数据集大小有关，对机器人的五个关节设置相应的步长，来确保在规定的数据集大小内覆盖继机器人的大部分姿态。轴6在运动时机器人姿态不会发生变化，所以轴6不运动。同时我们缩小了每个关节的运动范围，排除了在实际的工作环境中机器人几乎不会出现一些极限动作。确定机器人五个轴的运动范围分别为轴1（-100°~+100°）、轴2（-120°~+80°）、轴3（-100°~+50°）、轴4（-120°~+120°）、轴5（-90°~+90°）。设置五个关节的步长分别为：25°、25°、25°、40°、30°，轴1产生8个动作，轴2产生8个动作，以此类推共产生13824个动作。真实数据集样本容量共15000，可以覆盖机器人的全部动作姿态。如果继续扩充数据集，可以适当减小关节步长，但需要保证数据集可以覆盖机器人的全部动作姿态。4、数据的标定。在获得机器人的图像之后，需要获取机器人关键点在相机下的坐标。因为在采集数据之前已经对相机进行校准，所本文档来自技高网...

【技术保护点】
1.一种近距离机械臂感知与校准方法，其特征是，所述感知与校准方法包括如下步骤：/n步骤1、进行数据采集，采集的数据包括机器人的RGB图像和深度图像，并根据所采集的RGB图像、深度图像获取机械臂当前状态下每个轴关节的三维坐标；/n步骤2、利用步骤1中获取机械臂每个轴关节的三维坐标，构建多目标的感知校准神经网络，所述感知校准神经网络包括机器人检测网络以及关键点检测网络，机器人检测网络以RFBnet作为基础网络框架，关键点检测网络以Resnet34作为基础网络框架；对机器人检测网络，输入机器人的RGB图像能得到机器人的边界框，对关键点检测网络，输入机器人的深度图像以及机器人边界框能得到机器人上关键点的三维空间坐标；/n在训练感知校准神经网络时，采用边界框匹配作为机器人检测网络的损失函数，采用均方误差作为关键点检测网络的损失函数；/n步骤3、利用上述的感知校准神经网络得到机器人位姿检测模型，利用机器人位姿检测模型，在输入机器人RGB图像时，能得到机器人关键点在图像中对应的像素点坐标以及关键点的深度值。/n

【技术特征摘要】
1.一种近距离机械臂感知与校准方法，其特征是，所述感知与校准方法包括如下步骤：
步骤1、进行数据采集，采集的数据包括机器人的RGB图像和深度图像，并根据所采集的RGB图像、深度图像获取机械臂当前状态下每个轴关节的三维坐标；
步骤2、利用步骤1中获取机械臂每个轴关节的三维坐标，构建多目标的感知校准神经网络，所述感知校准神经网络包括机器人检测网络以及关键点检测网络，机器人检测网络以RFBnet作为基础网络框架，关键点检测网络以Resnet34作为基础网络框架；对机器人检测网络，输入机器人的RGB图像能得到机器人的边界框，对关键点检测网络，输入机器人的深度图像以及机器人边界框能得到机器人上关键点的三维空间坐标；
在训练感知校准神经网络时，采用边界框匹配作为机器人检测网络的损失函数，采用均方误差作为关键点检测网络的损失函数；
步骤3、利用上述的感知校准神经网络得到机器人位姿检测模型，利用...

【专利技术属性】
技术研发人员：牛建伟，马群，李青锋，
申请(专利权)人：常州唯实智能物联创新中心有限公司，
类型：发明
国别省市：江苏;32