一种基于三维重建的机器人碳块清理方法技术

本发明专利技术公开了一种基于三维重建的机器人碳块清理方法，方法包括：由深度相机采集传送带上N个碳块的图片和三维坐标数据；由激光雷达采集碳块的三维坐标数据；对图片进行预处理得到图像数据，输入预先训练好的碳块识别模型，得到每个碳块的识别结果，并由此得到每个碳块的碳碗区域和凹槽区域；将上述三维坐标数据进行拼接得到稠密三维坐标数据；并据此进行碳块实时三维重建，得到N个碳块的三维模型，由此得到碳块表面三维坐标，并计算出每个面的法向量；通过SLAM技术对碳块进行追踪定位，得到每个碳块在传送带上的实时位置量；根据实时位置量及碳块表面的法向量进行运动轨迹规划，控制机械臂对碳块进行侧表面、上表面和内部凹槽的清理操作。的清理操作。的清理操作。

【技术实现步骤摘要】
一种基于三维重建的机器人碳块清理方法


[0001]本专利技术涉及碳块清理领域，尤其涉及一种基于三维重建的机器人碳块清理方法。

技术介绍

[0002]目前现有技术有传统的手工清除碳块表面粘附很多填充料，碳块清理工人需要手持刮刀对碳块表面附着的残留物进行清理，对工人的操作技术有一定的要求，当填充料粘附比较紧时，刮刀难以清理，造成碳块清理效果不理想。还有一种机械设备是具备多层刮刀的清理机，它的机架顶部的两侧分别设有与碳块行进方向相垂直的导轨，该导轨之间滑动装配有相对设置的侧部刮刀组件，机架底部沿碳块行进方向装配有并列设置的多个底部刮刀组件。
[0003]目前现有技术有人工清除碳块表面附着残留物，由人工通过特制铁铲清理碳块碳碗粘连的碳粒，再用压缩空气吹走，致使阳极焙烧车间中弥漫大量粉尘，工作环境恶劣，给工作人员身体健康带来很大危害。恶劣工作的环境、高强度的工作量，导致人员流动性大，经常由临时工人操作，带来安全隐患。手工碳块表面清理，不仅效率比较低，而且清理效果相对较差。如当填充料粘附比较紧时，手工极难清理。由于碳块上表面四个碳碗形状复杂，要高效率全自动的清理碳碗内粘连的碳粒具有一定技术难度，对设备自动化程度具有较高的要求，具备多层刮刀的清理机，实现产品批量操作，提高清理效率。并且随着环保要求的提高，伴随劳动力缺乏的现状，相关企业都迫切需求能自动清理碳块表面的设备其能够与设备串联一起生产，不影响生产效率，并且可以满足生产要求的清理效果。
[0004]清理机和阳极焙烧车间实际生产遇见的现状结合后期改进而成，其先采用压辊机构进行预压破碎，而后再采用多个刮刀机构进行刮削清理，因此即保护了碳块具备良好的完整性，还很大程度减少了刮刀的损耗。
[0005]缩略语和关键术语定义
[0006]碳块：也称阳极碳块或铝电解用碳阳极，它是指以石油焦、沥青焦为骨料，煤沥青为黏结剂生产的碳块，用作预焙铝电解槽做阳极材料。这种碳块已经过焙烧，具有稳定的几何形状。
[0007]SLAM技术：英文全称simultaneous localization and mapping，即时定位与地图构建，或并发建图与定位。它可以解释为在未知的环境中机器人通过自身所携带的内部传感器(编码器、IMU等)和外部传感器(激光传感器或者视觉传感器)来对自身进行定位，并在定位的基础上利用外部传感器获取的环境信息增量式的构建环境地图。
[0008]3D视觉技术：由相机组成立体视觉系统的被动3D视觉技术、通过相机捕捉投射的激光图像实现立体测量的激光3D扫描技术、利用投影机通过结构光编码技术实现3D视角重建过程的结构光3D扫描技术、通过LED发射高频光信号，并根据信号从发射到返回的时间差来实现距离测量的TOF相机技术等。其中单目3D视觉技术结构简单但精度低；而双目和多目3D视觉技术精度较高，但算法和结构相对复杂；激光3D技术速度快，但受到激光散斑缺陷的限制，很难达到较高的精度。结构光3D技术精度高、速度快，却无法用于透明、黑色或强反射
表面。TOF相机技术速度快、精度较高，但成本相对较高。当下，被动3D、激光3D和结构光3D视觉技术的发展较为成熟，并被广泛应用。
[0009]结构光法：是根据投影光束形态的不同，结构光法又可分为光点式结构光法、光条式结构光法和光面式结构光法等。目前广泛应用在深度测量中，具有明显优势的面结构光测量法将各种模式的面结构投影到被测物体上，如将分布较密集的均匀光栅投影到被测物体上面，由于被测物体表面凹凸不平，具有不同的深度，所以表面反射回来的光栅条纹会随着表面不同的深度发生畸变，这个过程看作是由物体表面的深度信息对光栅的条纹进行调制。被测物体的表面信息被调制在反射回来的光栅之中，并通过被测物体反射回来的光栅与参考光栅之间的几何关系，分析得到每一个被测点之间的高度差和深度信息。
[0010]三维重建：是基于对环境或者物体的一系列不同角度的照片，通过一系列的处理，获得环境或物体的三维模型.处理过程：提取图像特征、利用特征将图像计算图像之间的特征匹配、基于匹配的特征进行稀疏重建得到各个图像的相机位姿和稀疏的特征点云、基于相机位姿进行稠密重建得到稠密点云、基于点云重建网格得到检测物体的三维模型。
[0011]稠密点云：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，形成产品外观表面的点数据集合，即稠密点云。
[0012]深度相机：利用将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。深度相机利用的结构光法不依赖于物体本身的颜色和纹理，采用了主动投影已知图案的方法来实现快速鲁棒的匹配特征点，能够达到较高的精度，也大大扩展了适用范围。

技术实现思路

[0013]本专利技术的目的在于克服现有技术缺陷，提出了一种基于三维重建的机器人碳块清理方法。
[0014]本专利技术提出里一种基于三维重建的机器人碳块清理方法，所述方法包括：
[0015]由深度相机采集传送带上N个碳块的图片和三维坐标数据；
[0016]由激光雷达采集传送带上N个碳块的三维坐标数据；
[0017]对N个碳块的图片进行预处理得到图像数据，输入预先训练好的碳块识别模型，得到每一个碳块的识别结果，并由此得到每个碳块的碳碗区域和凹槽区域；
[0018]将深度相机采集的三维坐标数据与激光雷达采集的三维坐标数据进行拼接得到稠密三维坐标数据；
[0019]基于稠密三维坐标数据进行碳块的实时三维重建，得到N个碳块的三维模型，由此得到N个碳块的表面三维坐标，并计算出每个碳块表面每个面的法向量；
[0020]通过SLAM技术对传送带上每个碳块进行追踪定位，得到每个碳块在传送带上的实时位置量；
[0021]根据每个碳块在传送带上的实时位置量以及碳块表面的法向量进行运动轨迹规划，控制机械臂对碳块依次进行侧表面、上表面和内部凹槽的清理操作。
[0022]作为上述方法的一种改进，所述预处理为对图片尺寸进行修改，得到固定长宽尺寸的图像数据。
[0023]作为上述方法的一种改进，所述碳块识别模型的输入为碳块的图像数据，输出为碳块识别结果，该碳块识别模型由卷积层、RPN层和Proposal层组成；其中，
[0024]所述卷积层包括4个block，3
×
3卷积核，滑动步长为1，激活函数为ReLU函数，池化窗口为5
×
5；
[0025]所述RPN层由1个3
×
3卷积核，以及并联的第一分支和第二分支组成，第一分支用于通过softmax函数得到anchors区域为正负的分类，第二分支用于计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维重建的机器人碳块清理方法，所述方法包括：由深度相机采集传送带上N个碳块的图片和三维坐标数据；由激光雷达采集传送带上N个碳块的三维坐标数据；对N个碳块的图片进行预处理得到图像数据，输入预先训练好的碳块识别模型，得到每一个碳块的识别结果，并由此得到每个碳块的碳碗区域和凹槽区域；将深度相机采集的三维坐标数据与激光雷达采集的三维坐标数据进行拼接得到稠密三维坐标数据；基于稠密三维坐标数据进行碳块的实时三维重建，得到N个碳块的三维模型，由此得到N个碳块的表面三维坐标，并计算出每个碳块表面每个面的法向量；通过SLAM技术对传送带上每个碳块进行追踪定位，得到每个碳块在传送带上的实时位置量；根据每个碳块在传送带上的实时位置量以及碳块表面的法向量进行运动轨迹规划，控制机械臂对碳块依次进行侧表面、上表面和内部凹槽的清理操作。2.根据权利要求1所述的基于三维重建的机器人碳块清理方法，其特征在于，所述预处理为对图片尺寸进行修改，得到固定长宽尺寸的图像数据。3.根据权利要求2所述的基于三维重建的机器人碳块清理方法，其特征在于，所述碳块识别模型的输入为碳块的图像数据，输出为碳块识别结果，该碳块识别模型由卷积层、RPN层和Proposal层组成；其中，所述卷积层包括4个block，3
×
3卷积核，滑动步长为1，激活函数为ReLU函数，池化窗口为5
×
5；所述RPN层由1个3
×
3卷积核，以及并联的第一分支和第二分支组成，第一分支用于通过softmax函数得到anchors区域为正负的分类，第二分支用于计算候选框的边框回归偏移量；所述Proposal层，用于综合anchors区域为正分类和对应候选框的边框回归偏移量获取候选区域，同时剔除候选框与标注框相交面积小于第一阈值以及超出边界的候选区域，再挑选正分类分数大于第二阈值的候选框，从而得到碳块的识别结果。4.根据权利要求3所述的基于三维重建的机器人碳块清理方法，其特征在于，所述方法还包括对碳块识别模型进行训练的步骤，具体包括：对采集的图片进行预处理，得到固定长宽尺寸的图像数据，选取部分图像数据进行人工标注作为训练集，另一部分图像数据作为测试集；将训练集数据输入碳块识别模型；通过调整学习率，进行训练直到准确指标最高，得到训练好的碳块识别模型；将测试集输入训练好的碳块识别模型完成验证。5.根据权利...

【专利技术属性】
技术研发人员：孙银健，张友权，容桂淦，辛梓，陈凯，岳彩卫，于明华，李龙，余成建，陈洪，陈仁，
申请(专利权)人：北京瓦特曼科技有限公司，
类型：发明
国别省市：