基于深度相机的智能化铺砖实现方法及装置、铺砖机器人制造方法及图纸

本发明专利技术公开了基于深度相机的智能化铺砖实现方法及装置、铺砖机器人，该方法包括：获取深度相机采集到的铺砖区域图像，对铺砖区域图像进行分析得到图像分析结果，并根据图像分析结果判断铺砖区域图像中是否包括铺砖标记线得到判断结果；获取与判断结果相匹配的铺砖信息确定方式并基于铺砖信息确定方式确定待铺设砖块对应的中心点信息；根据待铺设砖块对应的中心点信息控制机械手执行铺砖操作。可见，本发明专利技术能够基于安装有机械手和深度相机的铺砖机器人实现智能化铺砖，有利于提高铺砖效率及铺砖精度；此外，还能够根据铺砖标记线识别结果匹配铺砖信息确定方式，有利于提高铺砖信息的确定效率及准确性，进而有利于进一步提高铺砖效率及铺砖精度。铺砖效率及铺砖精度。铺砖效率及铺砖精度。

【技术实现步骤摘要】
基于深度相机的智能化铺砖实现方法及装置、铺砖机器人


[0001]本专利技术涉及智能铺砖机器人
，尤其涉及一种基于深度相机的智能化铺砖实现方法及装置、铺砖机器人。

技术介绍

[0002]园林通体砖铺贴是一项户外项目，需要按照制定好的铺贴计划在相应区域完成铺砖，且其对铺砖精度及铺砖效率均有一定的要求。目前，业界园林通体砖铺贴大都数靠人工实现，人工铺砖存在铺砖效率低的问题，此外，由于铺贴质量受人工自身经验与技术的影响较大，人工铺砖也存在铺砖精度低的问题。
[0003]可见，如何提供一种智能化的铺砖方法以提高铺砖效率及铺砖精度显得尤为重要。

技术实现思路

[0004]本专利技术提供了一种基于深度相机的智能化铺砖实现方法及装置、铺砖机器人，能够基于铺砖机器人上安装的深度相机及机械手实现智能化、自动化铺砖，有利于提高铺砖效率及铺砖精度。
[0005]本专利技术第一方面公开了一种基于深度相机的智能化铺砖实现方法，所述方法应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述方法包括：
[0006]获取所述深度相机采集到的铺砖区域图像，对所述铺砖区域图像进行分析，得到图像分析结果，并根据所述图像分析结果判断所述铺砖区域图像中是否包括铺砖标记线，得到判断结果；
[0007]获取与所述判断结果相匹配的铺砖信息确定方式，并基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息；
[0008]根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作。
[0009]作为一种可选的实施方式，在本专利技术第一方面中，所述基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息，包括：
[0010]基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息；
[0011]以及，所述根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作，包括：
[0012]根据所述待铺设砖块对应的中心点信息，生成所述机械手对应的铺砖控制参数，并基于所述铺砖控制参数控制所述机械手执行所述待铺设砖块对应的铺砖操作。
[0013]作为一种可选的实施方式，在本专利技术第一方面中，当所述判断结果表示采集到的所述铺砖区域图像包括所述铺砖标记线时，所述铺砖信息确定方式为基于所述铺砖标记线
的看线铺砖方式；
[0014]当所述判断结果表示采集到的所述铺砖区域图像未包括所述铺砖标记线时，所述铺砖信息确定方式为基于已铺设砖块的看砖铺砖方式。
[0015]作为一种可选的实施方式，在本专利技术第一方面中，所述基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息，包括：
[0016]当所述铺砖信息确定方式为所述看砖铺砖方式时，基于所述铺砖区域图像识别所述深度相机的视野采集范围内的所有已铺设砖块；
[0017]对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息；
[0018]根据所有所述砖角点对应的坐标信息，将所有所述已铺设砖块对应的目标矩形框的四个砖角点拟合成目标平面，并将所有所述砖角点按照法向量垂直投射至所述目标平面，得到所有所述砖角点在所述目标平面上的所有投影砖角点；
[0019]对于每个所述已铺设砖块，根据对应的四个投影砖角点按照横向、纵向拟合出对应的网格，并根据铺砖规划计算出待铺设砖块的位置编号；
[0020]根据所述位置编号以及拟合出的所有所述网格确定与所述位置编号相匹配的两条目标横向直线以及两条目标纵向直线，根据两条所述目标横向直线与两条所述目标纵向直线确定出所述待铺设砖块的四个目标砖角点，基于四个所述目标砖角点确定所述待铺设砖块的中心点，以所述待铺设砖块的中心点为原点、以横向为X轴、以纵向为Y轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息。
[0021]作为一种可选的实施方式，在本专利技术第一方面中，所述对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息，包括：
[0022]对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程，并将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩色相机坐标系，得到映射结果，根据由落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成的平面方程以及所述映射结果确定该已铺设砖块对应的目标矩形框的四个砖角点对应的坐标信息。
[0023]作为一种可选的实施方式，在本专利技术第一方面中，所述对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，包括：
[0024]基于确定出的变换矩阵将所述深度相机获取到的所有点云转换至彩色相机坐标系中，得到每个所述点云在所述彩色相机坐标系中所对应的坐标点；
[0025]基于预先确定出的转换公式，将所有所述点云在所述彩色相机坐标系中所对应的坐标点转换至像素坐标系中，得到所有所述点云在所述像素坐标系中对应的坐标点；
[0026]对于每个所述已铺设砖块，从所有所述点云在所述像素坐标系中对应的坐标点中识别出位于该已铺设砖块对应的目标矩形框内所有目标坐标点，作为落入到该已铺设砖块对应的目标矩形框中的所有目标点云。
[0027]作为一种可选的实施方式，在本专利技术第一方面中，对于每个所述已铺设砖块，该已铺设砖块对应的目标矩形框是根据针对该已铺设砖块确定出的砖角点确定出的，且针对该已铺设砖块确定出的砖角点是通过以下方式确定出的：
[0028]基于该已铺设砖块所在的位置确定初始矩形框，根据预先确定出的预设距离值以及预设宽度值分别在该初始矩形框的每条边生成对应的子矩形框，其中，所述预设距离值为每个所述子矩形框距离所述初始矩形框的顶点的距离值，所述预设宽度值为每个所述子矩形框的宽度；
[0029]在每个所述子矩形框内分别识别该已铺设砖块的边界上的若干边界点，并基于识别到的每条所述边界上的若干边界点拟合成每条所述边界对应的直线；
[0030]延伸该已铺设砖块的所有所述边界对应的直线，得到所有所述边界对应的直线的延伸交点，将所有所述边界对应的直线的延伸交点确定为该已铺设砖块对应的目标矩形框的砖角点。
[0031]作为一种可选的实施方式，在本专利技术第一方面中，所述基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息，包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机的智能化铺砖实现方法，其特征在于，所述方法应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述方法包括：获取所述深度相机采集到的铺砖区域图像，对所述铺砖区域图像进行分析，得到图像分析结果，并根据所述图像分析结果判断所述铺砖区域图像中是否包括铺砖标记线，得到判断结果；获取与所述判断结果相匹配的铺砖信息确定方式，并基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息；根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作。2.根据权利要求1所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息，包括：基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息；以及，所述根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作，包括：根据所述待铺设砖块对应的中心点信息，生成所述机械手对应的铺砖控制参数，并基于所述铺砖控制参数控制所述机械手执行所述待铺设砖块对应的铺砖操作。3.根据权利要求2所述的基于深度相机的智能化铺砖实现方法，其特征在于，当所述判断结果表示采集到的所述铺砖区域图像包括所述铺砖标记线时，所述铺砖信息确定方式为基于所述铺砖标记线的看线铺砖方式；当所述判断结果表示采集到的所述铺砖区域图像未包括所述铺砖标记线时，所述铺砖信息确定方式为基于已铺设砖块的看砖铺砖方式。4.根据权利要求3所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息，包括：当所述铺砖信息确定方式为所述看砖铺砖方式时，基于所述铺砖区域图像识别所述深度相机的视野采集范围内的所有已铺设砖块；对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息；根据所有所述砖角点对应的坐标信息，将所有所述已铺设砖块对应的目标矩形框的四个砖角点拟合成目标平面，并将所有所述砖角点按照法向量垂直投射至所述目标平面，得到所有所述砖角点在所述目标平面上的所有投影砖角点；对于每个所述已铺设砖块，根据对应的四个投影砖角点按照横向、纵向拟合出对应的网格，并根据铺砖规划计算出待铺设砖块的位置编号；根据所述位置编号以及拟合出的所有所述网格确定与所述位置编号相匹配的两条目标横向直线以及两条目标纵向直线，根据两条所述目标横向直线与两条所述目标纵向直线确定出所述待铺设砖块的四个目标砖角点，基于四个所述目标砖角点确定所述待铺设砖块
的中心点，以所述待铺设砖块的中心点为原点、以横向为X轴、以纵向为Y轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息。5.根据权利要求4所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息，包括：对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程，并将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩色相机坐标系，得到映射结果，根据由落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成的平面方程以及所述映射结果确定该已铺设砖块对应的目标矩形框的四个砖角点对应的坐标信息。6.根据权利要求5所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，包括：基于确定出的变换矩阵将所...

【专利技术属性】
技术研发人员：黄以恺，赵争兵，黄舜勇，孙妍，
申请(专利权)人：广东博智林机器人有限公司，
类型：发明
国别省市：