打胶机器人的视觉引导方法、装置和系统制造方法及图纸

本申请实施例提供了打胶机器人的视觉引导方法、装置和系统，涉及打胶设备技术领域，该视觉引导方法通过获取三维点云传感器发送的打胶区域的三维点云数据集合，将三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成打胶区域基于相机坐标系的中间打胶轨迹；基于相机坐标系和机器人坐标系之间的相对位置关系，将相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；根据最终打胶轨迹引导机械臂对打胶区域进行打胶。本申请能够精准识别出打胶区域的打胶点对应的打胶轨迹，实现机器人打胶时的打胶轨迹的精准规划，有利于提高打胶质量。

Vision guidance method, device and system of dispensing robot

【技术实现步骤摘要】
打胶机器人的视觉引导方法、装置和系统
本申请涉及打胶设备
，具体而言，本申请涉及一种打胶机器人的视觉引导方法、装置和系统，还涉及一种存储介质。
技术介绍
随着人工智能技术的发展，机器人已在多个行业中得到广泛应用。例如，结构件与结构件之间的打胶粘结可以通过建筑配构件收口打胶机器人(下面称“打胶机器人”)来进行。打胶机器人的工作方式可以为：首先由BIM(BuildingInformationModel，建筑信息模型系统)提供地图，打胶机器人携带的激光雷达提供定位服务，打胶机器人自动导航到预定工位。打胶机器人到达预定工位后，请求视觉服务器开启视觉精确定位导引服务，引导机械臂末端执行器精确完成打胶作业。当前打胶机器人的六关节机械臂的定位方式主要通过2D相机和3D线激光轮廓传感器来实现。然而，2D相机虽然具有硬件成本低，算法成熟等优点，但只适用于固定平面的定位，无法满足建筑配构件收口打胶机器人三维空间定位的场景需求；3D线激光轮廓传感器具有定位精度高、可昼夜工作、算法成熟、鲁棒性强等优点，但3D线激光轮廓传感器每次拍摄只有一条激光线的图像信息，信息量小，难以及时准确地识别打胶点，从而影响打胶质量。
技术实现思路
本申请的目的旨在至少解决上述技术缺陷之一，特别是打胶点识别准确率低，影响打胶质量的问题。第一方面，本申请实施例提供一种打胶机器人的视觉引导方法，包括以下步骤：S1、获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；S2、基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；S3、根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。在一实施例中，所述步骤S1之前还包括：比较所述三维地图模型中参考打胶轨迹的尺寸和所述三维点云传感器的视野范围；当所述参考打胶轨迹的尺寸大于所述三维点云传感器视野范围下的情况下，基于所述三维点云传感器的视野范围将所述参考打胶轨迹划所在打胶区域划分为若干个子打胶区域；所述步骤S1包括：至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合，将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹，将所述子中间打胶轨迹拼接为中间打胶轨迹。在一实施例中，所述比较所述三维地图模型中参考打胶轨迹的尺寸范围和点云传感器的视野范围步骤之后，还包括：获取所述三维地图模型中预先标注的参考打胶轨迹的线型信息；当所述参考打胶轨迹为曲线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取三维点云传感器发送的每个子打胶区域的子三维点云数据；当所述参考打胶轨迹为直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取起始子打胶区域的子点云数据集合和终止子打胶区域的子点云数据集合。在一实施例中，当所述参考打胶轨迹为弯折直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：分别获取起始子打胶区域、弯折子打胶区域和终止子打胶区域的子点云数据集合。在一实施例中，所述获取所述三维地图模型中预先标注的参考打胶轨迹线型信息的步骤包括：获取打胶机器人在所述三维地图模型中的位置信息；根据所述打胶机器人在所述三维地图模型中的位置信息判断打胶轨迹是曲线型还是直线型打胶轨迹。在一实施例中，所述至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合的步骤包括：判断是否接收到三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据；当没有接收到起始子打胶区域的子三维点云数据时，移动三维点云传感器到下一个子打胶区域获取子三维点云数据；当没有接收到终止子打胶区域的子三维点云数据时，移动三维点云传感器到上一个子打胶区域获取子三维点云数据。在一实施例中，所述将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹的步骤包括：判断子点云数据是否匹配到三维地图模型中参考打胶轨迹的终点；如果匹配成功，终止获取下一个子打胶区域的子三维点云数据；如果没有匹配成功，继续获取下一个子打胶区域的子三维点云数据。在一实施例中，所述比较所述三维地图模型中参考打胶轨迹的尺寸范围和点云传感器的视野范围步骤之前，还包括：获取打胶机器人在所述三维地图模型中的位置信息；根据所述打胶机器人在所述三维地图模型中的位置信息获取所述三维地图模型中参考打胶轨迹的尺寸范围。在一实施例中，所述步骤S1之前，还包括：当打胶机器人靠近所述打胶区域，控制机械臂控制器发出高电平脉冲电信号，以触发所述三维点云传感器采集所述打胶区域的点云数据集合。在一实施例中，所述步骤S3包括：在控制所述机械臂控制器触发所述三维点云传感器采集所述打胶区域的点云数据集合的同时，获取机械臂末端执行器的当前位姿；基于所述当前位姿，向机械臂控制器输出控制指令以控制移动所述机械臂末端执行器沿着所述最终打胶轨迹，以对所述打胶区域进行打胶。在一实施例中，在步骤S2之前，还包括：获取固定靶标的基于相机坐标系的点云信息；调整机械臂的姿态，在不同机械臂的姿态下拍摄所述固定靶标，获得在不同姿态下的机器人末端执行器位姿；根据所述点云信息和所述机器人末端执行器位姿进行手眼标定，确定所述相机坐标系和所述机器人坐标系之间的相对位置关系。第二方面，本申请实施例还提供一种打胶机器人的视觉引导装置，包括：中间打胶轨迹生成模块，用于获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；最终打胶轨迹转换模块，用于基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；打胶引导模块，用于根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。第三方面，本申请实施例还提供一种打胶机器人的视觉引导系统，包括：三维点云传感器以及后台服务器；所述三维点云传感器，用于采集打胶区域的基于相机坐标系的点云数据集合并发送至所述后台服务器；所述后台服务器，用于执行如第一方面任一实施例所述的打胶机器人的视觉引导方法的步骤。第四方面，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面任一实施例所述的打胶机器人的视觉引导方法的步骤。上述实施例提供的打胶机器人的视觉引导方法、装置、系统及存储介质，通过获取三维点云传感本文档来自技高网...

【技术保护点】
1.一种打胶机器人的视觉引导方法，其特征在于，包括：/nS1、获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；/nS2、基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；/nS3、根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。/n

【技术特征摘要】
1.一种打胶机器人的视觉引导方法，其特征在于，包括：
S1、获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；
S2、基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；
S3、根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。


2.根据权利要求1所述方法，其特征在于，所述步骤S1之前还包括：
比较所述三维地图模型中参考打胶轨迹的尺寸和所述三维点云传感器的视野范围；
当所述参考打胶轨迹的尺寸大于所述三维点云传感器视野范围下的情况下，基于所述三维点云传感器的视野范围将所述参考打胶轨迹划所在打胶区域划分为若干个子打胶区域；
所述步骤S1包括：
至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合，将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹，将所述子中间打胶轨迹拼接为中间打胶轨迹。


3.根据权利要求2所述方法，其特征在于，所述比较所述三维地图模型中参考打胶轨迹的尺寸范围和点云传感器的视野范围步骤之后，还包括：
获取所述三维地图模型中预先标注的参考打胶轨迹的线型信息；
当所述参考打胶轨迹为曲线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取三维点云传感器发送的每个子打胶区域的子三维点云数据；
当所述参考打胶轨迹为直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取起始子打胶区域的子点云数据集合和终止子打胶区域的子点云数据集合。


4.根据权利要求3所述方法，其特征在于，当所述参考打胶轨迹为弯折直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：分别获取起始子打胶区域、弯折子打胶区域和终止子打胶区域的子点云数据集合。


5.据权利要求3所述的打胶机器人的视觉引导方法，其特征在于，所述获取所述三维地图模型中预先标注的参考打胶轨迹线型信息的步骤包括：
获取打胶机器人在所述三维地图模型中的位置信息；
根据所述打胶机器人在所述三维地图模型中的位置信息判断打胶轨迹是曲线型还是直线型打胶轨迹。


6.据权利要求2所述的打胶机器人的视觉引导方法，其特征在于，所述至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合的步骤包括：
判断是否接收到三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据；
当没有接收到起始子打胶区域的子三维点云数据时，移动三维点云传感器到下一个子打胶区域获取子三维点云数据；
当没有接收到终止子打胶区域的子三维点云数据时，移动三维点云传感器到上一个子打胶区域...

【专利技术属性】
技术研发人员：叶志伟，陈加添，吴海鹏，王宏哲，
申请(专利权)人：广东博智林机器人有限公司，
类型：发明
国别省市：广东;44