【技术实现步骤摘要】
基于激光雷达和双目相机数据融合的衬板装配系统及方法
本公开属于衬板装配
，涉及一种基于激光雷达和双目相机数据融合的衬板装配系统及方法。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。近年来，重载机械臂在全球工业领域中的重型工件装配以及重型装备的维护作业等方面愈发呈现出不可替代的作用，在矿山冶金等领域更是成为大负载作业效率提升、生产安全保障、人工成本降低等重大需求的核心必备装备。同时，国内外也普遍缺乏领域相关的高性能大负载特种机器人，其集成、制造与测试一体化解决方案极为匮乏，相关研究极为不足，液压重载机械臂视觉伺服等关键技术尚未取得重大突破，严重制约了重载机械臂的发展。
技术实现思路
本公开为了解决上述问题，提出了一种基于激光雷达和双目相机数据融合的衬板装配系统及方法，本公开能够自动完成衬板的装配，节约了大量人工。根据一些实施例，本公开采用如下技术方案：一种基于激光雷达和双目相机数据融合的衬板装配系统，包括：激光雷达、双目相机、磨机内部环境建...
【技术保护点】
1.一种基于激光雷达和双目相机数据融合的衬板装配系统，其特征是：包括：激光雷达、双目相机、磨机内部环境建模模块、衬板抓举模块和衬板装配模块，其中：/n所述激光雷达设置于重载机械臂的前端，被配置为能够跟随机械臂进入磨机内部，获取磨机内部实时点云；/n所述双目相机设置于重载机械臂的前端，被配置为获取包含衬板信息的深度图像；/n所述磨机内部环境建模模块，被配置为获取激光雷达的实时点云数据，进行校准，得到不同帧下经过校准的实时点云集，拼接出实时的磨机内部的三维点云，并进行点云配准，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云；通过模板匹配从三维点云模型中进行分割，并拟...
【技术特征摘要】
1.一种基于激光雷达和双目相机数据融合的衬板装配系统，其特征是：包括：激光雷达、双目相机、磨机内部环境建模模块、衬板抓举模块和衬板装配模块，其中：
所述激光雷达设置于重载机械臂的前端，被配置为能够跟随机械臂进入磨机内部，获取磨机内部实时点云；
所述双目相机设置于重载机械臂的前端，被配置为获取包含衬板信息的深度图像；
所述磨机内部环境建模模块，被配置为获取激光雷达的实时点云数据，进行校准，得到不同帧下经过校准的实时点云集，拼接出实时的磨机内部的三维点云，并进行点云配准，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云；通过模板匹配从三维点云模型中进行分割，并拟合衬板的待装配区域，得出待装配区域的世界坐标系坐标；
所述衬板抓举模块，被配置为获取重载机械臂抵达抓举衬板区域时采集到的深度图像，进行图像预处理，提取出衬板的耳部的精确区域，解算出耳部位姿，以供机械臂基于耳部位姿信息抓举衬板；
衬板装配模块，被配置为通过提取磨机内部环境建模模块确定的位姿信息，估计衬板的实时位姿信息，结合衬板抓举模块确定的耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。
2.如权利要求1所述的一种基于激光雷达和双目相机数据融合的衬板装配系统，其特征是：所述磨机内部环境建模模块、所述衬板抓举模块与衬板装配模块通信，且三个模块均与重载机械臂的工控机通信。
3.一种基于激光雷达和双目相机数据融合的衬板装配方法，其特征是：包括：
获取包含衬板的图像数据，以及进入磨机内部时获取的实时点云数据；
对获取激光雷达的实时点云数据进行校准，得到不同帧下经过校准的实时点云集，拼接出实时的磨机内部的三维点云，并进行点云配准，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云；通过模板匹配从三维点云模型中进行分割，并拟合衬板的待装配区域，得出待装配区域的世界坐标系坐标；
根据重载机械臂抵达抓举衬板区域时采集到的深度图像，进行图像预处理，提取出衬板的耳部的精确区域，解算出耳部位姿，以供机械臂基于耳部位姿信息抓举衬板；
利用确定的位姿信息，估计衬板的实时位姿信息，结合耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。
4.如权利要求3所述的一种基于激...
【专利技术属性】
技术研发人员：宋锐，何萱，王新立，李凤鸣，王伟，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。