【技术实现步骤摘要】
本专利技术涉及到三维视觉和机器人领域，重点涉及到雷达与相机融合的三维视觉对建筑结构的裂缝损伤的三维重建、空间定位以及局部高精度测量，特别是一种基于雷达与相机融合的三维裂缝检测方法与机器人系统。
技术介绍
1、土木基础设施是保障一个国家经济长期稳定发展的有力支撑，对其进行定期检查和维护对预防灾难性事故至关重要。受限于建筑材料自身性能，大部分基础设施在服役期内都处于带裂缝工作状态。而部分基础设施因所处相对恶劣的工作坏境以及承受日趋增大的荷载作用，裂缝的萌生和发展迅速，导致其使用寿命大幅缩短甚至直接诱发严重安全事故。对于关键受力裂缝，进行裂缝的定量识别、定期检测或长期监测，可以揭示结构受力机理、评估结构安全性。因此，裂缝的自动化检测成为自动化结构健康检测的一个重要分支，而具有智能感知能力的巡检机器人更是其中最重要的课题之一。据调查和研究，目前国内外的裂缝检测工作主要由人工方法完成。人工方法采用人眼定位判别、手工描绘等方式识别裂缝并记录其分布与形状，采用游标卡尺、裂缝显微镜等工具测量裂缝的宽度。实践证明，人工损伤检查准确性差、主观性强、容易造成遗漏与错误。
2、基于计算机视觉方法的裂缝识别研究集中于裂缝图片的分类、检测与分割任务，已取得较大进展。但是只有图片提供的裂缝的二维特征在测量方面是有局限性的，比如数字图像的成像变形主要由透视变换(投射投影)造成，裂缝成像近大远小，影响对裂缝真实形状的判断以及裂缝宽度的准确计算。为此，我们研制了一种基于雷达与相机融合的三维裂缝检测方法与机器人系统。
技术实现
1、本专利技术的目的所要解决的技术问题是要提供一种基于雷达与相机融合的三维裂缝检测方法，它包括以下步骤：
2、步骤一，采用相机标定得到深度相机的内参矩阵和畸变系数；
3、步骤二，根据相机参数，对相机和激光雷达做外参校准，得到相机与雷达的坐标系转换关系；
4、步骤三，对相机和机械臂进行手眼标定，得到相机和机器人坐标系的转换关系；
5、步骤四，训练针对裂缝的deeplabv3+语义分割网络模型，在相机与雷达数据融合的三维点云中对裂缝进行三维检测；并将定位到的裂缝坐标转换到机器人坐标系下；
6、步骤五，再通过最小二乘法计算机械臂姿态，指导机械臂前往测量点，使用深度相机对裂缝进行高精度三维重建，采集rgb图和深度图以及目标的点云数据；
7、步骤六，采集的点云数据通过cloudcompare软件读取裂缝宽度等尺寸。
8、所述步骤一中相机内参标定对深度相机的rgb模块进行标定，得到相机的内参矩阵和畸变系数。
9、所述步骤二中相机雷达外参标定是根据步骤一的相机内参，对相机和雷达做外参校准，得到雷达与相机坐标系的旋转平移矩阵。
10、所述步骤三中的手眼标定得到像素坐标系到机械臂坐标系的转换矩阵；
11、所述步骤四中先采用测量姿态规划根据上一步得到的裂缝三维检测结果，计算裂缝定位点的法线，从而规划机械臂的测量姿态。裂缝空间识别与定位；再根据雷达与相机的外参关系，在融合数据的三维场景中识别定位裂缝；通过语义分割网络训练，训练针对裂缝的deeplabv3+语义分割网络模型。
12、所述步骤六中完成测量机械臂按照定位和规划的轨迹将深度相机送至裂缝正上方，对裂缝完成高精度三维重建与测量。
13、本专利技术还提供一种基于雷达与相机融合的三维裂缝检的测机器人系统，它包括深度相机、固态激光雷达、机械臂、控制系统和履带式移动平台；所述的机械臂和收集箱设置在履带式移动平台上，所述深度相机和固态激光雷达固定在机械臂末端，所述的控制系统分别与机械臂、深度相机、固态激光雷达连接。
14、本专利技术同
技术介绍
相比存在的效果是：采用上述的技术方案，通过雷达与相机数据融合获得高质量的三维感知(重建)，结合了图像丰富的语义信息和雷达稳定、高精度的深度信息，克服了二维检测方法无法定位裂缝和丢失深度信息的缺点。机械臂的轨迹规划也提高了系统的自动化程度，可以节约人工成本，提高检测效率。该装置可以节省人力，并且可以在三维场景中识别和定位裂缝，最终获得高精度的裂缝宽度测量。
【技术保护点】
1.一种基于雷达与相机融合的三维裂缝检测方法，其特征在于：它包括以下步骤：
2.根据权利要求1所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤一中相机内参标定对深度相机的RGB模块进行标定，得到相机的内参矩阵和畸变系数。
3.根据权利要求2所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤二中相机雷达外参标定是根据步骤一的相机内参，对相机和雷达做外参校准，得到雷达与相机坐标系的旋转平移矩阵。
4.根据权利要求3所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤三中的手眼标定得到像素坐标系到机械臂坐标系的转换矩阵。
5.根据权利要求4所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤四中先采用测量姿态规划根据上一步得到的裂缝三维检测结果，计算裂缝定位点的法线，从而规划机械臂的测量姿态。裂缝空间识别与定位；再根据雷达与相机的外参关系，在融合数据的三维场景中识别定位裂缝；通过语义分割网络训练，训练针对裂缝的DeeplabV3+语义分割网络模型。
6.根据权利要求5所述的
7.一种基于雷达与相机融合的三维裂缝检测的机器人系统，其特征在于：它包括深度相机、固态激光雷达、机械臂、控制系统和履带式移动平台；所述的机械臂和收集箱设置在履带式移动平台上，所述深度相机和固态激光雷达固定在机械臂末端，所述的控制系统分别与机械臂、深度相机、固态激光雷达连接。
...【技术特征摘要】
1.一种基于雷达与相机融合的三维裂缝检测方法，其特征在于：它包括以下步骤：
2.根据权利要求1所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤一中相机内参标定对深度相机的rgb模块进行标定，得到相机的内参矩阵和畸变系数。
3.根据权利要求2所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤二中相机雷达外参标定是根据步骤一的相机内参，对相机和雷达做外参校准，得到雷达与相机坐标系的旋转平移矩阵。
4.根据权利要求3所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤三中的手眼标定得到像素坐标系到机械臂坐标系的转换矩阵。
5.根据权利要求4所述的基于雷达与相机融合的三维裂缝检测方法，其特征在于：所述步骤四中先采用测量姿态规划根...
【专利技术属性】
技术研发人员：胡柯炜，刘宇平，冯旭明，黄榕敏，鲁德大，邵珊，刘福平，邹湘军，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。