基于3D全景相机的离线标点方法技术

本申请实施例提出的基于3D全景相机的离线标点方法，包括以激光点云地图为基准建立参考坐标系；对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，建立包括激光点云、视觉点云和全景图片的一致性关联；基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，完成拍摄。相比于现有技术的人工操作，通过后台处理完成离线标定过程，结合图像模板匹配的方式完成现场点位验证，从而在整个过程中实现场景中设备、拍摄点等数据之间的相对关系的固定以及迁移，提升了整个方案对不同场景的适应能力以及采用该方案产品的智能化程度。的智能化程度。的智能化程度。

【技术实现步骤摘要】
基于3D全景相机的离线标点方法


[0001]本申请属于机器人图像融合领域，尤其涉及基于3D全景相机的离线标点方法。

技术介绍

[0002]随着变电站巡检移动机器人机体的普深入应用，对其智能化，实用化，及易用性有进一步的要求。对于移动机器人机体巡检点位，业界采用人工逐一单点示教的方法。通过将人为控制移动机器人机体运动到待巡检设备位置附近，调整云台相机的朝向，并通过观察图像调节最佳观测角度。再调整倍率进行图像的缩放，获取最佳设备的分辨率。变电站现场标点实施上构成了项目成本的极大比例。
[0003]对于变电站场景，建筑和设备的布局是有固定的国家标准的。可以应用这个场景不变性质来以上解决方案的不足。由此，提出一种可行的技术解决方案是，将移动机器人机体巡检场景的多源数据通过算法移动机器人机体统一于固定的场景几何信息。由于这个信息是不变的，可以由它来适配这个场景下使用的多源传感器，并将不同个甚至不同类型传感器上的数据作统一化的迁移。
[0004]目前，基于视觉图像的三维运动结构恢复structure from motion(SFM)技术取得快速发展。但是，传统的SFM没法重建场景的尺度信息。SFM得到的几何场景和真实场景之间差了一个7自由度的相似变换。这个重建结果的差异与使得其不能与移动机器人机体运动参考坐标系统一，SFM无法直接应用于移动机器人机体相关的技术。

技术实现思路

[0005]本申请实施例提出了基于3D全景相机的离线标点方法，用于获取延路径行进的机器人传感器与多个电力设备在空间内的相对位置关系，以便根据获取到的相对位置关系对云台相机的拍摄角度进行调整，从而完成拍摄任务。
[0006]具体的，本申请实施例提出的基于3D全景相机的离线标点方法，包括：
[0007]获取激光点云地图，以激光点云地图为基准建立参考坐标系；
[0008]在移动机器人机体上安装有包括激光雷达、云台相机以及全景相机在内的机器人传感器，对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，建立机器人传感器输出结果向参考坐标系中的映射关系；
[0009]获取全景相机拍摄的全景图片，结合移动机器人机体的导航定位信息完成全景图片与导航路径上定位信息的信息绑定；
[0010]对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联；
[0011]通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄。
[0012]可选的，所述在移动机器人机体上安装激光雷达、云台相机以及全景相机，对移动
机器人机体上各设备在参考坐标系中的坐标转换关系进行统一化处理，建立各设备输出结果向参考坐标系中的映射关系，包括：
[0013]加装全景相机后的移动机器人机体各传感器间的坐标关系；
[0014]通过外参数标定结果，将每一个传感器的观测转化到移动机器人机体车体坐标系中；
[0015]移动机器人机体的定位功能提供实时的车体坐标系在全局坐标系的相对关系。
[0016]可选的，所述获取全景相机拍摄的全景图片，结合移动机器人机体上安装的车体激光导航定位信息完成全景图片与导航路径上定位信息的绑定，包括：
[0017]获取了车体激光导航定位信息，每一张全景图与导航路径上的位置绑定，实现导航路径上的全景漫游。
[0018]可选的，所述对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联，包括：
[0019]将已标定的外参数进行变换，对每个相机每帧的姿态赋值；
[0020]对每帧图像进行特征点提取、特征点匹配、以及图像三角初始化的处理；
[0021]将姿态值作为迭代优化的初始值，考虑全景相机内部多个相机的外参数约束和移动机器人机体定位约束进行联合最小二乘优化。
[0022]可选的，所述通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄，包括：
[0023]在全景图上借助代表感兴趣区域的候选框选待拍摄的电力设备，利用该标注框和已知的一致性关联数据生成待拍摄设备的信息；
[0024]生成对应待拍摄的电力设备的模板图像。
[0025]可选的，所述生成对应待拍摄的电力设备的模板图像，包括：
[0026]将候选框的标注中心作为图像中心，设定图像的视角大小和云台高清相机的零倍率视角一致，基于全景图像相关区域的每个像素生成图像平面投影。
[0027]可选的，所述方法还包括：
[0028]将全景相机的球模型反投影到通过上一步SFM重建的空间几何场景，获取该标注的空间位置信息；
[0029]对框选的区域标注其唯一可辨识的设备名称，去解算拍摄所述电力设备时，移动机器人机体的临时停驻点。
[0030]可选的，所述生成对应待拍摄的电力设备的模板图像，包括：
[0031]找设备位置到巡检路径最近距离上的点作为停驻点，对临近的停驻点进行合并；
[0032]将之间距离小于m米的两个停驻点合并；
[0033]对路径上的所有停驻点遍历，应用递归的方式应用两点合并的方法进行融合，得到关于规划的巡检路线的一系列的停驻点信息。
[0034]可选的，所述停驻点，包括：
[0035]停驻点唯一标识索引；在规划路径上的位置信息；待巡检设备唯一标识索引。
[0036]可选的，所述方法还包括用到图像配准进行全图一致性验证的过程，具体包括：
[0037]提取特征点并进行特征点匹配；
[0038]由匹配的点计算单应矩阵，用单应将两个图片对齐，对齐图片的设备区域进行归一化互相关；
[0039]通过设定一个阈值，剔除不相似的图片。
[0040]本申请提供的技术方案带来的有益效果是：
[0041]通过后台处理完成离线标定过程，结合图像模板匹配的方式完成现场点位验证，从而在整个过程中实现场景中设备、拍摄点等数据之间的相对关系的固定以及迁移，提升了整个方案对不同场景的适应能力以及采用该方案产品的智能化程度。
附图说明
[0042]为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1为本申请实施例提出的基于3D全景相机的离线标点方法的流程示意图；
[0044]图2为本申请实施例提出的加装全景相机后的移动机器人结构；
[0045]图3为本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于3D全景相机的离线标点方法，其特征在于，所述离线标点方法包括：获取激光点云地图，以激光点云地图为基准建立参考坐标系；在移动机器人机体上安装有包括激光雷达、云台相机以及全景相机在内的机器人传感器，对机器人传感器在参考坐标系中的坐标转换关系进行统一化处理，建立机器人传感器输出结果向参考坐标系中的映射关系；获取全景相机拍摄的全景图片，结合移动机器人机体的导航定位信息完成全景图片与导航路径上定位信息的信息绑定；对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联；通过感兴趣区域候选框选定拍摄点位，基于已完成一致性关联的映射关系对云台相机的拍摄参数进行调节，进行电力设备的拍摄。2.根据权利要求1所述的基于3D全景相机的离线标点方法，其特征在于，所述在移动机器人机体上安装激光雷达、云台相机以及全景相机，对移动机器人机体上各设备在参考坐标系中的坐标转换关系进行统一化处理，建立各设备输出结果向参考坐标系中的映射关系，包括：加装全景相机后的移动机器人机体各传感器间的坐标关系；通过外参数标定结果，将每一个传感器的观测转化到移动机器人机体车体坐标系中；移动机器人机体的定位功能提供实时的车体坐标系在全局坐标系的相对关系。3.根据权利要求1所述的基于3D全景相机的离线标点方法，其特征在于，所述获取全景相机拍摄的全景图片，结合移动机器人机体上安装的车体激光导航定位信息完成全景图片与导航路径上定位信息的绑定，包括：获取了车体激光导航定位信息，每一张全景图与导航路径上的位置绑定，实现导航路径上的全景漫游。4.根据权利要求1所述的基于3D全景相机的离线标点方法，其特征在于，所述对全景相机拍摄的每幅图像进行姿态赋值，将得到的姿态值作为初始值进行用于场景恢复的迭代优化，将场景恢复后的全景相机的姿态与移动机器人机体定的姿态对齐，建立包括激光点云、视觉点云和全景图片的一致性关联，包括：将已标定的外参数进行变换，对每个相机每帧的姿态赋值；对每帧图像进行特征点提...

【专利技术属性】
技术研发人员：贺飏，兰骏，杨峰，李修亮，林文益，武诗洋，
申请(专利权)人：浙江国自机器人技术股份有限公司，
类型：发明
国别省市：