基于实时三维环境重建的电力机器人作业方法及相关设备技术

本申请实施例公开了一种基于实时三维环境重建的电力机器人作业方法及相关设备。方法包括：通过双目相机采集当前图像帧；获取当前图像帧中各像素点的深度信息；提取当前图像帧的特征点；根据特征点以及深度信息将当前图像帧与预设关键帧队列中的关键帧进行匹配，得到匹配结果；根据匹配结果更新与目标工作空间对应的三维地图；对三维地图进行场景渲染处理，得到目标三维空间模型；在机器人操控设备中显示电力机器人在目标三维空间模型中的当前环境信息，使得用户根据显示的当前环境信息控制机器人操控设备发出操作指令，操作指令用于控制电力机器人进行作业操作。通过本方案可实时进行三维环境重建，缩短作业时长，提高三维空间模型精度等。间模型精度等。间模型精度等。

【技术实现步骤摘要】
基于实时三维环境重建的电力机器人作业方法及相关设备


[0001]本申请涉及三维环境重建
，尤其涉及一种基于实时三维环境重建的电力机器人作业方法及相关设备。

技术介绍

[0002]电力机器人在高空作业过程中，由于实际环境的复杂多变且不规律性，会出现许多难以预知的情况，需要工作人员在地面端通过遥操作调整斗臂车或者控制机器人及时做出对应措施。传统的遥操作方式通过可见光图像凭借人为感觉来进行，由于相机返回的图像只是三维空间的二维投影，单从图像上人工无法解决因为视角等引起的尺度混淆，因此无法做出正确的决策。为了解决这一问题，大多数电力机器人在机身安装多线高精度激光雷达对整个作业场景提前进行扫描重建，并将重建后的场景作为预模板，在实际作业中，根据扫描的结果与现场情况进行对比观察，进而做出预判调整。然而这种方法存在以下问题：
[0003]1.需提前一天进行，使得整套作业过程非常耗时；
[0004]2.多线高精度激光雷达非常昂贵，三维环境重建成本高；
[0005]3.激光雷达只关注较大的物体，导致重建场景细节丢失。

技术实现思路

[0006]本申请实施例提供了一种基于实时三维环境重建的电力机器人作业方法及相关设备，可以解决现有技术中存在的作业耗时、三维环境重建成本高一级重建场景细节丢失的问题。
[0007]第一方面，本申请实施例提供了一种基于实时三维环境重建的电力机器人作业方法，其包括：
[0008]所述方法应用于室外电力作业系统中的控制器，所述室外电力作业系统还包括电力机器人、机器人操控设备以及安装在所述电力机器人上的双目相机，所述方法包括：
[0009]根据预设脚本控制所述双目相机对目标工作空间进行地图构建运动，并通过所述双目相机根据预设的采集频率采集当前图像帧；
[0010]针对所述当前图像帧中的各像素点，根据所述双目相机预设的标定参数及所述像素点对应的相机视差确定所述像素点的深度信息；
[0011]提取所述当前图像帧的特征点；
[0012]根据所述特征点以及所述深度信息将所述当前图像帧与预设关键帧队列中的关键帧进行匹配，得到匹配结果；
[0013]根据所述匹配结果更新与所述目标工作空间对应的三维地图，所述三维地图为根据历史图像帧构建得到的三维地图，所述历史图像帧为所述双目相机在获取所述当前图像帧之前获取到的图像帧；
[0014]若所述双目相机未停止所述地图构建运动，则返回执行所述根据预设脚本控制所述双目相机对目标工作空间进行地图构建运动，并通过所述双目相机根据预设的采集频率
采集当前图像帧步骤；
[0015]若所述双目相机停止所述地图构建运动，则对所述三维地图进行场景渲染处理，得到目标三维空间模型；
[0016]在所述机器人操控设备中显示所述电力机器人在所述目标三维空间模型中的当前环境信息，使得用户根据显示的所述当前环境信息控制所述机器人操控设备发出操作指令，所述操作指令用于控制所述电力机器人进行作业操作。
[0017]第二方面，本申请实施例还提供了一种控制器，所述控制器采用第一方面中的方法进行控制。
[0018]第三方面，本申请实施例还提供了一种基于实时三维环境重建的电力机器人作业装置，所述装置集成于室外电力作业系统中的控制器，所述室外电力作业系统还包括电力机器人、机器人操控设备以及安装在所述电力机器人上的双目相机，所述装置包括：
[0019]收发单元，用于根据预设脚本控制所述双目相机对目标工作空间进行地图构建运动，并通过所述双目相机根据预设的采集频率采集当前图像帧；
[0020]处理单元，用于针对所述当前图像帧中的各像素点，根据所述双目相机预设的标定参数及所述像素点对应的相机视差确定所述像素点的深度信息；提取所述当前图像帧的特征点；根据所述特征点以及所述深度信息将所述当前图像帧与预设关键帧队列中的关键帧进行匹配，得到匹配结果；根据所述匹配结果更新与所述目标工作空间对应的三维地图，所述三维地图为根据历史图像帧构建得到的三维地图，所述历史图像帧为所述双目相机在获取所述当前图像帧之前获取到的图像帧；若所述双目相机未停止所述地图构建运动，则返回执行所述根据预设脚本控制所述双目相机对目标工作空间进行地图构建运动，并通过所述双目相机根据预设的采集频率采集当前图像帧步骤；若所述双目相机停止所述地图构建运动，则对所述三维地图进行场景渲染处理，得到目标三维空间模型；在所述机器人操控设备中显示所述电力机器人在所述目标三维空间模型中的当前环境信息，使得用户根据显示的所述当前环境信息控制所述机器人操控设备发出操作指令，所述操作指令用于控制所述电力机器人进行作业操作。
[0021]第四方面，本申请实施例还提供了一种电子设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
[0022]第五方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
[0023]本申请实施例提供了一种基于实时三维环境重建的电力机器人作业方法及相关设备。其中，所述方法应用于室外电力作业系统中的控制器，所述室外电力作业系统还包括电力机器人、机器人操控设备以及安装在所述电力机器人上的双目相机，所述方法包括：根据预设脚本控制所述双目相机对目标工作空间进行地图构建运动，并通过所述双目相机根据预设的采集频率采集当前图像帧；并针对所述当前图像帧中的各像素点，根据所述双目相机预设的标定参数及所述像素点对应的相机视差确定所述像素点的深度信息；提取所述当前图像帧的特征点；根据所述特征点以及所述深度信息将所述当前图像帧与预设关键帧队列中的关键帧进行匹配，得到匹配结果；根据所述匹配结果更新与所述目标工作空间对应的三维地图，所述三维地图为根据历史图像帧构建得到的三维地图，所述历史图像帧为
所述双目相机在获取所述当前图像帧之前获取到的图像帧；若所述双目相机停止所述地图构建运动，则对所述三维地图进行场景渲染处理，得到目标三维空间模型；在所述机器人操控设备中显示所述电力机器人在所述目标三维空间模型中的当前环境信息，使得用户根据显示的所述当前环境信息控制所述机器人操控设备发出操作指令，所述操作指令用于控制所述电力机器人进行作业操作。可见，第一方面，通过本实施例可以在电力机器人作业时通过设置在电力机器人上的双目相机实时构建三维空间模型，实现实时的三维环境重建，缩短作业时长；第二方面，本实施例只需在电力机器人上设置双目相机，便可通过双目相机获取到到的图像进行三维环境重建，相对于使用多线高精度激光雷达进行三维环境重建，本方案降低了进行三维环境重建的成本；第三方面，本实施例基于采集到的图像进行像素级的三维环境重建，避免细节丢失，提高了三维空间模型精度。
附图说明
[0024]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时三维环境重建的电力机器人作业方法，其特征在于，所述方法应用于室外电力作业系统中的控制器，所述室外电力作业系统还包括电力机器人、机器人操控设备以及安装在所述电力机器人上的双目相机，所述方法包括：根据预设脚本控制所述双目相机对目标工作空间进行地图构建运动，并通过所述双目相机根据预设的采集频率采集当前图像帧；针对所述当前图像帧中的各像素点，根据所述双目相机预设的标定参数及所述像素点对应的相机视差确定所述像素点的深度信息；提取所述当前图像帧的特征点；根据所述特征点以及所述深度信息将所述当前图像帧与预设关键帧队列中的关键帧进行匹配，得到匹配结果；根据所述匹配结果更新与所述目标工作空间对应的三维地图，所述三维地图为根据历史图像帧构建得到的三维地图，所述历史图像帧为所述双目相机在获取所述当前图像帧之前获取到的图像帧；若所述双目相机未停止所述地图构建运动，则返回执行所述根据预设脚本控制所述双目相机对目标工作空间进行地图构建运动，并通过所述双目相机根据预设的采集频率采集当前图像帧步骤；若所述双目相机停止所述地图构建运动，则对所述三维地图进行场景渲染处理，得到目标三维空间模型；在所述机器人操控设备中显示所述电力机器人在所述目标三维空间模型中的当前环境信息，使得用户根据显示的所述当前环境信息控制所述机器人操控设备发出操作指令，所述操作指令用于控制所述电力机器人进行作业操作。2.根据权利要求1所述的方法，其特征在于，所述根据所述特征点以及所述深度信息将所述当前图像帧与预设关键帧队列中的关键帧进行匹配，得到匹配结果之后，所述方法还包括：当所述当前图像帧符合预设的关键帧添加条件时，将所述当前图像帧添加至所述预设关键帧队列中。3.根据权利要求2所述的方法，其特征在于，所述将所述当前图像帧添加至所述预设关键帧队列中之前，所述方法还包括：判断局部建图线程是否空闲，所述局部建图线程用于在更新所述三维地图时，对所述三维地图进行局部BA优化处理；所述将所述当前图像帧添加至所述...

【专利技术属性】
技术研发人员：孙琰，王志强，施永刚，陈志忠，雷思宇，于洪涛，张航，李刚，耿建宇，闫旭，李雪峰，杨钧砚，杜伟，姜泓杉，杜英杰，张凯，何昊，韩冬，
申请(专利权)人：国网吉林省电力有限公司长春供电公司，
类型：发明
国别省市：