一种基于视觉算法的机器人巡检点位智能配置方法技术

一种基于视觉算法的机器人巡检点位智能配置方法，可解决目前配置巡检点位的方式采用人工配置、成本高且效率低的技术问题。包括以下步骤：获取巡检机器人的初始数据；控制巡检机器人按照设定规则运动；在巡检机器人运动过程中，获取相机所拍摄的每一帧图像进行拼接得到配电柜面全景图，利用深度模型进行目标检测，得到配电柜上状态指示设备的像素坐标并计算该坐标与图像中心的差值，利用离线标定的伺服数据将像素坐标转换为设备在机器人运动坐标系下位于视频中心的脉冲坐标；显示检测出的状态指示设备信息及对应的脉冲坐标，并人工核查。本发明专利技术可提升配电房巡检机器人配点的智能化程度、降低人工成本和提升实施效率。

An intelligent configuration method of robot inspection points based on vision algorithm

【技术实现步骤摘要】
一种基于视觉算法的机器人巡检点位智能配置方法
本专利技术涉及智能机器人
，具体涉及一种基于视觉算法的机器人巡检点位智能配置方法。
技术介绍
随着"泛在电力物联网"的发展，电力智能化产品越来越受青睐。配电房智能挂柜式巡检机器人解决了运维人员一站一人的资源投入，提高了配电房的数字化程度和全方位监控的智能化水平。该该智能机器人可设置巡检周期，且巡检报告实时传递到监控室。若发现设备存在隐患，工作人员便能第一时间通过后台报警发现问题并及时排查故障。实现上述功能的前提是需要预先配置每个待识别设备的巡检点位，目前配置巡检点位的方式基本上采用人工配置，即人为控制机器人到每一个待识别设备的对面，通过高清视频观察设备并微调机器人使得设备居于视频中间，保存此时机器人的位姿。若配置300个设备的巡检点位，一个工程师需要进行勘察、遥控机器人、输入点位名称、保存点位信息等操作，需要10小时左右，人力成本较高且效率较低，而智能配点只需2小时左右即可完成。本专利技术涉及到的术语解释：配点：机器人在自主巡检之前需要预先设置巡检点位，配置好后机器人才能按照这些预设点位进行自主巡检。伺服标定数据：将图像单位像素转换为脉冲的比例数据，如利用该数据可将2000个像素转换为3000脉冲。
技术实现思路
本专利技术提出的一种基于视觉算法的机器人巡检点位智能配置方法，可解决目前配置巡检点位的方式基本上采用人工配置，成本较高效率较低的技术问题。为实现上述目的，本专利技术采用了以下技术方案：一种基于视觉算法的机器人巡检点位智能配置方法，基于配电站房挂轨式巡检机器人，所述配电站房挂轨式巡检机器人上设置相机，机器人在运行过程中，相机以时间间隔T进行拍照，对配电站房挂轨式巡检机器人的配点步骤如下：S100、获取巡检机器人的初始数据；S200、控制巡检机器人按照设定规则运动；S300、在巡检机器人运动过程中，获取相机所拍摄的每一帧图像进行拼接得到配电柜面全景图，利用深度模型进行目标检测，得到配电柜上状态指示设备的像素坐标；S400、利用离线标定的伺服数据将像素坐标转换为设备在机器人运动坐标系下位于视频中心的脉冲坐标；S500、显示检测出的状态指示设备信息及对应的脉冲坐标，并人工核查。进一步的，所述S100中的巡检机器人的初始数据包括：机器人的始末位置P1和P2。进一步的，所述步骤S200中的巡检机器人的运动规则包括机器人的水平移动距离w、竖直升降的距离h及运动速度V。进一步的，所述步骤S300中的深度模型的建立步骤包括训练阶段和测试阶段；其中训练阶段步骤包括：Step1.1、收集各类状态指示设备的高清样本，每类样本为N张，70％用于训练，30％用于验证；Step1.2、对每类样本进行标注，采用VOC格式进行矩形框标记；Step1.3、对样本进行图像增强处理方式进行样本扩充，使得测试样本增加到原来的5倍；Step1.4、设置参数并基于目标检测算法训练模型进行训练，得到模型M；其中测试阶段步骤包括：Step2.1、对验证样本同样进行增强，扩充到原来的3倍；Step2.2、读入每一张验证样本及其标签，调用模型M进行预测和评估，输出每张验证图的效果图、每类设备的平均精度和识别时间；Step2.3、根据测试结果，制定调参策略，继续训练和测试，得到设定精度则结束，输出设定模型供在线检测调用。进一步的，所述步骤S300中获取相机所拍摄的每一帧图像进行拼接得到配电柜面全景图，具体步骤如下：Step3.1.1对于前后两帧图像I1、I2，分别进行SURF(SpeededUpRobustFeatures)特征点提取，得到对应点集S1和S2；Step3.1.2对点集S1和S2进行匹配，采用K-近邻算法(KNN)和双向匹配对S1和S2进行筛选，提取优质匹配点对S1’和S2’；Step3.1.3利用随机采样一致性算法(RANSAC)计算得到投影矩阵H21，利用式(1)将后一帧图像I2投影到前一帧图像I1空间得到转换后I2’；I2’＝H21*I2(1)Step3.1.4计算到图像I1、I2中最强的匹配点对所在的位置，通过投影矩阵H得到图像I2的最强匹配点在I2’中的位置，衔接两幅图像得到拼接后的图像I；并利用I2’和H21记录I中对应于I1、I2拼接部分的图像索引Ij1、Ij2，即Ij1＝{Iroi|R1’(X＝xI,Y＝yI,W＝wI,H＝hI，Pw＝pw,Ph＝ph)，R1(X＝xI1,Y＝yI1,W＝wI1,H＝hI1，Pw＝pw1,Ph＝ph1)}(2)Ij2＝{Iroi|R2’(X＝xI,Y＝yI,W＝wI,H＝hI，Pw＝pw,Ph＝ph)，R2(X＝xI2,Y＝yI2,W＝wI2,H＝hI2，Pw＝pw2,Ph＝ph2)}(3)其中，R图像区域，R中的X、Y、W、H分别为图像的水平像素坐标、垂直像素坐标、像素宽度和像素高度，Pw和Ph为拍图像时机器人的水平、垂直脉冲值。R’为R拼接后的区域；Step3.1.5在机器人拍到第三幅图像I3后，采用Step3.1.1至Step3.1.4的拼接方法，对图像I和I3进行拼接，即每次新拍图进一步拼接到前次已拼接的图上；Step3.1.6机器人运行过程中持续拍图，重复Step3.1.1至Step3.1.5，不断将下一帧图像拼入，并进行整柜判断，判断方法如下：Step3.1.6.1将RGB图像Irgb转换到HSV空间得到图像Ihsv，根据采样的柜面HSV值，对Ihsv进行二值化处理，得到分离出柜面区域的二值化图像Ibin，白色区域为柜面，非柜面区域为黑色；Step3.1.6.2对Ibin进行形态学开运算以去除噪声、消除小物体，统计白色像素面积是否在整个柜面的面积阈值范围内，且该部分区域在继续拼接过程中面积增加小于阈值，则认为整个柜面已被分割出来，得到拼接完成的信息，包括整张柜面图IA及对应的索引图像信息集合Ij＝{Ij1，Ij2，...，Ijn}其中，n为检索图像总数；Step3.1.7对IA进行待识别设备检测；利用模型M，采用目标检测算法进行识别，得到每个设备的识别信息：D＝{d1，d2，...，dm|di＝{xi,yi,ci},i＝1,2,3,....,m}(4)其中，m为所识别出的设备总数，x、y为设备中心的水平和垂直像素坐标，c为设备的类别。进一步的，所述步骤S400中利用离线标定的伺服数据将像素坐标转换为设备在机器人运动坐标系下位于视频中心的脉冲坐标；具体步骤包括：Step4.1根据每个设备的识别信息di在Ij中搜索所述区域，并根据索引将di的坐标转换到拼接前的图像坐标中得到属于原图的设备坐标：D’＝{d1’，d2’，...，dm’|di’＝{xi’,yi’,ci’},i＝1,2,3,....,m}(5)Step4.本文档来自技高网...

【技术保护点】
1.一种基于视觉算法的机器人巡检点位智能配置方法，基于配电站房挂轨式巡检机器人，所述配电站房挂轨式巡检机器人上设置相机，机器人在运行过程中，相机以时间间隔T进行拍照，其特征在于：对配电站房挂轨式巡检机器人的配点步骤如下：/nS100、获取巡检机器人的初始数据；/nS200、控制巡检机器人按照设定规则运动；/nS300、在巡检机器人运动过程中，获取相机所拍摄的每一帧图像进行拼接得到配电柜面全景图，利用深度模型进行目标检测，得到配电柜上状态指示设备的像素坐标；/nS400、利用离线标定的伺服数据将像素坐标转换为设备在机器人运动坐标系下位于视频中心的脉冲坐标；/nS500、显示检测出的状态指示设备信息及对应的脉冲坐标，并人工核查。/n

【技术特征摘要】
1.一种基于视觉算法的机器人巡检点位智能配置方法，基于配电站房挂轨式巡检机器人，所述配电站房挂轨式巡检机器人上设置相机，机器人在运行过程中，相机以时间间隔T进行拍照，其特征在于：对配电站房挂轨式巡检机器人的配点步骤如下：
S100、获取巡检机器人的初始数据；
S200、控制巡检机器人按照设定规则运动；
S300、在巡检机器人运动过程中，获取相机所拍摄的每一帧图像进行拼接得到配电柜面全景图，利用深度模型进行目标检测，得到配电柜上状态指示设备的像素坐标；
S400、利用离线标定的伺服数据将像素坐标转换为设备在机器人运动坐标系下位于视频中心的脉冲坐标；
S500、显示检测出的状态指示设备信息及对应的脉冲坐标，并人工核查。


2.根据权利要求1所述的基于视觉算法的机器人巡检点位智能配置方法，其特征在于：
所述S100中的巡检机器人的初始数据包括：机器人的始末位置P1和P2。


3.根据权利要求1所述的基于视觉算法的机器人巡检点位智能配置方法，其特征在于：
所述步骤S200中的巡检机器人的运动规则包括机器人的水平移动距离w、竖直升降的距离h及运动速度V。


4.根据权利要求1所述的基于视觉算法的机器人巡检点位智能配置方法，其特征在于：所述步骤S300中的深度模型的建立步骤包括训练阶段和测试阶段；
其中训练阶段步骤包括：
Step1.1、收集各类状态指示设备的高清样本，每类样本为N张，70％用于训练，30％用于验证；
Step1.2、对每类样本进行标注，采用VOC格式进行矩形框标记；
Step1.3、对样本进行图像增强处理方式进行样本扩充，使得测试样本增加到原来的5倍；
Step1.4、设置参数并基于目标检测算法训练模型进行训练，得到模型M；
其中测试阶段步骤包括：
Step2.1、对验证样本同样进行增强，扩充到原来的3倍；
Step2.2、读入每一张验证样本及其标签，调用模型M进行预测和评估，输出每张验证图的效果图、每类设备的平均精度和识别时间；
Step2.3、根据测试结果，制定调参策略，继续训练和测试，得到设定精度则结束，输出设定模型供在线检测调用。


5.根据权利要求4所述的基于视觉算法的机器人巡检点位智能配置方法，其特征在于：所述步骤S300中获取相机所拍摄的每一帧图像进行拼接得到配电柜面全景图，具体步骤如下：
Step3.1.1对于前后两帧图像I1、I2，分别进行SURF(SpeededUpRobustFeatures)特征点提取，得到对应点集S1和S2；
Step3.1.2对点集S1和S2进行匹配，采用K-近邻算法(KNN)和双向匹配对S1和S2进行筛选，提取优质匹配点对S1’和S2’；
Step3.1.3利用随机采样一致性算法(RANSAC)计算得到投影矩阵H21，利用式(1)将后一帧图像I2投影到前一帧图像I1空间得到转换后I2’；
I2’＝H21*I2(1)
Step3.1.4计算到图像I1、I2中最强的匹配点对所在的位置，通过投影矩阵H得到图像I2的最强匹配点在I2’中的位置，衔接两幅图像得到拼接后的图像I；并利用I2’和H21记录I中对应于I1、I2拼接部分的图像索引Ij1、Ij2，即
Ij1＝{Iroi|R1’(X＝xI,Y＝yI,W＝wI,H＝hI，Pw＝pw,Ph＝ph)，R1(X＝xI1,Y＝yI1,W＝wI1,H＝hI1，P...

【专利技术属性】
技术研发人员：章海兵，吴道平，胡浩行，许志瑜，
申请(专利权)人：合肥科大智能机器人技术有限公司，科大智能科技股份有限公司，科大智能电气技术有限公司，
类型：发明
国别省市：安徽;34