一种巡检机器人不停车的巡检方法技术

本发明专利技术提供一种巡检机器人不停车的巡检方法，包括以下步骤：对拍摄存在目标物的视频流中每一帧都进行目标检测得到一系列“合格帧”；对拍摄的视频流实时画面，计算图像二阶导数的方差，得到画面模糊程度，调节云台对焦参数；Blur＝E(ΔG

【技术实现步骤摘要】
一种巡检机器人不停车的巡检方法


[0001]本专利技术涉及一种巡检机器人不停车的巡检方法。

技术介绍

[0002]目前在移动机器人巡检巡逻的业务场景中，通过预先规划巡检路径，部署目标的相对位置，让机器人到达预设坐标，停下来，执行巡检任务，完成后再导航至下一任务点,这样存在以下问题：
[0003](1)需要预先设定巡检路径和巡检点，在变电站和公安场景下，巡检点数量成千上万，部署巡检点是一项非常耗时耗人力的工作，增加了巡检运维的成本；
[0004](2)对于每个巡检任务点，机器人都需要停下，定点拍摄目标，任务执行的效率及流畅度非常有限；
[0005](3)部署阶段，预设的巡检点是相对于巡检机器人的坐标位置，由于机器人的定位误差以及云台调节位姿的运动误差，通过相对位置拍摄目标物的可靠性低，通常会出现拍不到或拍不全目标物的情况，影响最终的巡检质量；
[0006](4)定点拍摄不可避免环境光线变化的影响，不具备调整角度拍摄的灵活性。

技术实现思路

[0007]为解决以上技术问题，本专利技术提供了一种巡检机器人采集及处理目标物图像的方法，是通过如下方案实现的。
[0008]一种巡检机器人不停车的巡检方法，包括以下步骤：
[0009]对拍摄存在目标物的视频流中每一帧都进行目标检测得到一系列“合格帧”；
[0010]对拍摄的视频流实时画面，计算图像二阶导数的方差，得到画面模糊程度，调节云台对焦参数；
[0011]Blur＝E(ΔG
‑
E(ΔG))2[0012][0013]其中，以拉普拉斯算子作为卷积核卷积图像得到二阶导数；设置Blur阈值，对焦参数从小到大调节，将对焦参数调节至Blur阈值后输出；
[0014]将一系列合格帧提取图像深度特征，与模板图进行特征匹配，并且对其计算模糊度Blur，其中，匹配特征点数大于15的画面帧，且Score满足大于4，Blur大于500，判定为最优采集图像。
[0015]进一步地，在目标检测时，进行以下步骤：
[0016]拍摄的视频流中每一帧都进行目标检测，若所拍摄的视频流中为存在确定目标物的视频流，则采用的检测模型为yolov5进行检测,若所拍摄的视频流中为存在新增类别的目标物的视频流，则采用的检测模型为主体检测模型结合特征匹配进行检测，在画面图像的坐标bbox:[x,y,w,h]和置信度conf；
[0017]基于目标物在画面图像的坐标和置信度conf，计算检测结果得分Score
[0018]Score＝e
conf
+e
IOU
[0019][0020]若Score大于3，判定当前帧为合格帧，保存到合格帧序列里；
[0021]若Score等于2，则降低云台焦距倍率，再次计算检测结果得分Score，若云台焦距倍率调节至最小，Score还是等于2，视为不及格帧；
[0022]若Score大于2小于3，计算检测框与画面中心的偏移量，依据偏移量微调云台位姿，计算检测框与画面占比IOU，依据IOU增大云台焦距倍率，后再次进行计算检测结果得分Score。
[0023]进一步地，采用D2
‑
Net模型进行提取图像深度特征。
[0024]进一步地，在拍摄的视频流前，需要对巡检点进行部署得到目标物的坐标点；部署步骤如下：
[0025]人为操控机器人到巡检现场，在每个巡检点的最佳观测点，采集巡检目标的模板图，记录巡检点与机器人的距离Z，已知，目标物在模板图的像素坐标M:[u,v,1]、机器人当前坐标P:[α,β,γ]，可计算得到巡检目标物在地图的实际坐标：T:[X
w
,Y
w
,Z
w
,1]：
[0026][0027]其中，R
t
为云台相机外参，减去了机器人的偏转角，K为云台相机内参，可以根据云台倍率查询视场张角FOV
h
和FOV
v
，计算得到：
[0028][0029][0030][0031][0032][0033]其中W和H为云台相机的横竖分辨率，因此可以得到目标物坐标T:[X
w
,Y
w
,Z
w
,1]：
[0034][0035]进一步地，在拍摄的视频流前，需要对巡检点进行部署得到目标物的坐标点；部署步骤如下：采用激光雷达和深度相机对巡检场景扫描，得到巡检场景的点云数据和深度图
像数据；用三维地图重建软件，从点云数据和深度图像数据中构建得到巡检场景的三维地图模型；数字孪生技术根据三维地图模型构建得到巡检场景的数字模型，称为数字孪生体，内包含现场所有物体的数字模型和物理信息；在巡检场景的数字孪生体中，用鼠标点击目标的中心，完整框选目标物，即可得到目标在地图的坐标T:[Xw,Yw,Zw,1]。
[0036]本专利技术的有益效果在于：
[0037]本专利技术中，在对一个目标点采集相应视频后，巡检机器人直接前往下一个目标点，在前往过程中，采用环境感知和目标检索的视频流分析技术对上一个目标点获取的视频流进行处理以获取高质量巡检图像，这样的过程可以实现机器人不停车巡检，大幅提高巡检巡逻效率。
[0038]本专利技术采用灵活可靠的目标检测算法，对于事先明确的巡检目标，训练目标检测模型，计算目标物特征向量；对于不确定的巡检目标，在部署任务时框定目标物，算法通过计算新目标的特征，保存到特征库，执行期间，通过特征相似度计算，快速实现新目标的检测与识别。对于事先不能确定的目标物，检测算法具备快速的特征学习能力。
[0039]再者，基于视频分析技术，结合目标检测和环境感知，在视频流中采集高质量图像，既能有效避免环境光线变化的影响，又能实现动态地采集图像，提高效率。
具体实施方式
[0040]以下结合实施例对本专利技术作进一步的阐述，所述的实施例仅为本专利技术一部分的实施例，这些实施例仅用于解释本专利技术，对本专利技术的范围并不构成任何限制。
[0041]本专利技术提供一种巡检机器人不停车的巡检方法，包括以下步骤
[0042]拍摄的视频流中每一帧都进行目标检测，若所拍摄的视频流中为存在确定目标物的视频流，则采用的检测模型为yolov5进行检测,若所拍摄的视频流中为存在新增类别的目标物的视频流，则采用的检测模型为主体检测模型进行检测，在画面图像的坐标bbox:[x,y,w,h]和置信度conf；这里得到的bbox图像坐标，可以判断目标在云台画面的位置和在画面显示的大小，因此，可以根据bbox的中心位置，调节云台上下左右运动，目的是让目标物始终保持在云台画面的中心；根据bbox与画面的占比IOU(0≤IOU≤1)的大小调节云台变倍，放大或缩小画面，目的是让目标物能更清楚地呈现；conf(0≤conf≤1)可以判断目标检测的有效性，所以结合bbox和conf，可以判断采集画面的质量。
[0043]由于，在进行检测时候，检测的目标会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种巡检机器人不停车的巡检方法，其特征在于，包括以下步骤：对拍摄存在目标物的视频流中每一帧都进行目标检测得到一系列“合格帧”；对拍摄的视频流实时画面，计算图像二阶导数的方差，得到画面模糊程度，调节云台对焦参数；Blur＝E(ΔG
‑
E(ΔG))2其中，以拉普拉斯算子作为卷积核卷积图像得到二阶导数；设置Blur阈值，对焦参数从小到大调节，将对焦参数调节至Blur阈值后输出；将一系列合格帧提取图像深度特征，与模板图进行特征匹配，并且对其计算模糊度Blur，其中，匹配特征点数大于15的画面帧，且Score满足大于4，Blur大于500，判定为最优采集图像。2.根据权利要求1所述的一种巡检机器人不停车的巡检方法，其特征在于，在目标检测时，进行以下步骤：拍摄的视频流中每一帧都进行目标检测，若所拍摄的视频流中为存在确定目标物的视频流，则采用的检测模型为yolov5进行检测,若所拍摄的视频流中为存在新增类别的目标物的视频流，则采用的检测模型为主体检测模型结合特征匹配算法进行检测，在画面图像的坐标bbox:[x,y,w,h]和置信度conf；基于目标物在画面图像的坐标和置信度conf，计算检测结果得分ScoreScore＝e
conf
+e
IOU
若Score大于3，判定当前帧为合格帧，保存到合格帧序列里；若Score等于2，则降低云台焦距倍率，再次计算检测结果得分Score，若云台焦距倍率调节至最小，Score还是等于2，视为不及格帧；若Score大于2小于3，计算检测框与画面中心的偏移量，依据偏移量微调云台位姿，计算检测框与画面占比IOU，依据IOU增大云台焦距倍率，后再次进行计算检测结果得分Score。3.根据权利要求2所述的...

【专利技术属性】
技术研发人员：邹婉欣，粟玉雄，张义杰，
申请(专利权)人：深圳市千乘机器人有限公司，
类型：发明
国别省市：