一种巡检机器人的图像采集方法技术

本发明专利技术公开了，一种巡检机器人的图像采集方法，该方法首先巡检机器人提取目标图像在相机视野中的位置信息，然后以巡检机器人几何中心为原点，巡检机器人的前进方向为X轴正方向，竖直向上为Z轴正方向，建立世界坐标系。获取巡检机器人的运动信息，最终进而确定目标图像相对于相机视野中心的相对运动。并根据目标图像中心坐标与相机视野中心坐标的偏移量，调整云台相机的角度直至目标图像中心坐标与相机视野中心坐标重合，进行目标图像采集并保存，之后巡检机器人继续进行巡查作业。本发明专利技术提供的图像采集方法确保巡检机器人在运动过程中进行图像采集，不需要频繁启停调用预置位拍摄，提高巡检效率。

A method of image acquisition for inspection robot

【技术实现步骤摘要】
一种巡检机器人的图像采集方法
本专利技术涉及巡检设备
，尤其是变电站巡检机器人，尤其涉及一种巡检机器人的图像采集方法。
技术介绍
我国电网的发展给我国的经济发展提供了强有力的电力保障，变电站的运行等级越来越高，对安全运行环境的要求也越来越严格，变电站作为电网中的核心枢纽，即使是一次小小的安全事故也会对经济发展造成不可弥补的损失。要保证变电站正常运行，就需要对变电站设备进行定期巡检工作，如何提高巡检工作的效率就是非常具有研究意义的课题。现有发展起来的巡检机器人在巡检设备示数采集方面采用云台预置位模式，巡检机器人按照规划好的路线，前往指定地点停止，调用云台预置位拍摄设备图像，然后上传至云端服务器进行设备状态分析工作。主要存在以下几个问题：1、巡检机器人需要频繁启停，巡检时间过长，巡检效率低下；2、预置位模式采集图像质量无法保证，受机器人定位精度、外部干扰等因素影响，如机器人实际定位与目标定位存在偏差导致镜头偏移无法采集目标图像、天气变化使光线不均匀导致采集照片不清晰，原有预置位拍摄角度无法获取清晰图像等；3、预置位需要专业人员进行设置，无法保证每个预置位的设置质量。
技术实现思路
本专利技术目的在于针对现有技术的不足，提出一种云台图像采集方法，保障巡检机器人巡检过程中图像采集的质量，提高巡检效率。在巡检机器人移动过程中自动寻找目标对象，自动调节拍摄角度，并对图像采集质量进行评估，确保巡检机器人高质量成像，高效率作业。本专利技术的目的是通过以下技术方案来实现的：一种巡检机器人的图像采集方法，包括以下步骤：(1)巡检机器人进行巡查作业，机器人上的云台扫查周围环境；并判断相机视野中是否包含目标图像，若相机视野中包含目标图像，在巡检机器人进行巡查作业的同时，提取目标图像在相机视野中的位置信息，具体包括框选目标图像的长方形边框四个顶点的坐标以及目标图像中心坐标，实时计算目标图像中心坐标与相机视野中心坐标偏移量；若相机视野中未包含目标图像，继续进行巡查作业。(2)以巡检机器人几何中心为原点，巡检机器人的前进方向为X轴正方向，竖直向上为Z轴正方向，建立世界坐标系。获取巡检机器人的运动信息，包括世界坐标系下的巡检机器人水平X轴方向的运动速度与绕Z轴的旋转速度，计算相机相对于机器人在世界坐标系下的位置位姿坐标，确定目标图像相对于相机视野中心的平移与旋转方式，最终进而确定目标图像相对于相机视野中心的相对运动。(4)在巡检机器人进行巡查作业的同时，根据实时计算的目标图像中心坐标与相机视野中心坐标的偏移量与确定的目标图像相对于相机视野中心的相对运动，巡检机器人实时向云台电机发送控制指令，调整云台相机的角度直至目标图像中心坐标与相机视野中心坐标重合，进行目标图像采集；(5)根据采集的目标图像，使用MSCN方法提取目标图像中的NSS特征，然后进行图像质量评价，选择图像质量评分最低的图像进行保存，之后巡检机器人继续进行巡查作业。进一步地，所述目标图像主要包含电位开关、表计、油位等。进一步地，所述步骤(2)中，判断相机视野中是否包含目标图像具体为：利用YOLOV3算法判断相机视野中是否包含目标图像，若包含则输出目标图像在相机视野中的位置信息与标签信息；标签信息表示目标图像类别，即电位开关、表计或油位。YOLOV3算法经过变电站目标图像数据集训练，实现对变电站特殊环境下目标的有效识别。进一步地，所述步骤(4)具体为：(4.1)根据目标图像中心坐标与相机视野中心坐标的偏移量与目标图像相对于相机视野中心的相对运动，确定云台需要的旋转角度和旋转角速度；(4.2)巡检机器人向云台电机发送控制指令，根据云台需要的旋转角度和旋转角速度，调整云台相机的角度直至目标图像中心坐标与相机视野中心坐标重合。进一步地，所述步骤(4)中，目标图像中心坐标与相机视野中心坐标重合后，调整云台相机镜头放大倍率与聚焦，进而使得目标图像在相机视野中所占比例满足阈值T，T范围为1/2～3/4，目标图像太小或太大都影响后期识别效果，之后再进行目标图像采集。进一步地，所述步骤(5)中，采集图像的质量评价，具体为：采集得到的目标图像，使用MSCN方法提取目标图像的NSS(ExtractNaturalSceneStatistics)特征，表征出特征的向量，输入训练好的SVM进行预测得分；评价分数越低，代表图像质量越好。本专利技术的有益效果：本专利技术提供的图像采集方法确保巡检机器人在运动过程中进行图像采集，不需要频繁启停调用预置位拍摄，提高巡检效率；采集目标图像在相机视野内大小满足阈值T，有利于后期目标识别的分析处理；获取的采集图像质量稳定，无需重新拍摄。该图像采集方法提高了采集图像过程的抗干扰能力，量化图像采集信息质量，减少无效信息获取，确保重复获取图像的稳定性与鲁棒性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例多现有技术描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例公开的一种图像采集方法的流程图。具体实施方式以下结合附图对本专利技术具体实施方式作进一步详细说明。如图1所示，本专利技术提供的一种巡检机器人的图像采集方法，包括以下步骤：(1)巡检机器人进行巡查作业，机器人上的云台开始扫查周围环境；并判断相机视野中是否包含目标图像，具体为：利用YOLOV3算法判断相机视野中是否包含目标图像，若包含则输出目标图像在相机视野中的位置信息与标签信息；标签信息表示目标图像类别，即电位开关、表计或油位等。YOLOV3算法经过变电站目标图像数据集训练，实现对变电站特殊环境下目标的有效识别。若相机视野中包含目标图像，在巡检机器人进行巡查作业的同时，提取目标图像在相机视野中的位置信息，具体包括框选目标图像的长方形边框四个顶点的坐标以及目标图像中心坐标，实时计算目标图像中心坐标与相机视野中心坐标偏移量；若相机视野中未包含目标图像，继续进行巡查作业。(2)以巡检机器人几何中心为原点，巡检机器人的前进方向为X轴正方向，竖直向上为Z轴正方向，建立世界坐标系。获取巡检机器人的运动信息，包括世界坐标系下的巡检机器人水平X轴方向的运动速度与绕Z轴的旋转速度，计算相机相对于机器人在世界坐标系下的位置位姿坐标，确定目标图像相对于相机视野中心的平移与旋转方式，最终进而确定目标图像相对于相机视野中心的相对运动，进而确定目标图像相对于相机视野中心的相对运动。(4)在巡检机器人进行巡查作业的同时，根据实时计算的目标图像中心坐标与相机视野中心坐标的偏移量与目标图像相对于相机视野中心的相对运动，确定云台需要的旋转角度和旋转角速度，巡检机器人根据云台需要的旋转角度和旋转角速度，实时向云台电机发送控制指令，调整云台相机的角度直至目标图像中心坐标与相机视野中心坐标重合，然后调整云台相机镜头放大倍率与聚焦，进而使得本文档来自技高网...

【技术保护点】
1.一种巡检机器人的图像采集方法，其特征在于，包括以下步骤：/n(1)巡检机器人进行巡查作业，机器人上的云台扫查周围环境；并判断相机视野中是否包含目标图像，若相机视野中包含目标图像，在巡检机器人进行巡查作业的同时，提取目标图像在相机视野中的位置信息，具体包括框选目标图像的长方形边框四个顶点的坐标以及目标图像中心坐标，实时计算目标图像中心坐标与相机视野中心坐标偏移量；若相机视野中未包含目标图像，继续进行巡查作业。/n(2)以巡检机器人几何中心为原点，巡检机器人的前进方向为X轴正方向，竖直向上为Z轴正方向，建立世界坐标系。获取巡检机器人的运动信息，包括世界坐标系下的巡检机器人水平X轴方向的运动速度与绕Z轴的旋转速度，计算相机相对于机器人在世界坐标系下的位置位姿坐标，确定目标图像相对于相机视野中心的平移与旋转方式，最终进而确定目标图像相对于相机视野中心的相对运动。/n(4)在巡检机器人进行巡查作业的同时，根据实时计算的目标图像中心坐标与相机视野中心坐标的偏移量与确定的目标图像相对于相机视野中心的相对运动，巡检机器人实时向云台电机发送控制指令，调整云台相机的角度直至目标图像中心坐标与相机视野中心坐标重合，进行目标图像采集；/n(5)根据采集的目标图像，使用MSCN方法提取目标图像中的NSS特征，然后进行图像质量评价，选择图像质量评分最低的图像进行保存，之后巡检机器人继续进行巡查作业。/n...

【技术特征摘要】
1.一种巡检机器人的图像采集方法，其特征在于，包括以下步骤：
(1)巡检机器人进行巡查作业，机器人上的云台扫查周围环境；并判断相机视野中是否包含目标图像，若相机视野中包含目标图像，在巡检机器人进行巡查作业的同时，提取目标图像在相机视野中的位置信息，具体包括框选目标图像的长方形边框四个顶点的坐标以及目标图像中心坐标，实时计算目标图像中心坐标与相机视野中心坐标偏移量；若相机视野中未包含目标图像，继续进行巡查作业。
(2)以巡检机器人几何中心为原点，巡检机器人的前进方向为X轴正方向，竖直向上为Z轴正方向，建立世界坐标系。获取巡检机器人的运动信息，包括世界坐标系下的巡检机器人水平X轴方向的运动速度与绕Z轴的旋转速度，计算相机相对于机器人在世界坐标系下的位置位姿坐标，确定目标图像相对于相机视野中心的平移与旋转方式，最终进而确定目标图像相对于相机视野中心的相对运动。
(4)在巡检机器人进行巡查作业的同时，根据实时计算的目标图像中心坐标与相机视野中心坐标的偏移量与确定的目标图像相对于相机视野中心的相对运动，巡检机器人实时向云台电机发送控制指令，调整云台相机的角度直至目标图像中心坐标与相机视野中心坐标重合，进行目标图像采集；
(5)根据采集的目标图像，使用MSCN方法提取目标图像中的NSS特征，然后进行图像质量评价，选择图像质量评分最低的图像进行保存，之后巡检机器人继续进行巡查作业。


2.根据权利要求1所述的一种巡检机器人的图像采集方法，其特征在于，所述目标图像主要包含电位开关、表计、油位等。


3.根据权...

【专利技术属性】
技术研发人员：杨克己，梁松伟，吴峰，武二永，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33