一种基于三维点云的巡检机器人视觉系统及控制方法技术方案

本发明专利技术涉及一种基于三维点云的巡检机器人视觉系统及控制方法，所述系统采用RGBD摄像机采集巡检环境点云数据，基于点云融合技术构建巡检环境的立体地图；基于人工势场法进行避障和最优路径规划；基于卷积神经网络识别算法，融合物体的三维特征，识别巡检环境中的目标物体，根据目标物体与相机的映射关系，准确定位目标物体的三维坐标；基于无线网络系统，将巡检机器人获取的实时数据实时快速地传输到控制终端；操作人员可通过控制终端实时监控或者回放巡检状况，并且可通过终端控制机器人执行巡检任务。所述系统的控制方法，可使巡检机器人的工作环境不受环境光线变化的影响，可以在黑暗的光线条件下完成巡检任务。 1

A vision system and control method for inspection robot based on 3D point cloud

The invention relates to a visual system and control method of patrol robot based on three dimensional point cloud. The system uses RGBD camera to collect and patrol environmental point cloud data and builds a stereo map based on point cloud fusion technology. The obstacle avoidance and optimal path planning based on artificial potential field method; and recognition based on convolution neural network. The algorithm combines the three-dimensional features of the object to identify the object in the inspection environment, and accurately locate the three-dimensional coordinates of the target object according to the mapping relationship between the target object and the camera, and the real-time data obtained by the inspection robot can be quickly and quickly transferred to the control terminal based on the wireless network system. The operator can control the control terminal. Terminal real-time monitoring or playback inspection status, and through terminal control robot to perform inspection tasks. The control method of the system can make the working environment of the patrol robot not affected by the change of ambient light, and can complete the patrol task under the dark light condition. One

【技术实现步骤摘要】
一种基于三维点云的巡检机器人视觉系统及控制方法
本专利技术涉及一种基于三维点云的巡检机器人视觉系统及方法。
技术介绍
随着机器人技术的日益成熟，利用机器人进行巡检的需求应运而生，如：电力巡检、消防巡检、隧道巡检、地下矿井巡检以及未知环境和地形探测等。人工巡检存在工作效率低、劳动强度高、管理成本高等问题，并且在一些环境恶劣、情况复杂危险的工作中，难以保障巡检人员生命安全，如雨雪天气、高温、高寒、地下矿井以及高压电力设备等。使用机器人代替工人巡检，在一些危险环境可以有效保障巡检人员的生命安全，并且能成功解决上述人工巡检的弊端。传统巡检机器人的视觉系统大多依靠RGB图像采集设备进行环境感知、构建地图、规划路径以及目标识别，其工作严重受到环境光线变化的影响，在黑暗环境中几乎不能工作，例如地下矿井、隧道的巡检以及夜间巡检等，其巡检工作质量都受到严重影响。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于三维点云的巡检机器人视觉系统及控制方法，该系统基于三维点云融合技术构建巡检环境的立体地图，能够自主规划路径、避障，提出基于卷积神经网络融合三维特征的目标物体识别和定位方法，可用于环境地形探测、电力巡检、隧道巡检以及地下矿井巡检等应用中，其工作环境不受光照变化的影响，可在光线较暗或者夜间环境中有效地工作。为了实现上述目的，本专利技术采用以下技术方案：一种基于三维点云的巡检机器人视觉系统，包括数据采集模块、地图构建模块、路径规划模块、目标识别和定位模块、无线网络传输装置以及控制终端；所述数据采集模块，由RGBD摄像机构成，用于采集巡检环境的点云数据；所述RGBD摄像机可通过控制上下左右的旋转角度，采集360°视角的点云数据，并能够同时采集RGB图像数据和深度数据；所述地图构建模块，接收数据采集模块获取的点云数据，用于构建巡检环境的立体地图；所述路径规划模块，接收数据采集模块获取的点云数据，用于计算与障碍物之间的距离，并规划到达目标位置的最佳路径；所述目标识别与定位模块，接收数据采集模块获取的点云数据，用于对目标物体进行识别定位，并将定位信息反馈到立体地图中；所述无线网络传输装置，其通过无线网络进行数据传输，用于数据采集模块、地图构建模块、路径规划模块、目标识别与定位模块和控制终端之间进行数据传输；所述控制终端，通过无线网络传输装置接收各个模块的数据，用于显示及控制各个模块的工作执行。所述一种基于三维点云的巡检机器人视觉系统的控制方法，其内容包括以下步骤：步骤1：数据采集模块通过RGBD摄像机采集巡检环境的点云数据；并将所采集的点云数据传输给地图构建模块和路径规划模块；步骤2：地图构建模块利用点云数据，通过点云融合技术，根据每个点云数据的关键点特征，对各个点云数据进行逐个匹配，构建巡检环境的立体地图；步骤3：路径规划模块根据采集到的点云数据，获取深度信息，判断障碍物的位置，计算机器人与障碍物之间的实际距离，基于人工势场法进行避障以及最优路径规划；步骤4：目标识别与定位模块采用基于卷积神经网络融合三维特征的物体识别算法，以目标物体的三维特征为输入，训练待识别目标物体的模型特征，以Softmax分类器作为输出，识别巡检过程中的待检测对象，并根据目标物体与机器人摄像机之间的映射关系，精确定位目标物体相对于摄像机的三维坐标，并通过匹配目标物体与立体地图两者关键点的特征，确定的目标物体在立体地图中的位置，在立体地图中高亮显示目标物体；所述三维特征，是指根据目标物体关键点的几何特征，提取目标物体的三维特征；步骤5：无线网络传输装置，基于一种改进的TCP协议，通过分析无线网络传输速率的相对延迟，判断网络传输的拥塞程度，自动调节拥塞窗口的大小，提高网络的信道利用率和吞吐量，实时快速地将巡检机器人构建的立体地图、RGB图像数据、点云数据以及目标物体的位置坐标实时地传输到控制终端；控制终端接收巡检机器人采集的巡检场景的点云数据，将其保存到磁盘文件之中，供操作人员实时监控或者回调巡检状况，操作人员可在控制终端通过立体地图查看巡检环境的各个细节，命令巡检机器人到达指定地点进行巡检，控制数据采集模块RGBD摄像机的旋转角度，查看不同的视角。在步骤2中，所述构建巡检环境的立体地图，其内容包括以下步骤：(1)提取两个点云数据的关键点，并描述关键点的几何特征；(2)根据两个点云数据中关键点的几何特征描述，匹配相互对应的关键点，确定数据的重叠部分；(3)使用随机采样一致性算法剔除错误的对应关系，提高匹配精度；(4)估计变换矩阵，逐个配准多个点云数据，获取整个巡检环境的立体地图。在步骤⑴中，所述关键点的几何特征，是指点云数据中关键点周围几何特性的局部特征描述，通过计算点云数据中关键点处法线与其k邻域内邻域点法线之间方向的差异，捕获关键点周围的几何信息，创建一个多维的直方图对关键点邻域的几何属性进行描述，其计算步骤如下：(i)对于关键点与其邻域点组成的每对三维点(Pc,Pi)，计算它们的表面法线(nc,ni)，并在关键点处定义一个固定的局部坐标系(u,v,w)，其中：u＝ncw＝u·v(ii)通过三个角度(α,φ,θ)来分别计算关键点Pc和邻域点Pi的法线nc和ni之间的相对偏差，如下式：α＝v·njθ＝arctan(w·ni,u·nc)这里||Pi-Pc||2是Pc和Pi之间的欧氏距离；(iii)将步骤(ii)中计算得到的角度(α,φ,θ)统计放入直方图中，得到关键点处的特征描述。在步骤3中，所述基于人工势场法进行避障以及最优路径规划，其实现过程如下：假设障碍物对机器人产生一个排斥势场U1，对机器人的排斥力为F1，目标产生一个吸引势场U2，对机器人的吸引力为F2，机器人在势场中位置坐标为p(x,y)，则机器人受到的合力场为：U＝U1(p)+U2(p)(3)机器人受到的合力为：其中▽U为U的微分导数；这样机器人基于受到的障碍物的排斥力和目标的吸引力，实现实时规划运动路径，避开障碍物，获取达到目标的最优路径。在步骤4中，所述基于卷积神经网络融合三维特征的物体识别算法，其中卷积神经网络是一种结合前向传播和后向传播的人工神经网络，其是在传统神经网络的基础上加入卷积操作和池化操作的层结构；所述前向传播过程，其主要结构为输入层——卷积层——卷积层——全连层——输出层；输入层是以目标物体的三维形状特征作为输入，在两个卷积层之间以及第二个卷积层到全连层之间包括激活层、池化层和归一化层，激活层的激活函数选择采用RELU(RectifiedLinearUnits)函数，选取线性阈值神经元，其对应的输出表达式为：其中n表示神经元个数；池化层操作的目的是使提取的特征具有旋转和平移不变性；归一化层的设计目的是抑制隐藏层输出大的激励，提升模型的泛化能力，采用对相邻特征图中的激励进行归一化的方式，假设最大池化层产生的第i个特征图为则归一化响应的计算公式为：其中m为同一位置相邻特征图的个数，M为特征图总数；全连层的实现将各个底层特征统计到一起，输出层采用Softmax分类器，假设一个训练集{(x(1),y(1)},(x(2),y(2)),…(x(k),y(k))}，x(i)为输出的特征向量，y(i)为训练数据的真实标签，k为每次训练总计的训练数量，则输出可以表示为：其中本文档来自技高网...

【技术保护点】
1.一种基于三维点云的巡检机器人视觉系统，其特征在于：所述系统包括数据采集模

【技术特征摘要】
1.一种基于三维点云的巡检机器人视觉系统，其特征在于：所述系统包括数据采集模块、地图构建模块、路径规划模块、目标识别和定位模块、无线网络传输装置以及控制终端；所述数据采集模块，由RGBD摄像机构成，用于采集巡检环境的点云数据；所述RGBD摄像机可通过控制上下左右的旋转角度，采集360°视角的点云数据，并能够同时采集RGB图像数据和深度数据；所述地图构建模块，接收数据采集模块获取的点云数据，用于构建巡检环境的立体地图；所述路径规划模块，接收数据采集模块获取的点云数据，用于计算与障碍物之间的距离，并规划到达目标位置的最佳路径；所述目标识别与定位模块，接收数据采集模块获取的点云数据，用于对目标物体进行识别定位，并将定位信息反馈到立体地图中；所述无线网络传输装置，其通过无线网络进行数据传输，用于数据采集模块、地图构建模块、路径规划模块、目标识别与定位模块和控制终端之间进行数据传输；所述控制终端，通过无线网络传输装置接收各个模块的数据，用于显示及控制各个模块的工作执行。2.根据权利要求1所述一种基于三维点云的巡检机器人视觉系统的控制方法，其特征在于：该方法内容包括以下步骤：步骤1：数据采集模块通过RGBD摄像机采集巡检环境的点云数据；并将所采集的点云数据传输给地图构建模块和路径规划模块；步骤2：地图构建模块利用点云数据，通过点云融合技术，根据每个点云数据的关键点特征，对各个点云数据进行逐个匹配，构建巡检环境的立体地图；步骤3：路径规划模块根据采集到的点云数据，获取深度信息，判断障碍物的位置，计算机器人与障碍物之间的实际距离，基于人工势场法进行避障以及最优路径规划；步骤4：目标识别与定位模块采用基于卷积神经网络融合三维特征的物体识别算法，以目标物体的三维特征为输入，训练待识别目标物体的模型特征，以Softmax分类器作为输出，识别巡检过程中的待检测对象，并根据目标物体与机器人摄像机之间的映射关系，精确定位目标物体相对于摄像机的三维坐标，并通过匹配目标物体与立体地图两者关键点的特征，确定的目标物体在立体地图中的位置，在立体地图中高亮显示目标物体；所述三维特征，是指根据目标物体关键点的几何特征，提取目标物体的三维特征；步骤5：无线网络传输装置，基于一种改进的TCP协议，通过分析无线网络传输速率的相对延迟，判断网络传输的拥塞程度，自动调节拥塞窗口的大小，提高网络的信道利用率和吞吐量，实时快速地将巡检机器人构建的立体地图、RGB图像数据、点云数据以及目标物体的位置坐标实时地传输到控制终端；控制终端接收巡检机器人采集的巡检场景的点云数据，将其保存到磁盘文件之中，供操作人员实时监控或者回调巡检状况，操作人员可在控制终端通过立体地图查看巡检环境的各个细节，命令巡检机器人到达指定地点进行巡检，控制数据采集模块RGBD摄像机的旋转角度，查看不同的视角。3.根据权利要求2所述的一种基于三维点云的巡检机器人视觉系统的控制方法，其特征在于：在步骤2中，所述构建巡检环境的立体地图，其内容包括以下步骤：(1)提取两个点云数据的关键点，并描述关键点的几何特征；(2)根据两个点云数据中关键点的几何特征描述，匹配相互对应的关键点，确定数据的重叠部分；(3)使用随机采样一致性算法剔除错误的对应关...

【专利技术属性】
技术研发人员：郑龙江，张彩江，单泽宇，张立国，王晓波，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北,13