一种基于双目相机与深度相机的输电线识别与定位方法技术

本发明专利技术公开了一种基于双目相机与深度相机的输电线识别与定位方法，本发明专利技术属于机器视觉领域，为在复杂背景下测得目标的三维坐标，将双目相机与深度相机进行融合，步骤是，首先搭建系统，系统由双目相机和Kinect深度相机组成，其中双目相机采集彩色图像，Kinect深度相机采集彩色图像和深度图像，将双目图像分别于Kinect图像进行匹配，通过深度相机的深度信息，滤除掉双目图像中指定深度区域之外的图像信息，以此实现对双目图像中复杂背景的过滤，再对处理后的双目图像进行处理、分割和匹配，得到输电线的三维坐标和姿态信息。

A method of transmission line identification and location based on binocular camera and depth camera

【技术实现步骤摘要】
一种基于双目相机与深度相机的输电线识别与定位方法
本专利技术属于机器视觉领域，涉及一种基于双目相机与深度相机的输电线识别与定位方法。
技术介绍
目前，在我国的高压输电线路的维修工作中，主要采用人工维修方法，由操作人员佩戴特殊工具进行作业，作业过程中，操作人员时刻处于高压、强电磁场等危险环境中，劳动强大，具有很强的危险性，容易发生事故。随着自动化水平不断提高，使用配网带电作业机器人具有明显优势。但在目前配电线路中应用的作业机器人大多是半自动化的，需要工作人员遥控机器人来执行相关操作，这样遥操作难以完成复杂精细的作业任务，例如拆接引流线、更换电气设备等。全自动化水平的配网带电作业机器人的主要难点在于输电线的识别与定位，想要在复杂的背景中识别并精确定位出线缆是比较困难的。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供一种基于双目相机与深度相机的输电线识别与定位方法，以解决现有技术中线缆定位精度不高和目标在复杂背景中难以识别的问题。为达到上述目的，本专利技术通过如下的技术方法实现：一种基于双目相机与深度相机的输电线识别与定位方法，所述方法包括如下步骤：获取线缆在深度相机中的彩色图像和深度图像；获取线缆在双目相机中的双目图像；对所述深度图像进行深度过滤，获取过滤深度图像；将所述过滤深度图像映射到彩色图像上，获取映射彩色图像；将所述映射彩色图像映射到双目图像上，获取过滤双目图像；对所述过滤双目图像进行处理，获取线缆边缘的像素坐标；r>根据所述像素坐标和极线约束获取线缆在双目左右图中对应的同名点；根据所述同名点计算得到线缆的三维坐标。进一步的，所述映射彩色图像通过配准模型映射到双目图像上。进一步的，所述配准模型的建立方法包括：获取不同深度下空间中一点在深度相机彩色图像与双目相机左右图像的坐标；将所述坐标放到BP神经网络进行训练，获取配准模型。进一步的，所述三维坐标的计算过程如下：获取线缆两边缘上的对应点；将所有所述对应点的中点作为输入点集；根据所述输入点集计算得到线缆的三维坐标。进一步的，所述过滤双目图像的处理包括图像预处理、颜色分割、形态学滤波、边缘提取和断线区域连接。进一步的，所述断线区域连接的过程如下：判断过滤双目图像中的两条线缆是否为同一根线缆；若是则通过直线线段将两条线缆相连为同一根。进一步的，所述判断过程如下：获取两条线缆边缘各自首尾点的像素坐标；根据所述像素坐标计算两线缆首尾点之间的距离；将所述距离最小的两个边缘端点作为第一目标点和第二目标点；计算所述第一目标点和第二目标点在线缆上的斜率绝对值；计算所述两个第一目标点和第二目标点连线的斜率绝对值；计算所述第一目标点、第二目标点和连线的斜率绝对值两两之间是的差值；若所述差值均在阈值内，则两条线缆属于同一条线缆。与现有技术相比，本专利技术所达到的有益效果是：首先，本方法可在复杂背景中实现对目标的识别，针对复杂背景，例如当线缆在树荫背景下，树荫的颜色与线缆颜色非常接近，此时线缆难以识别，利用深度相机过滤掉目标区域之外的背景像素，然后将深度图经过两次映射关系，映射到双目左右图上，得到滤除背景后的双目左右图，极大简化了识别过程，提高了识别成功率和准确率；其次，单利用深度相机得到的深度距离精度有限，而采用双目原理对目标进行定位具有很高的精度，且成本较低。附图标记图1为本专利技术实施例中的系统示意图；图2为本专利技术实施例中的断线连接示意图。附图标记：1-双目右相机；2-双目左相机；3-Kinect深度相机；4-彩色相机；5-红外相机；6-红外投影机。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，不能以此来限制本专利技术的保护范围。一种基于双目相机与深度相机的输电线识别与定位方法，所述方法包括如下步骤：获取线缆在深度相机中的彩色图像和深度图像；获取线缆在双目相机中的双目图像；对所述深度图像进行深度过滤，获取过滤深度图像；将所述过滤深度图像映射到彩色图像上，获取映射彩色图像；将所述映射彩色图像映射到双目图像上，获取过滤双目图像；对所述过滤双目图像进行处理，获取线缆边缘的像素坐标；根据所述像素坐标和极线约束获取线缆在双目左右图中对应的同名点；根据所述同名点计算得到线缆的三维坐标。所述过滤双目图像的处理包括图像预处理、颜色分割、形态学滤波、边缘提取和断线区域连接。所述断线区域连接的过程如下：判断过滤双目图像中的两条线缆是否为同一根线缆；若是则通过直线线段将两条线缆相连为同一根。所述判断过程如下：获取两条线缆边缘各自首尾点的像素坐标；根据所述像素坐标计算两线缆首尾点之间的距离，共四个距离，即线缆一起点与线缆二起点之间的距离，线缆一起点与线缆二末尾点之间的距离，线缆一末尾点与线缆二起点之间的距离，线缆一末尾点与线缆二末尾点之间的距离；将所述距离最小的两个边缘端点作为第一目标点和第二目标点；计算所述第一目标点和第二目标点在线缆上的斜率绝对值；计算所述两个第一目标点和第二目标点连线的斜率绝对值；计算所述第一目标点、第二目标点和连线的斜率绝对值两两之间是的差值；若所述差值均在阈值内，则两条线缆属于同一条线缆。具体包括以下步骤：（1）Kinect深度相机与双目相机的分辨率和视场均不同，将双目相机与Kinect深度相机固定，保证相对位置不会发生移动，图1为该系统示意图；（2）分别获取双目相机的左右图像和深度相机的彩色图像和深度图像，在不同深度下获取多组图像，将深度相机的彩色图像与双目相机左右图进行配准，得到配准模型，再对双目相机进行标定，得到相机内外参数；（3）上述准备工作完成后，即可开始对输电线进行识别定位，以处理一帧图像为例，首先获取Kinect相机的深度图像和彩色图像以及双目图像，对深度图像进行深度过滤，只保留我们要提取目标的深度范围（例如0.5m~1.5m），得到过滤后的深度图；（4）将Kinect深度图像映射到Kinect彩色图像上，然后用步骤（2）所得的配准模型，将该Kinect彩色图像映射到双目左右图，这样就得到了深度过滤以后的双目左右图；（5）对深度过滤后的双目左右图做图像预处理、颜色分割、边缘提取等，得到左右图中线轮廓的像素坐标；（6）利用极线约束得到左右图中各自对应的同名点；（7）找到同名点后，进行三维计算，得到线缆三维坐标。深度相机与双目相机的配准，因为Kinect深度相机与双目相机的分辨率和视场均不同，因此必须对二者进行配准，取空间中一点P，该点在Kinect深度相机中的像素坐标为（XK，YK）,在双目左相机的像素坐标为本文档来自技高网...

【技术保护点】
1.一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述方法包括如下步骤：/n获取线缆在深度相机中的彩色图像和深度图像；/n获取线缆在双目相机中的双目图像；/n对所述深度图像进行深度过滤，获取过滤深度图像；/n将所述过滤深度图像映射到彩色图像上，获取映射彩色图像；/n将所述映射彩色图像映射到双目图像上，获取过滤双目图像；/n对所述过滤双目图像进行处理，获取线缆边缘的像素坐标；/n根据所述像素坐标和极线约束获取线缆在双目左右图中对应的同名点；/n根据所述同名点计算得到线缆的三维坐标。/n

【技术特征摘要】
1.一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述方法包括如下步骤：
获取线缆在深度相机中的彩色图像和深度图像；
获取线缆在双目相机中的双目图像；
对所述深度图像进行深度过滤，获取过滤深度图像；
将所述过滤深度图像映射到彩色图像上，获取映射彩色图像；
将所述映射彩色图像映射到双目图像上，获取过滤双目图像；
对所述过滤双目图像进行处理，获取线缆边缘的像素坐标；
根据所述像素坐标和极线约束获取线缆在双目左右图中对应的同名点；
根据所述同名点计算得到线缆的三维坐标。


2.根据权利要求1所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述映射彩色图像通过配准模型映射到双目图像上。


3.根据权利要求2所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述配准模型的建立方法包括：
获取不同深度下空间中一点在深度相机彩色图像与双目相机左右图像的坐标；
将所述坐标放到BP神经网络进行训练，获取配准模型。


4.根据权利要求1所述的一种基于双目相机与深度相机的输电线识别与定位方法，其特征在于，所述三维坐标的计算过程如下：<...

【专利技术属性】
技术研发人员：李开宇，胡广亮，田裕鹏，朱鹏飞，施金辰，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32