一种基于深度相机的轨枕异物检测方法技术

本发明专利技术公开了一种基于深度相机的轨枕异物检测方法，包括通过相机收集不同光照位置条件下的轨枕彩色图像，制作成轨枕数据集，获取轨枕的外包围框；背景过滤，根据目标检测结果的外包围框，过滤外包围框以外像素信息，并设置为黑色；平面过滤，过滤轨枕彩色图像中平面的像素点；边缘检测，在设定区域面积阈值，对于大于阈值面积的区域定义为存在轨枕异物，并通过深度信息回归轨枕异物中心点三维坐标；将存在轨枕异物信号和轨枕异物中心点三维坐标发布给上位机，等待清除，只需对轨枕环境的训练就能通过深度相机实现轨枕的异物检测，不需要针对不同异物进行训练，适应各种形状种类的异物检测。物检测。物检测。

【技术实现步骤摘要】
一种基于深度相机的轨枕异物检测方法


[0001]本专利技术涉及轨道异物检测
，具体涉及一种基于深度相机的轨枕异物检测方法。

技术介绍

[0002]轨道是列车车辆运行的基础，不断的周期维护，检修，才能保证铁路运输的正常运转。由于铁路线路里程长，且经过的环境复杂多变，不管是环境因素飞溅、脱落下来的石块，还是人为滞留的垃圾异物，都会影响行车的安全，及时对铁轨异物进行检测具有重要意义。目前常用的方法是采用经典图像处理算法，通过霍夫变换法或模板匹配法对轨道线进行提取，并在轨道线内采用光流法和帧差法的方式对视频帧之间差值进行异物检测，这些方法检测的鲁棒性较低，无法处理处于复杂背景下的目标。而基于深度学习的方法由于发展较晚没有在轨道领域得到广泛应用，通常针对植物，行人等常见目标进行检测，无法检测出未知物体。

技术实现思路

[0003]根据现有技术的不足，本专利技术的目的是提供一种基于深度相机的轨枕异物检测方法，只需对轨道环境的训练就能通过深度相机实现轨道的异物检测，不需要针对不同异物进行训练，适应各种形状种类的异物检测。
[0004]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于深度相机的轨枕异物检测方法，包括：步骤S1、目标检测神经网络训练，将相机固定在铁路巡检平台，通过相机收集不同光照位置条件下的轨枕彩色图像，标注轨枕彩色图像中的轨枕，制作成轨枕数据集，将轨枕数据集送入CenterNet目标检测神经网络中训练，并利用训练的网络对轨枕彩色图像进行轨枕检测，获取轨枕的外包围框；步骤S2、背景过滤，将相机获取到的实时图像，通过步骤S1训练的神经网络进行目标检测，根据目标检测结果的外包围框，在轨枕彩色图像和对应的深度图像中采用OpenCV库中mask函数过滤外包围框以外像素信息，并设置为黑色；步骤S3、平面过滤，将轨枕彩色图像识别到轨枕平面区域对应至深度图像相应区域，在深度图像采用最小二乘法识别平面参数，并根据平面参数过滤彩色图像中平面的像素点；步骤S4、边缘检测，在设定区域面积阈值，对于大于阈值面积的区域定义为存在轨枕异物，并通过深度信息回归轨枕异物中心点三维坐标；步骤S5、将存在轨枕异物信号和轨枕异物中心点三维坐标发布给上位机，清除轨枕异物，跳转步骤S2，直至一段轨道中的所有轨枕检测完成。
[0005]进一步地，包括轨枕异物检测装置，轨枕异物检测装置包括铁路巡检平台和上位机，所述铁路巡检平台设有机械臂、深度相机、夹爪和收集箱，所述机械臂和所述深度相机
设置在所述铁路巡检平台上，所述夹爪设在所述机械臂末端，上位机获取存在轨枕异物信号和轨枕异物中心点三维坐标，快速规划处机械臂的运动路径，通过机械臂末端的夹爪夹取传递给轨枕异物，放置在收集箱中。
[0006]进一步地，在所述步骤S1中，轨枕数据集包括300到400张不同光照位置条件下轨枕彩色图像。
[0007]进一步地，在所述步骤S1中，不同光照位置条件包括以下各种复杂光照干扰现象中的一种：光照不足、地面反光、强光照和暗阴影。
[0008]进一步地，所述步骤S3对轨枕平面进行过滤，在利用最小二乘法进行平面拟合的过程中，能够通过各离散点对目标平面的距离平方和作为优化函数，来计算目标平面的参数，三维平面的一般表达式为：
ꢀꢀꢀꢀꢀ
(1)式中，A，B，C，D为平面参数值，(x，y，z)为三维空间中的点；对于三维空间中任意一点到三维平面的距离d能够表示为：(2)整理可得：
ꢀꢀꢀꢀꢀꢀ
(3)式中，三维空间中任意一点的坐标，，，，；根据最小二乘法，需要找到各点距离平面和最近的平面参数，则能够计算点到平面距离计算为：
ꢀꢀꢀꢀꢀꢀ
(4)各点距离平面和最近的平面参数为：
ꢀꢀꢀ
(5)式中，是拟合平面的三维坐标矩阵，是拟合平面参数的向量，b是和相同形状的单位矩阵；当需要S最小时，则有：(6)所以将公式(6)对X求导后能够得出(7)即
ꢀꢀꢀꢀ
(8)将RealSense点云数据以的格式代入上述公式中，能够计算出轨枕的平面参数，根据深度图像获得图片中像素点的x、y、z计算轨枕平面法向量参数，并据轨枕平面法向量参数利用OpenCV库计算深度图像中各点与轨枕平面距离，将距离小于设定阈值的点设置彩色图片中相应像素颜色信息为黑色，完成平面过滤。
[0009]进一步地，所述步骤S4采用Canny算法边缘检测。
[0010]进一步地，利用OpenCV库先计算三个通道RGB的值，将图像转化为灰度图像，采用高斯滤波进行降噪处理，高斯滤波通过两次一维高斯核加权实现或是一个二维高斯核卷积完成，卷积后的灰度值为：
ꢀꢀ
(9)式中，，，，分别为图像两次卷积的标准差和均值，为图像坐标系中每个点的灰度值；对降噪后图像一阶差分计算，利用sobel算子对图像进行卷积，能够得到图像在x轴与y轴两个方向上的梯度矩阵，其主要作用如下：
ꢀꢀꢀꢀꢀꢀꢀ
(10)式中，A为高斯卷积后图像灰度矩阵，，为计算后图像两个方向的梯度矩阵；得到两个方向的梯度，计算总梯度，其中幅值为，方向为；对于进行高斯滤波后的图像，针对一些模糊的边缘信息进行判定细化边缘，将边缘像素与临近像素进行对比，将局部梯度最大的点保留下来，能够获得一条明确且锐利的边缘。
[0011]进一步地，采用双阈值法来检测和连接边缘，根据梯度值设定一个高阈值和一个低阈值对图像进行筛选，根据高阈值能够过滤得到一个还有少量假边缘的图像，并根据低阈值将高阈值图像中边缘端点连接起来得到完整闭合的轮廓曲线。
[0012]进一步地，所述步骤S4中，根据深度相机轨枕彩色图像与深度图像标定，获得深度图像和轨枕彩色图像内外参：
ꢀꢀꢀꢀ
(11)
ꢀꢀꢀꢀ
(12)式中，分别为轨枕彩色图像与深度图像像素坐标系下坐标，与为比例因子，f为相机焦距，为图像坐标系原点坐标，分别为彩色相机与深度相机外参中的相对旋转矩阵与相对位置矩阵，为目标三维坐标，是世界坐标系下的点；将内参矩阵结合，从而实现轨枕彩色图像与深度图像的配准：
ꢀꢀꢀꢀꢀ
(13)M为变换矩阵，将多组深度图像与彩色图像对应点代入能够得到，从而实现彩色图像与深度图像的配准根据需求轨枕彩色图像像素坐标系坐标值，进而获得目标三维坐标。
[0013]与现有技术相比，本专利技术具有以下优点和有益效果：本专利技术所述的一种基于深度相机的轨枕异物检测方法，采用CenterNet对自制轨枕数据集进行学习，利用目标检测过滤轨枕外图像信息，并通过对深度图像信息最小二乘法提取背景平面过滤，通过边缘检测得到异物信息，结合深度图像与彩色图像得到物体三维位置，只需对轨枕环境的训练就能通过单个深度相机实现轨枕的异物检测，不需要针对不同异物进行训练，适应各种形状种类的异物检测，方便快捷，能够实现快速检测。
附图说明
[0014]图1是本专利技术轨枕异物检测方法的流程图。
[0015]图2是本专利技术所涉及的硬件设备。
[0016]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机的轨枕异物检测方法，其特征在于，包括：步骤S1、目标检测神经网络训练，将相机固定在铁路巡检平台，通过相机收集不同光照位置条件下的轨枕彩色图像，标注轨枕彩色图像中的轨枕，制作成轨枕数据集，将轨枕数据集送入CenterNet目标检测神经网络中训练，并利用训练的网络对轨枕彩色图像进行轨枕检测，获取轨枕的外包围框；步骤S2、背景过滤，将相机获取到的实时图像，通过步骤S1训练的神经网络进行目标检测，根据目标检测结果的外包围框，在轨枕彩色图像和对应的深度图像中采用OpenCV库中mask函数过滤外包围框以外像素信息，并设置为黑色；步骤S3、平面过滤，将轨枕彩色图像识别到轨枕平面区域对应至深度图像相应区域，在深度图像采用最小二乘法识别平面参数，并根据平面参数过滤彩色图像中平面的像素点；步骤S4、边缘检测，在设定区域面积阈值，对于大于阈值面积的区域定义为存在轨枕异物，并通过深度信息回归轨枕异物中心点三维坐标；步骤S5、将存在轨枕异物信号和轨枕异物中心点三维坐标发布给上位机，清除轨枕异物，跳转步骤S2，直至一段轨道中的所有轨枕检测完成。2.根据权利要求1所述的基于深度相机的轨枕异物检测方法，其特征在于：包括轨枕异物检测装置，轨枕异物检测装置包括铁路巡检平台和上位机，所述铁路巡检平台设有机械臂、深度相机、夹爪和收集箱，所述机械臂和所述深度相机设置在所述铁路巡检平台上，所述夹爪设在所述机械臂末端，上位机获取存在轨枕异物信号和轨枕异物中心点三维坐标，快速规划处机械臂的运动路径，通过机械臂末端的夹爪夹取传递给轨枕异物，放置在收集箱中。3.根据权利要求1所述的基于深度相机的轨枕异物检测方法，其特征在于：在所述步骤S1中，轨枕数据集包括300到400张不同光照位置条件下轨枕彩色图像。4.根据权利要求1所述的基于深度相机的轨枕异物检测方法，其特征在于：在所述步骤S1中，不同光照位置条件包括以下各种复杂光照干扰现象中的一种：光照不足、地面反光、强光照和暗阴影。5.根据权利要求1所述的基于深度相机的轨枕异物检测方法，其特征在于：所述步骤S3对轨枕平面进行过滤，在利用最小二乘法进行平面拟合的过程中，能够通过各离散点对目标平面的距离平方和作为优化函数，来计算目标平面的参数，三维平面的一般表达式为：
ꢀꢀꢀ
(1)式中，A，B，C，D为平面参数值，(x，y，z)为三维空间中的点；对于三维空间中任意一点到三维平面的距离d能够表示为：(2)整理可得：
ꢀꢀꢀ
(3)式中，三维空间中任意一点的坐标，，，
，；根据最小二乘法，需要找到各点距离平面和最近的平面参数，则能够计算点到平面距离计算为：
ꢀꢀꢀ
(4)各点距离平面和最近的平面参数为：
...

【专利技术属性】
技术研发人员：肖晓晖，左晨乐，吴少诚，程佳慧，周世煜，
申请(专利权)人：武汉大学，
类型：发明
国别省市：