基于RGB和D信息融合的RTG视觉障碍物检测的方法技术

本发明专利技术公开了基于RGB和D信息融合的RTG视觉障碍物检测的方法，包括：步骤1，获取双目摄像头中左摄像头的RGB图像，由双目计算得到的Depth深度图像以及需要检测障碍物的ROI感兴趣区域；步骤2，基于Depth深度图通过U/V视差法检测障碍物；步骤3，对RGB图做边缘轮廓检测，检测障碍物；步骤4，使用神经网络模型做目标检测，检测训练过的物体类别；步骤5，使用训练的分类模型对步骤2和步骤3中的检测结果判断是否属于障碍物；步骤6，对步骤4和步骤5中的物体框做合并过滤等操作；步骤7，根据物体框与ROI感兴趣区域的位置关系判断是否属于ROI检测区域；步骤8，由Depth深度图计算障碍物的距离。

【技术实现步骤摘要】
基于RGB和D信息融合的RTG视觉障碍物检测的方法
本专利技术涉及基于RGB和D信息融合的RTG视觉障碍物检测的方法。
技术介绍
轮胎式集装箱龙门起重机(Rubber-TyredContainerGantryCrane，RTG)是集装箱港口码头的重要作业设备，其在现代化码头作业中起到了举足轻重的作用，如果能最大化利用RTG将极大地提高码头工作效率。但是RTG设备体积庞大，驾驶室距地面高度较高，对驾驶员提出很高的操作要求，因此如何能为RTG设备提高安全性是一个重要的研究课题。为满足上述安全需求，防撞检测系统作为一种辅助驾驶设备逐渐受到重视。目前，国内外RTG防撞系统障碍物检测方法主要包括：基于超声波传感器的障碍物检测方法，基于红外传感器的障碍物检测方法，基于激光传感器的障碍物检测方法和基于视觉的障碍物检测方法。前两种方法因为检测距离短，可感知信息少等缺点而无法作为主要检测依据，常常只作为辅助手段，主要采用的是基于激光和视觉两种检测方法。基于激光的障碍物检测方法是一项应用相对成熟的技术，但是激光传感器一般成本较高，检测粒度低，无法感知障碍物类别等更丰富的信息。张等人提出了基于激光扫描仪的集装箱防撞检测系统。参考文献：张志勇,应俊,刘影.基于激光的集装箱防撞系统[J].集装箱化,2015,26(11):18-21。相对于基于激光的障碍物检测方法，基于视觉的障碍物检测方法则具有信息丰富，检测距离远，成本较低等优点，尤其是随着近些年计算机视觉技术的突破性发展，此类方法将具有更深远的研究和实用价值。此类方法中曾有早期的基于简单视觉特征如颜色、色彩外观检测障碍物，如She等人提出的根据颜色信息进行图像分割检测障碍物的方法。参考文献：SheAC,HuangTS.Segmentationofroadscenesusingcolorandfractal-basedtextureclassification[C].ImageProcessing,1994.Proceedings.ICIP-94.,IEEEInternationalConference.IEEE,1994,3:1026-1030。基于单目RGB图像的视觉障碍物检测方法除了利用颜色信息的方法还有利用边缘检测技术检测障碍物的方法，边缘是图像最基本的特征，通过提取边缘可以达到将图像与背景分开的目的，进而检测到障碍物。Canny算子作为一种经典的边缘提取方法可以很好地应用与障碍物检测中。边缘检测的缺点是提取出的边缘不仅仅是障碍物的边缘，也可能是阴影及周围环境。参考文献：CannyJ.Acomputationalapproachtoedgedetection[J].IEEETransactionsonpatternanalysisandmachineintelligence,1986(6):679-698。利用单目视觉虽然也可以检测到障碍物，但是这类方法通常无法计算到障碍物的距离信息，然而距离信息是防撞避障中必不可少的信息，融合双目视觉产生的Depth深度图的方法可以很好地解决上述问题。陈等人提出了利用Depth深度图可以计算得到的U-V视差图确定路面和检测障碍物的方法。参考文献：陈雪,张卫彬,程广涛.基于双目立体视觉的障碍物检测方法[J].软件导刊,2012,11(2):146-148。近年来随着深度学习的发展，其对计算机视觉领域中的物体检测任务效果有了很大的提升，利用深度学习中的深度神经网络可以很好地检测到图像中的物体。如Girshick等人提出的R-CNN，利用深度卷积神经网络提取高层图像特征完成物体检测。参考文献：GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C].ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2014:580-587。通过上述分析可以发现，基于视觉的检测方法相对于其它传感器的方法具有成本低，信息丰富等优点。同时，仅仅利用RGB彩色图像进行障碍物检测无法得到障碍物距离这一重要信息，因此融合Depth深度图信息是必要的。近年来针对相关方面的研究逐渐增多，如Gupta提出的MergeNet融合RGB彩色图像和Depth深度图像进行障碍物检测。但是此研究中是针对特定已知类别物体检测，对未知未训练过的类别不具有鲁棒性。参考文献：GuptaK,JavedSA,GandhiV,etal.MergeNet:ADeepNetArchitectureforSmallObstacleDiscovery[J].arXivpreprintarXiv:1803.06508,2018。
技术实现思路
专利技术目的：采用视觉障碍物检测来保障RTG安全作业，满足现代化集装箱码头生产需求。克服使用简单视觉特征检测障碍物的不准确性，单纯使用基于RGB图像而丧失距离信息，仅利用Depth深度图检测障碍物的不鲁棒性、无法感知物体类别、检测距离短等方面的问题。考虑融合RGB图像和Depth深度图信息，增加感知障碍物类别、距离等信息，合理使用边缘轮廓等简单特征实现开放式、未知类别、未训练类别障碍物的检测。为了解决上述问题，本专利技术公开了一种基于RGB(RGB即红绿蓝)和D(D表示Depth图像)信息融合的RTG(RTG表示轮胎式集装箱龙门起重机)视觉障碍物检测方法，该方法可以用于集装箱码头龙门起重机防撞系统，障碍物检测等应用中，包括如下步骤：步骤1，获取双目摄像头中左摄像头的RGB图像，由双目计算得到Depth深度图像以及需要检测障碍物的ROI感兴趣区域；步骤2，基于Depth深度图像通过U/V视差法(U/V指图像中的UV坐标系)检测障碍物，得到候选障碍物物体框；步骤3，对RGB图做边缘轮廓检测，得到候选障碍物物体框；步骤4，标注训练数据，并利用标注数据训练目标检测的神经网络模型，使用神经网络模型做目标检测，检测训练过的物体类别，可以得到相应物体的位置坐标信息(物体框)和类别信息；步骤5，判断步骤2和步骤3中的检测结果是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；步骤6，对步骤4和步骤5中的物体框做合并过滤操作，得到进一步的候选障碍物物体框；步骤7，根据候选障碍物物体框与ROI感兴趣区域的位置关系判断其是否属于ROI检测区域，如果是，执行步骤8；步骤8，由Depth深度图像计算障碍物的距离。步骤1中，在RTG中使用视觉防撞方案，使用自主安装的双目摄像头获取RGB图像和Depth深度图像信息，用于障碍物检测。其中Depth深度图由双目视觉算法计算得到，双目视觉算法采用的是在GPU(GraphicsProcessingUnit，图形处理器)上实现的SGM(Semi-GlobalMatching，半全局立体匹配)算法。视觉防撞可以通过单目或双目两种方法实现，本专利技术采用的是类似于美国火星探测车使用的双目视觉障碍物检测防撞方案。双目摄像头通过两个型号相同的定焦单目摄像头水平固定自主安装得到；参考文献：GoldbergSB,MaimoneM本文档来自技高网...

【技术保护点】
1.基于RGB和D信息融合的RTG视觉障碍物检测的方法，其特征在于，包括如下步骤：步骤1，获取双目摄像头中左摄像头的RGB图像，由双目计算得到Depth深度图像以及需要检测障碍物的ROI感兴趣区域；步骤2，基于Depth深度图像通过U/V视差法检测障碍物，得到候选障碍物物体框；步骤3，对RGB图做边缘轮廓检测，得到候选障碍物物体框；步骤4，标注训练数据，并利用标注训练数据训练用于目标检测的神经网络模型，使用神经网络模型做目标检测，检测训练过的物体类别，得到相应物体的位置坐标信息即物体框和类别信息；步骤5，判断步骤2和步骤3中的检测结果是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；步骤6，对步骤4和步骤5中的物体框做合并过滤操作，得到进一步的候选障碍物物体框；步骤7，根据候选障碍物物体框与ROI感兴趣区域的位置关系判断其是否属于ROI检测区域，如果是，执行步骤8；步骤8，由Depth深度图像计算障碍物的距离。

【技术特征摘要】
1.基于RGB和D信息融合的RTG视觉障碍物检测的方法，其特征在于，包括如下步骤：步骤1，获取双目摄像头中左摄像头的RGB图像，由双目计算得到Depth深度图像以及需要检测障碍物的ROI感兴趣区域；步骤2，基于Depth深度图像通过U/V视差法检测障碍物，得到候选障碍物物体框；步骤3，对RGB图做边缘轮廓检测，得到候选障碍物物体框；步骤4，标注训练数据，并利用标注训练数据训练用于目标检测的神经网络模型，使用神经网络模型做目标检测，检测训练过的物体类别，得到相应物体的位置坐标信息即物体框和类别信息；步骤5，判断步骤2和步骤3中的检测结果是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；步骤6，对步骤4和步骤5中的物体框做合并过滤操作，得到进一步的候选障碍物物体框；步骤7，根据候选障碍物物体框与ROI感兴趣区域的位置关系判断其是否属于ROI检测区域，如果是，执行步骤8；步骤8，由Depth深度图像计算障碍物的距离。2.根据权利要求1所述的方法，其特征在于，步骤1中，在RTG中使用视觉防撞方案，使用自主安装的双目摄像头获取RGB图像和Depth深度图像信息，用于障碍物检测。3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：步骤2-1，设置障碍物检测有效距离范围参数，取该范围内的Depth深度图像；步骤2-2，利用Depth深度图像计算U/V视差图，计算公式如下：其中vdj表示V视差图中第j行第d列的值，cols表示Depth深度图像的列数，Δij用于表示Depth深度图第j行第i列的深度值即dispij是否为d，如果为d，则该值为1；dispij表示Depth深度图第j行第i列的深度值，uid表示U视差图中第d行第i列的值，rows表示Depth深度图像的行数；步骤2-3，基于V视差图拟合直线，分割出路面区域，去除多余干扰信息；步骤2-4，基于U视差图拟合直线，检测出障碍物，得到候选障碍物物体框。4.根据权利要求3所述的方法，其特征在于，步骤3中，对RGB图做Canny边缘检测，对边缘检测的结果做轮廓检测，得到候选障碍物物体框。5.根据权利要求4所述的方法，其特征在于，步骤4包括如下步骤：步骤4-1，采集RTG使用场景中图像数据，标注检测目标的物体框及类别信息；步骤4-2，利用步骤4-1中标注好的数据对预训练好的检测模型做fine-tuning微调，调优；步...

【专利技术属性】
技术研发人员：申富饶，韩峰，黄羽佳，姜少魁，赵健，李俊，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32