The invention discloses a kind of binocular visual obstacle detection system and method based on the convolution neural network. The system consists of two parts: image acquisition module and obstacle detection module. The image acquisition module collects binocular images, and transfers them to the obstacle detection module to process the corresponding image data, and get the precise obstacle area. The detection method: firstly the original image acquisition for median filtering; then according to the calibration of binocular image camera parameters; design a new convolution kernel is applied to the structure of convolutional neural network, is used to generate accurate disparity map; finally, the detection of V image accurately in the parallax barrier region improved. The invention has good detection precision for the obstacles in the conditions of complex light and small obstacles, as well as good robustness.
【技术实现步骤摘要】
基于卷积神经网络的双目视觉障碍物检测系统及方法
本专利技术涉及双目视觉图像处理
,尤其涉及一种基于卷积神经网络的双目视觉障碍物检测系统及其检测方法。
技术介绍
随着计算机技术的进步,智能车得到了快速的发展,广泛的应用于国防、科研和日常生活等领域中。其中,障碍物检测是智能车导航中的核心问题。卷积神经网络是一种前馈网络,其人工神经元可以响应覆盖范围内的单元,包括了卷积层和池化层,对图像处理有着出色的表现。近年来受到人们越来越多的关注,且应用领域也越来越广泛。目前,基于双目视觉的障碍检测方法逐渐成为研究的热点问题,通过双目匹配寻找双目图像中的同一场景,生成改空间场景的视差关系图,在运用特定的检测方法对视差图进行处理得到对应的障碍检测区域。然而,当场景出现复杂的光线以及较小的障碍物等情况时,现有的方法很难做到精确的障碍物区域检测和维持系统的鲁棒性。因此,对于智能车的复杂环境而言,如何精确的检测障碍物区域以及维持系统的鲁棒性成为了一个亟待解决的问题。
技术实现思路
针对上述问题,本专利技术的目的是提供一种基于卷积神经网络的双目视觉障碍物检测系统及其检测方法,以解决传统双目视觉障碍物检测方法在障碍物检测精度以及系统鲁棒性等方面的不足。为实现上述目的,本专利技术采取以下技术方案:一种基于卷积神经网络的双目视觉障碍物检测系统,由相连接的图像采集模块和障碍物检测模块组成。其中所述的图像采集模块用于采集场景中的左图像和右图像,其中左右图像均为光学图像。所述的障碍物检测模块用于对采集的图像数据进行相应的数据处理,获取最终精确的障碍物区域。进一步,上述所述图像采集模块为两个水平 ...
【技术保护点】
一种基于卷积神经网络的双目视觉障碍物检测系统,其特征在于:由相连接的图像采集模块和障碍物检测模块组成;其中所述的图像采集模块,用于采集场景中的左图像和右图像;所述的障碍物检测模块用于对采集的图像数据进行相应的数据处理,获取最终精确的障碍物区域。
【技术特征摘要】
1.一种基于卷积神经网络的双目视觉障碍物检测系统,其特征在于:由相连接的图像采集模块和障碍物检测模块组成;其中所述的图像采集模块,用于采集场景中的左图像和右图像;所述的障碍物检测模块用于对采集的图像数据进行相应的数据处理,获取最终精确的障碍物区域。2.根据权利要求1所述的一种基于卷积神经网络的双目视觉障碍物检测系统,其特征在于:所述图像采集模块为两个水平平行放置的型号为PikeF-100的工业摄像机,并采用IEEE-1394b接口通过采集卡将图像数据传输给计算机进行后续处理。3.根据权利要求1所述的一种基于卷积神经网络的双目视觉障碍物检测系统,其特征在于:所述障碍检测模块为配有NVIDIAGTX1070的GPU的计算机。4.一种如权利要求1-3任一项所述的基于卷积神经网络的双目视觉障碍物检测系统的检测方法,其特征在于,包括如下步骤:(1)从图像采集模块获取双目图像,并对双目图像进行预处理,消除图像中噪声;(2)标定图像采集模块,获取图像采集模块内参与畸变参数,对步骤(1)获取的双目图像进行校正处理;(3)设计孪生卷积神经网络生成精确双目图像的视差图;(4)利用改进的V视差法对步骤(3)获取的视差图处理,从而检测图像中的障碍物区域。5.根据权利要求4所述的方法,其特征在于:步骤(3)所述的设计孪生卷积神经网络生成精确双目图像的视差图的具体方法,包括:a)设计孪生卷积神经网络结构,其左右分支参数共享,所述孪生卷积神经网络由特征提取子网络和特征分类子网络组成;其中特征提取子网络左右分支能够分别从输入的图像方块和图像长条中提取对应的特征描述;特征分类子网络将提取的左右分支特征描述作点积运算,得到视差搜索范围内待匹配像素点的相似性得分,然后作为softmax层的输入得到视差概率分布;其中,特征提取子网络均由卷积层构成,卷积层中的卷积核采用间隔传递信息的方式,同时各层使用BatchNormalization技术和PRELU激活函数,最后一层卷积层不使用激活函数;b)样本裁剪;根据KITTI数据集中真实视差数据,在左图像中选取具有真实视差的像素点p(xi,yi),提取以该像素点为中心的图像块;在右图像中选取像素点q,使其坐标为(xi,yi),并以q为中心选择图像块;根据视差搜索范围,在右图像中选择以q为中心的...
【专利技术属性】
技术研发人员:马国军,胡颖,夏健,卫春军,郑威,
申请(专利权)人:江苏科技大学,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。