非对称核卷积神经网络的双目视觉障碍物检测系统及方法技术方案

本发明专利技术公开了一种非对称核卷积神经网络的双目视觉障碍物检测系统及检测方法。该系统由图像采集模块、立体匹配模块和障碍物检测模块三个部分组成，图像采集模块采集双目图像，传输给立体匹配模块处理得到视差图，再传输给障碍物检测模块进行障碍检测，得到精确的障碍物区域。本发明专利技术的非对称核卷积神经网络的双目视觉障碍物检测方法包括：首先将采集的原始双目图像做校正处理，得到水平对其的双目图像；再设计非对称核卷积神经网络用于计算匹配代价，进而计算视差图；最后利用点云图法检测图像中的障碍物区域。本发明专利技术的障碍物检测系统及其方法具有较快的检测速度以及良好的障碍物检测精度。

Binocular vision obstacle detection system and method based on asymmetric kernel convolution neural network

The invention discloses a binocular vision obstacle detection system and a detection method of an asymmetric nuclear convolution neural network. The system is composed of image acquisition module, stereo matching module and obstacle detection module. The image acquisition module collects binocular images, transfers them to stereo matching module to process parallax map, and then transfers them to obstacle detection module for obstacle detection to obtain accurate obstacle area. The binocular vision obstacle detection method of the asymmetric kernel convolution neural network of the invention includes: firstly, the original binocular image is corrected to obtain the horizontal binocular image of the acquired binocular image; secondly, the asymmetric kernel convolution neural network is designed to calculate the matching cost, and then the disparity map is calculated; finally, the point cloud method is used to detect the disparity map. The obstacle area in the image. The obstacle detection system and the method of the invention have fast detection speed and good obstacle detection precision.

【技术实现步骤摘要】
非对称核卷积神经网络的双目视觉障碍物检测系统及方法
本专利技术属于双目视觉图像处理
，具体是涉及一种基于非对称核卷积神经网络的双目视觉障碍物检测系统及检测方法。
技术介绍
机器人是一种能够模拟人类或其他动物行为的一种设备。目前，机器人作为一种智能化设备常见于智能家居、自动化工厂和水下等应用场合中。其中，障碍物检测是机器人的一项关键技术，利用双目视觉检测障碍物是其中的一种方法。双目视觉障碍物检测的关键问题之一是立体匹配技术，其目的是找出两幅图像中相对应的两个相似点，从而实现视差选择。然而，目前常见的立体匹配方法在匹配速度和匹配效果上不能够很好平衡，匹配效果较好的方法，往往需要大量的运算时间，不能够满足机器人使用要求。近些年来，深度学习快速发展，并用于解决很多计算机视觉方面的问题。其中，卷积神经网络用于立体匹配技术中，虽然该网络结构能有较好的匹配结果，但是网络结构设计臃肿，匹配速度不理想。本专利技术针对匹配速度问题，对网络结构进行改进设计，设计一种非对称核卷积神经网络的障碍物检测系统和检测方法，具有较快的检测速度以及良好的检测精度
技术实现思路
本专利技术的目的是针对机器人双目视觉的障碍物检测，提供一种非对称核卷积神经网络的双目视觉障碍物检测系统和检测方法。本专利技术利用一种非对称卷积神经网络，学习并计算左右视图中待匹配图块的匹配代价，并使用十字交叉聚合的方式进行单个像素代价聚合，能有效快速的获取双目图像的视差图。非对称结构网络结构不仅具有传统卷积神经网络特征提取性能好，鲁棒性好的优点，而且其采用非对称卷积结构，使用更少的参数获取图像特征，极大的降低计算量，减少计算时间。为实现上述目的，本专利技术通过以下技术方案予以实现，一种非对称核卷积神经网络的双目视觉障碍物检测系统，由依次相连接的图像采集模块、立体匹配模块和障碍物检测模块组成。其中所述的图像采集模块用于采集场景中的左图像和右图像，其中左右图像均为光学图像；所述的立体匹配模块用于对采集的图像进行相应的数据处理，获得对应的稠密视差图；所述的障碍物检测模块对获得的稠密视差图进行后续处理，获得最终障碍物区域。进一步，所述图像采集模块采用型号为MT9V034的双目相机，其中双目相机的分辨率为752×480，帧率为20fps，视差角度为150°。水平固定，用于采集前方场景双目图像，并通过USB接口将图像传输给立体匹配模块进行处理。进一步，所述立体匹配模块配由一台高性能GPU服务器组成，其中GPU型号为NVIDIAGTX1070,显存为8GB，用于加速非对称核卷积神经网络的立体匹配过程。立体匹配模块与障碍物检测模块采用网线连接，将匹配结果传输给障碍物检测模块进一步处理。进一步，所述障碍物检测模块由CPU为i5-6500，12GB内存的计算机构成，用于处理立体匹配模块得到的数据，获取障碍物区域。为实现上述目的，本专利技术采用的另一技术方案是：一种非对称核卷积神经网络的双目视觉障碍物检测方法，具体包括如下步骤：步骤1：从图像采集模块获取双目图像，并对原始图像进行预处理，消除图像中噪声；步骤2：标定图像采集模块，获取图像采集模块的内参与畸变参数，对双目图像进行双目校正处理；步骤3：设计出一种非对称核卷积神经网络结构用于快速计算两个图块的相似度，使得神经网络输出为相似度得分；步骤4：构建一种用于步骤3设计的网络结构能使用的训练数据集，数据集包括真实视差及其对应的左右图像中的图块；步骤5：使用步骤4构建的训练数据集，对神经网络进行迭代训练，获得最优参数；步骤6：将训练良好的神经网络输出相似度得分作为匹配代价，并利用十字交叉聚合的方法求取聚合区域内像素点匹配代价的平均值；步骤7：基于赢者通吃策略择优选择视差搜索范围内视差，并用插值法对结果进行亚像素增强；步骤8：利用点云图法对步骤7得到的视差图进行处理，检测出障碍物区域。其中，步骤3所述的非对称核卷积神经网络结构的具体设计：特征提取网络有两个并列的非对称卷积核卷积层叠加而成，再将它们的结果做点积运算进行汇总并输出。每个并行特征提取分支，仅有非对称结构卷积核与传统卷积神经网络构成，无池化操作。具体如下：1、以N×N大小的窗口作为网络输入，2、后接多个非对称卷积单元，卷积单元可分解为三层卷积核，第一层为1×K大小矩形卷积核，后接K×1矩形卷积核，再接1×1像素卷积核，使用激活函数为ReLU函数但在最后一层不使用激活函数。并列的非对称卷积核组合的特征提取网络实现参数共享。左右子分支不同在于：左侧分支在训练时输入左图待匹配图像方块，右侧分支训练时输入视差搜索范围内图像长条。最后将特征提取网络用内积的方式进行融合，并输出相似度得分。步骤4所述的构建训练数据集，具体如下：所有数据和对应的标签均从双目数据库获取。对于训练数据集，需要为每个像素点，划分出左图对应网络输入大小的方块，和右图同等宽度且对应视差搜索范围的图像长条，并标记真实视差。1、样本裁剪在训练阶段，使用双目数据集中图像数据，其提供的多幅图像数据为完整图像，不能直接作为本专利技术CNN结构的输入层，需要将其进行相应的裁剪，具体步骤如下：a)根据双目数据集中提供的真实视差数据，在左图像中选取具有真实视差的像素点pL＝(x,y)，并记录该点图像坐标(x,y)，然后提取以像素点pL为中心的大小为N×N图像块IL(p)；b)在右图像中选取像素点pR＝(x,y)，其坐标也为(x,y)，并以pR为中心选择大小为N×N的图像块IR(p)，再根据视差搜索范围D，在右图像中选择图像块IR(p)右边界左侧大小为N×D的图块长条从而该图块长条包含了视差搜索范围D内所有待匹配图像块IR(p-d)。以此步骤，提取双目数据集中所有的图像构建训练集，并选用双目数据集中部分图像进行裁剪用于网络训练。2、样本标准化处理样本裁剪后得到的训练集中，保存的为原始图像数据，其范围为[0,255]，不适合直接作为网络的输入，需要将数据进行标准化处理。利用公式(1)将原始图像数据变换到[1,1]范围内，并以此作为网络的输入。其中，式中，U是标准化后图像块的灰度值矩阵；X是经裁剪的原始图像块灰度值矩阵；是原始图像块灰度值矩阵X的平均值；xi是原始图像块灰度值矩阵X中各像素灰度值；S是原始图像块灰度值矩阵X的标准差；n是图像块中像素点的个数。步骤5所描述的训练非对称结构卷积神经网络具体如下：在训练阶段，网络的输出为Softmax分类器，从而需要对网络权重w最小化互熵损失函数。针对本专利技术的应用场景，对原始互熵损失函数作相应的修改，如公式(4)。其中，式中，j(w)表示一组样本的互熵损失；pi(di,w)表示第i个样本的概率分布；di为预测视差值；为真实视差值；λ1,λ2,λ3为预设值。本专利技术采用自适应矩估计的随机梯度下降算法来优化公式(4)的损失函数，并调整网络权值w。其中，随机梯度下降算法根据损失函数对每个权重的梯度的一阶矩估计和二阶矩估计，动态的调整每个权重的学习速率，使得网络权重平稳、迅速的达到最优解。在步骤6中，需要将卷积神经网络相似度得分转换为匹配代价。同时，由于场景图像中各区域纹理复杂度不同，需要引入自适应窗口的匹配代价聚合窗口，具体方法如下：在匹配代价计算阶段，只使用了训练阶段孪生卷积神经网络结构中的特征提取子网络并且输入层为大本文档来自技高网...

【技术保护点】
1.一种非对称核卷积神经网络的双目视觉障碍物检测系统，其特征在于：由依次相连接的图像采集模块、立体匹配模块和障碍检测模块组成；其中所述的图像采集模块，用于采集场景中的左图像和右图像；所述的立体匹配模块对采集的图像进行处理得到对应的视差图；所述的障碍物检测模块对得到的视差图进行进一步处理，检测最终精确的障碍物区域。

【技术特征摘要】
1.一种非对称核卷积神经网络的双目视觉障碍物检测系统，其特征在于：由依次相连接的图像采集模块、立体匹配模块和障碍检测模块组成；其中所述的图像采集模块，用于采集场景中的左图像和右图像；所述的立体匹配模块对采集的图像进行处理得到对应的视差图；所述的障碍物检测模块对得到的视差图进行进一步处理，检测最终精确的障碍物区域。2.根据权利要求1所述的非对称核卷积神经网络的双目视觉障碍物检测系统，其特征在于：所述图像采集模块采用型号为MT9V034的双目相机，水平固定，并通过USB接口将图像传输给立体匹配模块进行后续处理。3.根据权利要求1所述的非对称核卷积神经网络的双目视觉障碍物检测系统，其特征在于：所述立体匹配模块为搭载型号NVIDIAGTX1070的GPU的计算机。4.一种如权利要求1-3任一项所述的非对称核卷积神经网络的双目视觉障碍物检测系统的检测方法，其特征在于，包括如下步骤：步骤1：从图像采集模块获取双目图像，并对原始图像进行预处理，消除图像中噪声；步骤2：标定图像采集模块，获取图像采集模块的内参与畸变参数，对双目图像进行双目校正处理；步骤3：设计一种非对称核卷积神经网络用于快速计算两个图块的相似度，使得神经网络输出为相似度得分；步骤4：构建一种用于步骤3设计的非对称核卷积神经网络能使用的训练数据集，训练数据集包括真实视差及其对应的左右图像中的图块；步骤5：使用步骤4构建的数据集，对神经网络进行迭代训练，获得最优参数；步骤6：将训练良好的对对称核卷积神经网络输出相似度得分作为匹配代价，并利用十字交叉聚合的方法求取聚合区域内像素点匹配代价的平均值；步骤7：基于赢者通吃策略择优选择视差搜索范围内视差，并用插值法对结果进行亚像素增强；步骤8：利用点云图法对步骤7得到的视差图进行处理，检测出障碍物区域。5.根据权利要求4所述的检测方法，其特征在于：步骤3所述的非对称核卷积神经网络结构的具体设计，特征提取网络有两个并列的非对称卷积核卷积层叠加而成，再将其结果做点积运算进行汇总并输出；每个并行特征提取分支，仅有非对称结构卷积核与传统卷积神经网络构成，无池化操作。6.根据权利要求4所述的检测方法，其特征在于：步骤4所述的构建训练数据集具体内容是，对具有真实视差的双目数据集，根据每个像素点的真实视差值，划分在左图中对应网络输入大小的方块，和右图同等宽度且对应视差搜索范围的图像长条，并标记该点真实视差。7.根据权利要求4所述的检测方法，其特征在于：步骤5所述的训练非对称核卷积神经网络的具体...

【专利技术属性】
技术研发人员：马国军，胡颖，钟捷，曾庆军，王彪，郑威，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏,32