一种机器人双目立体视觉障碍物感知方法与系统技术方案

本发明专利技术属于人工智能图像处理技术领域，公开了一种机器人双目立体视觉障碍物感知方法与系统，应用在具有双目摄像传感器的硬件设备中提高障碍物检测精度，1)先通过预处理算法对获取到的图像数据进行处理，从而获得预处理图像；2)通过双目立体匹配算法处理，从而将获得的预处理图像进一步处理获取视差图；3)通过卷积神经网络进行学习和验证，从而对视差图进行处理从而获取到深度图像，并根据深度图像的深度信息进行三维重建。同时，本发明专利技术还公开一种系统，具有图像预处理模块和立体视觉处理模块。本发明专利技术通过立体视觉可以让机器人进一步理解障碍物的距离、高度信息，有效排除伪障碍物，从而提高其对环境理解的精准度。从而提高其对环境理解的精准度。从而提高其对环境理解的精准度。

【技术实现步骤摘要】
一种机器人双目立体视觉障碍物感知方法与系统


[0001]本专利技术属于人工智能图像处理
，具体涉及一种机器人双目立体视觉障碍物感知方法与系统。

技术介绍

[0002]机器人道路环境的理解，除了检测和识别道路导航标识外，还需准确探测出道路环境中的障碍物，以提高道路环境理解的准确性和完整性。机器人障碍物检测常采用两种途径：雷达测距法，CCD视觉法。本专利研究的是后者。典型的机器人立体视觉障碍物检测方法包括：完全依靠立体视觉感知；立体视觉与雷达融合感知。在DARPAUrbanChallenge中，Princeton车队的自主车Prowler只用了3个立体视觉摄像机Bumblebee就完成了看路及障碍物检测。其立体视觉系统能探测60米远，一套障碍物检测算法即可通用。双目视觉在智能机器人中是一项核心技术。要实现机器人的深度人工智能，让机器人能够看得更准、更快、更智能是最基本的条件之一。
[0003]一般的立体视觉障碍物检测方法是按像素点进行匹配，对机器人获取的行进道路图像中需要判定的每一个像素点进行立体视觉计算，根据图像坐标、摄像机坐标及世界坐标系之间的关系，计算出像素点的高度值，该值与地面高度值的差值超过设定的阈值则划分为障碍点，否则为可通行区域。典型应用是火星探测车“勇气号”和“机遇号”，做法是：先对图像中的每一像点进行左右视点匹配及高峰、小点过滤，再根据其像点的高度、斜坡度判断是否为障碍物，同时建立障碍物的远近层次图，当前只考虑较近层次的障碍物。该方法的缺点是对图像中的每一个像素点都要进行立体视觉重建，计算量大，不能满足快速移动机器人的实时性要求。
[0004]尽管人们对基于视觉的障碍物检测方法已开展了大量研究，但迄今为止该领域的一些关键技术问题仍未得到很好的解决，总的来看，目前车载、机载等快速移动机器人视觉平台障碍物检测的难点可总结为以下几点：
[0005]特征相似障碍物的区分。有些障碍物与可通行区域的特征提取结果非常相似，例如颜色、纹理特征一致，此时障碍物的准确辨识比较困难，可以尝试采用多特征融合方法加以解决；
[0006]伪障碍物的检测及障碍物界定。有些伪障碍物按照系统障碍物的定义被判断为障碍物，例如路面上高度、体积不大的石块、砖块等，空中突然闯入的飞鸟、纸屑、树叶等，还有扬尘尘团、污染物团等，如果频繁的把这些伪障碍物作为障碍物处理，显然会影响车辆行进速度；
[0007]运动振动造成的障碍物信息测量失真。典型的情况如无人平台在野外复杂凹凸地形环境下行进时，行进过程中的振动使得传感器检测和传输的数据不连续，从而造成所描述的地形信息不准确，障碍虚报、误报率增大，影响平台行驶速度。

技术实现思路

[0008]为了解决现有技术存在的问题，本专利技术提供一种机器人双目立体视觉障碍物感知方法与系统，采用彩色双目立体视觉技术、结合局部不变性特征检测技术和深度神经网络理论，适用于车载、机载、机器人等视觉系统，提高其障碍物检测和模式识别精度。
[0009]本专利技术所采用的技术方案为：
[0010]第一方面，本专利技术公开一种机器人双目立体视觉障碍物感知方法，应用在具有双目摄像传感器的硬件设备中提高障碍物检测精度，
[0011]S1.先通过预处理算法对获取到的图像数据进行处理，从而获得预处理图像；
[0012]S2.通过双目立体匹配算法处理，从而将获得的预处理图像进一步处理获取视差图；
[0013]S3.通过卷积神经网络进行学习和验证，从而对视差图进行处理从而获取到深度图像，并根据深度图像的深度信息进行三维重建。
[0014]结合第一方面，本专利技术提供第一方面的第一种实施方式，其中，所述步骤S1中的预处理算法包括滤波算法进行畸变消除、通过校正算法进行校正、对图像进行压缩以及对图像进行特征检测、通过小波阈值降噪法进行图像噪声去除、对图像进行压缩、通过光学防抖对振动进行抑制以及对图像进行特征提取中的一种或多种。
[0015]其中，立体视觉图像在预处理过程中的去噪采用基于小波阈值降噪法。利用信号通常是低频或者平稳信号形式、而噪声一般是高频信号的特点，采用小波阈值降噪方法滤除高频信号。选择小波coif2，一般情况下选择分解尺度N＝4，根据具体实施场景可调整分解尺度。具体操作方法是：通过设置某种阈值，将小波系数与阈值进行比较，将小于阈值的系数设置为0，而对大于阈值的小波系数，通过某种阈值函数进行修正得到其估计系数。阈值的确定方法采用邻域信息的分块阈值法。采用以下两类噪声数据集测试降噪效果，一类是高斯白噪声—BSD68、Set12等；另一类是真实噪声，真实噪声数据集采用DnD、RNI15、SIDD等。去噪步骤：
[0016]对立体视觉采集到的原始图像信号进行小波分解。选择一个小波和小波分解的层次N，然后计算信号s到第N层的分解，得到各细节分量(高频)与近似分量(低频)；对高频系数进行阈值量化，对于从1
‑
N的每一层，选择一个阈值，并对这一层的高频系数进行软阈值量化处理。
[0017]对细节分量进行阈值处理，用处理后的各分量进行小波重构，得到去噪后的图像信号。
[0018]阈值处理方面采用极值阈值原则(minimax)：采用极大极小原理选择阈值，产生一个最小均方误差的极值。最后进行二维小波重构。
[0019]而其中所采用光学防抖技术路线，利用镜头里的陀螺仪对微小偏移量进行测量，将偏移量测量结果信号传递至镜头内的微处理器，计算补偿位移量，然后根据镜头抖动加以补偿，以调整镜头角度或距离的方式使光路稳定，有效克服振动所带来的画面模糊。
[0020]结合第一方面，本专利技术提供第一方面的第二种实施方式，所述步骤S2中的双目立体匹配算法中：
[0021]先实现基于像素块的快速匹配，假定一幅图像中的每一像素点都是兴趣点，再在另一幅图像中搜索对应像素点，搜索以像素块为单位进行；
[0022]然后再实现基于特征的匹配，先在一幅图像中确定出特征，然后再在待匹配图像中利用约束条件在一定范围内搜索相似特征；
[0023]再进行局部优化和全局优化相结合的优化匹配，从而获得匹配后的视差图数据。
[0024]结合第一方面的第一种实施方式，本专利技术提供第一方面的第三种实施方式，所述特征检测方法如下：
[0025]先从视频序列中检测并分割出目标，作为模板图像，提取模板图像的SURF特征点；然后读取视频帧，采用背景减差法检测出运动目标，得到包含运动目标的感兴趣区域，提取该区域的SURF特征点；
[0026]将上述方式中获取的两种SURF特征点集通过最近邻法进行匹配，并统计匹配点的数量，匹配点数量最多的目标为最终检测出的目标；
[0027]再用视频序列中匹配的目标图像更新模板图像。
[0028]结合第一方面，本专利技术提供第一方面的第四种实施方式，所述步骤S2中采用增加约束条件来减少误匹配，所述约束条件包括一性约束、相似性约束、外极线约束、平滑性约束、单调性约束、顺序约束、遮挡约束中的一种或多种。
...

【技术保护点】

【技术特征摘要】
1.一种机器人双目立体视觉障碍物感知方法，应用在具有双目摄像传感器的硬件设备中提高障碍物检测精度，其特征在于：S1.先通过预处理算法对获取到的图像数据进行处理，从而获得预处理图像；S2.通过双目立体匹配算法处理，从而将获得的预处理图像进一步处理获取视差图；S3.通过卷积神经网络进行学习和验证，从而对视差图进行处理从而获取到深度图像，并根据深度图像的深度信息进行三维重建。2.根据权利要求1所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：其中，所述步骤S1中的预处理算法包括滤波算法进行畸变消除、通过校正算法进行校正、对图像进行压缩以及对图像进行特征检测、通过小波阈值降噪法进行图像噪声去除、对图像进行压缩、通过光学防抖对振动进行抑制以及对图像进行特征提取中的一种或多种。3.根据权利要求1所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：所述步骤S2中的双目立体匹配算法中：先实现基于像素块的快速匹配，假定一幅图像中的每一像素点都是兴趣点，再在另一幅图像中搜索对应像素点，搜索以像素块为单位进行；然后再实现基于特征的匹配，先在一幅图像中确定出特征，然后再在待匹配图像中利用约束条件在一定范围内搜索相似特征；再进行局部优化和全局优化相结合的优化匹配，从而获得匹配后的视差图数据。4.根据权利要求2所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：所述特征检测方法如下：先从视频...

【专利技术属性】
技术研发人员：杜明芳，
申请(专利权)人：杜明芳，
类型：发明
国别省市：