基于深度网络和双目视觉的阴影区域视差计算方法和系统技术方案

本发明专利技术公开了一种基于深度网络和双目视觉的阴影区域视差计算方法和系统，所述方法包括：获取目标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；通过预先创建的网络分割模型，标记所述阴影区域的阴影边界，并提取所述初始视差图中所述阴影边界的原视差值；基于模板匹配方法计算所述阴影边界的新视差值，并计算所述阴影边界上每个像素点所述新视差值与所述原视差值的差值；若所述差值大于预设阈值，则剔除该差值对应的原视差值，以得到具有空白的更新视差图；将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图。解决了现有技术中阴影区域视差值准确性较差的技术问题。影区域视差值准确性较差的技术问题。影区域视差值准确性较差的技术问题。

【技术实现步骤摘要】
基于深度网络和双目视觉的阴影区域视差计算方法和系统


[0001]本专利技术涉及辅助驾驶
，具体涉及一种基于深度网络和双目视觉的阴影区域视差计算方法和系统。

技术介绍

[0002]近年来，自动驾驶和辅助驾驶得到了广泛的使用，通过双目立体匹配获得视差图，从而获取物体的三维信息是自动驾驶领域的核心算法之一。阴影是路面图像常见的情景，建筑物、树木、车辆、行人等均会在路面上形成阴影，但是阴影部分的特征提取和识别较为困难。
[0003]现有技术中，采用传统立体匹配获得阴影区域的新视差图。但是，实际使用场景中，对于左图中某个阴影区域，在右图中可能有若干区域与之相似，这使得传统立体匹配得到的视差值存在较大误差，继而使得阴影区域的三维信息不能准确获得，转换到世界坐标系后阴影部分的高度明显大于路面其他部分，这将对自动驾驶系统对路面场景的判断和操作产生较大的干扰。

技术实现思路

[0004]为此，本专利技术实施例提供一种基于深度网络和双目视觉的阴影区域视差计算方法和系统，以期至少部分解决现有技术中阴影区域视差值准确性较差的技术问题。
[0005]为了实现上述目的，本专利技术实施例提供如下技术方案：一种基于深度网络和双目视觉的阴影区域视差计算方法，所述方法包括：获取目标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；通过预先创建的网络分割模型，标记所述阴影区域的阴影边界，并提取所述初始视差图中所述阴影边界的原视差值；基于模板匹配方法计算所述阴影边界的新视差值，并计算所述阴影边界上每个像素点所述新视差值与所述原视差值的差值；若所述差值大于预设阈值，则剔除该差值对应的原视差值，以得到具有空白的更新视差图；将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图。
[0006]进一步地，网络分割模型为U
‑
Net分割模型，所述U
‑
Net分割模型的网络结构包括编码器、下采样模块、解码器和上采样模块；其中，所述下采样模块包括两个3
×
3卷积层和一个2
×
2的maxpooling层；所述上采样模块包括一个上采样卷积层、特征拼接层和两个3
×
3的卷积层。
[0007]进一步地，基于模板匹配方法计算所述阴影边界的新视差值，具体包括：在所述原始图像的左图中获取所述阴影边界中每个像素点的模板图，在所述原始
图像的右图获取与所述模板图对应的源图像；采用SSIM算法对每一组模板图和源图像进行整像素模板匹配；对整像素模板匹配得到的视差结果进行亚像素模板匹配，以得到所述阴影边界的新视差值。
[0008]进一步地，若所述差值大于预设阈值，则剔除该差值对应的原视差值，具体包括：以世界坐标系中，目标区域与相机的实际距离为边界；若阴影边界距离相机大于所述实际距离，且所述差值小于第一预设阈值，则保留所述差值对应像素点的原视差值，否则剔除所述差值对应像素点的原视差值；若阴影边界距离相机大于所述实际距离，且所述差值小于第二预设阈值，则保留所述差值对应像素点的原视差值，否则剔除所述差值对应像素点的原视差值；其中，所述第一预设阈值小于所述第二预设阈值。
[0009]进一步地，所述第一预设阈值为0.2，所述第二预设阈值为0.5。
[0010]进一步地，将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图，具体包括：利用OCR
‑
Net网络将路面分割出来，以得到路面分隔结果；将所去除的部分各个方向均膨胀两个像素单位，以得到更新视差图；获取所述更新视差图中视差值为零的位置和端点处的非零值，用非零值线性插值填充视差值为零的位置，以得到阴影区域的新视差图。
[0011]本专利技术还提供一种基于深度网络和双目视觉的阴影区域视差计算系统，所述系统包括：初始视差获取单元，用于获取目标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；边界视差提取单元，用于通过预先创建的网络分割模型，标记所述阴影区域的阴影边界，并提取所述初始视差图中所述阴影边界的原视差值；视差差值计算单元，用于基于模板匹配方法计算所述阴影边界的新视差值，并计算所述阴影边界上每个像素点所述新视差值与所述原视差值的差值；视差筛选单元，用于在所述差值大于预设阈值时，剔除该差值对应的原视差值，以得到具有空白的更新视差图；结果输出单元，用于将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图。
[0012]本专利技术还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
[0013]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
[0014]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
[0015]本专利技术所提供的基于深度网络和双目视觉的阴影区域视差计算方法，通过获取目
标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；通过预先创建的网络分割模型，标记所述阴影区域的阴影边界，并提取所述初始视差图中所述阴影边界的原视差值；基于模板匹配方法计算所述阴影边界的新视差值，并计算所述阴影边界上每个像素点所述新视差值与所述原视差值的差值；若所述差值大于预设阈值，则剔除该差值对应的原视差值，以得到具有空白的更新视差图；将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图。
[0016]这样，在对阴影边界处进行二次视差计算时，可以使用更大的滑动窗口重新计算阴影部分视差，并在剔除错误的视差之后，再用周围路面的视差进行插值填充，以便降低传统立体匹配得到的视差值的误差，继而使得阴影区域的三维信息得以准确获得，后续使用时，转换到世界坐标系后阴影部分的高度不会明显大于路面其他部分，为自动驾驶系统对路面场景的判断和操作提供较为准确的数据支持，解决了现有技术中阴影区域视差值准确性较差的技术问题。
附图说明
[0017]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0018]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度网络和双目视觉的阴影区域视差计算方法，其特征在于，所述方法包括：获取目标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；通过预先创建的网络分割模型，标记所述阴影区域的阴影边界，并提取所述初始视差图中所述阴影边界的原视差值；基于模板匹配方法计算所述阴影边界的新视差值，并计算所述阴影边界上每个像素点所述新视差值与所述原视差值的差值；若所述差值大于预设阈值，则剔除该差值对应的原视差值，以得到具有空白的更新视差图；将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图。2.根据权利要求1所述的阴影区域视差计算方法，其特征在于，网络分割模型为U
‑
Net分割模型，所述U
‑
Net分割模型的网络结构包括编码器、下采样模块、解码器和上采样模块；其中，所述下采样模块包括两个3
×
3卷积层和一个2
×
2的maxpooling层；所述上采样模块包括一个上采样卷积层、特征拼接层和两个3
×
3的卷积层。3.根据权利要求1所述的阴影区域视差计算方法，其特征在于，所述原始图像包括双目相机的左目图像和右目图像，所述左目图像为所述原始图像的左图，所述右目图像为所述原始图像的右图，基于模板匹配方法计算所述阴影边界的新视差值，具体包括：在所述原始图像的左图中获取所述阴影边界中每个像素点的模板图，在所述原始图像的右图获取与所述模板图对应的源图像；采用SSIM算法对每一组模板图和源图像进行整像素模板匹配；对整像素模板匹配得到的视差结果进行亚像素模板匹配，以得到所述阴影边界的新视差值。4.根据权利要求1所述的阴影区域视差计算方法，其特征在于，若所述差值大于预设阈值，则剔除该差值对应的原视差值，具体包括：以世界坐标系中，目标区域与相机的实际距离为边界；若阴影边界距离相机大于所述实际距离，且所述差值小于第一预设阈值，则保留所述差值对应像素点的原视差值，否则剔除所述差值对应像素点的原视差值；若阴影边界距离相机大于所述实际距离，且所述差值小于第二预设阈值，则保留所述差值对应像素点的原视差值，否...

【专利技术属性】
技术研发人员：谢启伟，白珍，章佳，裴姗姗，孙钊，
申请(专利权)人：北京中科慧眼科技有限公司，
类型：发明
国别省市：