本发明专利技术公开了一种基于双目视觉的路面环境获取方法和系统，方法包括：获取原始图像的点云数据；将原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到目标区域的边界关键点位置和目标区域内的地面类型信息；对点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于扩展点云数据，在当前帧原始图像中进行体素划分，计算体素匹配信息；根据体素匹配信息，建立连续帧的跟踪优化方程；基于跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将优化点云信息用于聚类操作，以得到路面环境信息结果。解决了现有技术中无法实现准确路面环境感知的技术问题。确路面环境感知的技术问题。确路面环境感知的技术问题。
【技术实现步骤摘要】
基于双目视觉的路面环境获取方法和系统
[0001]本专利技术涉及辅助驾驶
，具体涉及一种基于双目视觉的路面环境获取方法和系统。
技术介绍
[0002]近年来，自动驾驶和辅助驾驶得到了广泛的使用，通过双目立体匹配获得视差图，从而获取物体的三维信息是自动驾驶领域的核心算法之一。如何准确获取路面环境，从而感知目标区域的道路上是否存在障碍物阻塞，并判断可通行性，进而为后续悬架结构的控制策略提供准确的数据支持，就称为本领域技术人员亟待解决的问题。
技术实现思路
[0003]为此，本专利技术实施例提供一种基于双目视觉的路面环境获取方法和系统，以期至少部分解决现有技术中无法实现准确路面环境感知的技术问题。
[0004]为了实现上述目的，本专利技术实施例提供如下技术方案：一种基于双目视觉的路面环境获取方法，所述方法包括：获取目标区域的原始图像，并计算所述原始图像的视差图；对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；根据所述体素匹配信息，建立连续帧的跟踪优化方程；基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将所述优化点云信息用于聚类操作，以得到路面环境信息结果。
[0005]进一步地，所述原始图像的点云数据的数据结构为；其中，（x,y,z）是基于视差图生成的空间点云坐标；（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度。
[0006]进一步地，所述扩展点云数据的数据结构为；其中，（x,y,z）是基于视差图生成的空间点云坐标；（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；c是语义类别。
[0007]进一步地，基于所述扩展点云数据，在当前帧原始图像中进行体素划分，具体包括：基于相机坐标系，将连续空间划分为尺寸为L*W*H（长*宽*高）的小立方体，每一个小立方体定义为一个体素，全部体素的几何组成体素空间；如果体素空间内存在预设数量的点云，对点云信息进行抽象提取并赋予体素信息；否则体素信息置为空；当体素中的点云数量大于预设阈值时，对这个体素中所有点云信息中的（g,u,v,c）元素，分别进行直方图统计，选取数量占比最多的一个赋值给当前体素语义信息；选取当前体素的几何中心作为体素空间信息，并构成体素信息结构体V={Xv,Yv,Zv,Gv,Uv,Vv,Cv}；其中，（Xv,Yv,Zv）是体素的空间信息，（Gv,Uv,Vv）是体素的图像信息，Cv是体素的语义信息。
[0008]进一步地，连续帧原始图像作为一组标记体素信息，并计算体素匹配信息，具体包括：设体素信息标记为，表示在第N帧数据中，位于（x,y,z）位置的体素信息；当N=3时，则存在三帧数据V1，V2，V3，在V1和V2之间构建匹配关系：其中，|
·
|L2表示二范数，在本实施例中定义为如下形式：其中，0<ω<1是权重调节参数。
[0009]进一步地，根据所述体素匹配信息，建立连续帧的跟踪优化方程，具体包括：利用以下公式，分别计算出第1帧和第2帧数据之间的转换映射关系：其中，是(X,Y,Z)的齐次坐标的列向量表示，R和T分别是由向(X,Y,Z)转换的映射参数；建立第1帧和第2帧数据之间的转换映射优化方程：建立第2帧和第3帧数据之间的转换映射优化方程：建立第1帧和第3帧数据之间的转换映射优化方程：
基于和建立跟踪优化方程：。
[0010]本专利技术还提供一种基于双目视觉的路面环境获取系统，所述系统包括：图像获取单元，用于获取目标区域的原始图像，并计算所述原始图像的视差图；数据处理单元，用于对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；类型输出单元，用于将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；语义拓展单元，用于基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；体素匹配单元，用于基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；跟踪优化单元，用于根据所述体素匹配信息，建立连续帧的跟踪优化方程；位姿匹配单元，用于基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；结果输出单元，用于将所述优化点云信息用于聚类操作，以得到路面环境信息结果。
[0011]本专利技术还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
[0012]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
[0013]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
[0014]本专利技术所提供的基于双目视觉的路面环境获取方法，通过获取目标区域的原始图像，并计算所述原始图像的视差图；对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；根据所述体素匹配信息，建立连续帧的跟踪优化方程；基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将所述优化点云信息用于聚类操作，以得到路面环境信息结果。从而获得准确的路面环境信息，对道路上无障碍物阻塞的、可通行的地面，进行可通行性检测。该方案提供对地面环境的实时感知结果，可以得到行驶车辆前方一定范围内的路面环境信息，为利用该信息指导底盘悬架的控制策略提供了准确的数据支持，对即将驶入的路况进行自适
应调节，从而提升驾驶舒适性和安全性。解决了现有技术中无法实现准确路面环境感知的技术问题。
附图说明
[0015]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双目视觉的路面环境获取方法，其特征在于，所述方法包括：获取目标区域的原始图像，并计算所述原始图像的视差图；对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；根据所述体素匹配信息，建立连续帧的跟踪优化方程；基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将所述优化点云信息用于聚类操作，以得到路面环境信息结果。2.根据权利要求1所述的路面环境获取方法，其特征在于，所述原始图像的点云数据的数据结构为；其中，（x,y,z）是基于视差图生成的空间点云坐标；（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度。3.根据权利要求2所述的路面环境获取方法，其特征在于，所述扩展点云数据的数据结构为；其中，（x,y,z）是基于视差图生成的空间点云坐标；（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；c是语义类别。4.根据权利要求3所述的路面环境获取方法，其特征在于，基于所述扩展点云数据，在当前帧原始图像中进行体素划分，具体包括：基于相机坐标系，将连续空间划分为尺寸为L*W*H（长*宽*高）的小立方体，每一个小立方体定义为一个体素，全部体素的几何组成体素空间；如果体素空间内存在预设数量的点云，对点云信息进行抽象提取并赋予体素信息；否则体素信息置为空；当体素中的点云数量大于预设阈值时，对这个体素中所有点云信息中的（g,u,v,c）元素，分别进行直方图统计，选取数量占比最多的一个赋值给当前体素语义信息；选取当前体素的几何中心作为体素空间信息，并构成体素信息结构体V={Xv,Yv,Zv,Gv,Uv,Vv,Cv}；其中，（Xv,Yv,Zv）是体素的空间信息，（Gv,Uv,Vv）是体素的图像信息，Cv是体素的语义信息。5.根据权利要求4所述的路面环境获取方法，其特征在于，连续帧原始图像作为一组标记体素信息，并计算体素匹配信息，具体包括：设体素信息标记为，表示在第N帧数据中，位于（x,y,z）位置的体素信息；
当N=3时，则存在三帧数据V1，V2，...
【专利技术属性】
技术研发人员：谢启伟，杨超，孙钊，肖志鹏，裴姗姗，
申请(专利权)人：北京中科慧眼科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。