基于RGB图像的路面检测方法、系统和智能终端技术方案

本发明专利技术公开了一种基于RGB图像的路面检测方法、系统和智能终端，方法包括：采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；基于所述估计值和当前车速输出预警指令和/或制动指令。该基于RGB图像的路面不平整检测，可以做到实时快速准确的检测，人工成本低，提高了路面坑洼情况的检测及时性和准确性，从而有效提高了乘坐舒适度和驾驶安全性。

【技术实现步骤摘要】
基于RGB图像的路面检测方法、系统和智能终端
本专利技术涉及自动驾驶
，具体涉及一种基于RGB图像的路面检测方法、系统和智能终端。
技术介绍
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。在辅助驾驶领域，对路面凹凸状态以及非标障碍物的检测一直是重要且具有挑战性的问题。不平整的路面将会增加行车的阻力，造成车辆颠簸。从而降低行车的可控性、平稳性和安全性，降低乘客的乘车体验，还会加剧轮胎的磨损，减少汽车其他部件的使用寿命。而且不平整路面会形成积水，使得车辆轮胎接地处的受力发生变化，加速了路面的损坏。因此，提供一种基于RGB图像的路面检测方法、系统和智能终端，以便提高路面坑洼情况的检测及时性和准确性，从而有效提高乘坐舒适度和驾驶安全性，就成为本领域技术人员亟待解决的问题。
技术实现思路
为此，本专利技术实施例提供一种基于RGB图像的路面检测方法、系统和智能终端，以便提高路面坑洼情况的检测及时性和准确性，从而有效提高乘坐舒适度和驾驶安全性。为了实现上述目的，本专利技术实施例提供如下技术方案：一种基于RGB图像的路面检测方法，所述方法包括：采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；基于所述估计值和当前车速输出预警指令和/或制动指令。进一步地，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：获取所述待分割图像内所有目标障碍物的像素位置和大小；根据所述目标障碍物的像素位置，将所述待分割图像区分为平整路面区域和不平整路面区域；根据所述目标障碍物的大小，获取所述不平整路面区域的面积；判定所述不平整路面区域的面积大于面积阈值，则基于所述目标障碍物的像素位置和当前车速输出预警指令和/或制动指令。进一步地，所述平整路面区域包括可行驶区域、路面标识作为平整路面；所述不平整路面包括井盖、路面破损、减速带和非标准障碍物；不平整路面区域面积与平整路面区域面积的比值为路面不平整度的估计值。进一步地，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：对所述原始图像进行特征提取；获取粗略的语义分割结果；根据粗略的语义分割结果和提取到的特征计算出多组特征向量，每组特征对应于一个语义类别，以得到多个物体区域表示；计算网络像素特征表示与物体区域表示之间的关系矩阵，根据关系矩阵的数值对物体区域特征进行加权求和，得到物体的文字识别特征；将得到的物体的文字识别特征与网络特征进行拼接之后作为上下文信息增强的特征表示，基于此预测每个像素的语义类别。进一步地，使用HRNet-W48或者ResNet-101作为基础网络，进行原始图像的特征提取。进一步地，使用1×1卷积预测一个粗略的语义分割结果，使用的损失函数为逐像素的交叉熵损失。进一步地，所述对所述原始图像进行预处理，具体包括：对所述原始图像进行像素区域裁剪。本专利技术还提供一种基于RGB图像的路面检测系统，用于实施如上所述的方法，所述系统包括：图像采集单元，用于采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；结果预测单元，用于使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；估计值输出单元，用于对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；指令输出单元，用于基于所述估计值和当前车速输出预警指令和/或制动指令。本专利技术还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。本专利技术还提供一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。本专利技术所提供的基于RGB图像的路面检测方法和系统，通过采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；基于所述估计值和当前车速输出预警指令和/或制动指令。该基于RGB图像的路面不平整检测，可以做到实时快速准确的检测，人工成本低，其既可以在不平整路段对车辆进行提示和预警，又可以结合GPS系统的对某地路况进行评价，进而可以实现制作高精度地图、路况分析、道路检修需求分析等功能，提高了路面坑洼情况的检测及时性和准确性，从而有效提高了乘坐舒适度和驾驶安全性。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。图1为本专利技术所提供的路面检测方法一种具体实施方式的流程图；图2为本专利技术所提供的数据训练过程的流程图；图3为本专利技术所提供的路面检测系统一种具体实施方式的结构框图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术所提供的路面检测方法基于语义分割网络，图像语义分割是指将图像根据语义信息分割成具有不同语义标识的分割块，是进一步进行图像分析的重要步骤，可应用于机器人导航，自动驾驶，多媒体技术等多个领域。基于RGB-D信息的图像语义分割算法能够充分利用图像的RGB信息和深度信息,有效的提高图像的语义分割精度，特别是近年来在针对室内场景的语义分割方面已经取得了很好的进展。请参考图1，图1为本专利技术所提供的路面检测方法一种具体实施方式的流程图。在一种具体实施方式中，本专利技术所提本文档来自技高网...

【技术保护点】
1.一种基于RGB图像的路面检测方法，其特征在于，所述方法包括：/n采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；/n使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；/n对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；/n基于所述估计值和当前车速输出预警指令和/或制动指令。/n

【技术特征摘要】
1.一种基于RGB图像的路面检测方法，其特征在于，所述方法包括：
采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；
使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；
对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；
基于所述估计值和当前车速输出预警指令和/或制动指令。


2.根据权利要求1所述的路面检测方法，其特征在于，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：
获取所述待分割图像内所有目标障碍物的像素位置和大小；
根据所述目标障碍物的像素位置，将所述待分割图像区分为平整路面区域和不平整路面区域；
根据所述目标障碍物的大小，获取所述不平整路面区域的面积；
判定所述不平整路面区域的面积大于面积阈值，则基于所述目标障碍物的像素位置和当前车速输出预警指令和/或制动指令。


3.根据权利要求2所述的路面检测方法，其特征在于，所述平整路面区域包括可行驶区域、路面标识作为平整路面；
所述不平整路面包括井盖、路面破损、减速带和非标准障碍物；
不平整路面区域面积与平整路面区域面积的比值为路面不平整度的估计值。


4.根据权利要求1所述的路面检测方法，其特征在于，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：
对所述原始图像进行特征提取；
获取粗略的语义分割结果；
根据粗略的语义分割结果和提取到的特征计算出多组特征向量，每组特征对应于一个语义类别，以得到多个物体区域表示；
计算网络像素特征表示与物体区域表示之间的关系矩阵，根据关系矩阵的数值对物体区域特征进行加...

【专利技术属性】
技术研发人员：姚纯纯，杨超，孙旭生，
申请(专利权)人：北京中科慧眼科技有限公司，
类型：发明
国别省市：北京;11