用于路面平坦度检测的模型构建方法、系统和智能终端技术方案

本发明专利技术公开了一种用于路面平坦度检测的模型构建方法、系统和智能终端，所述方法包括：获取目标场景的多帧原始图像，在所述原始图像中提取RGB图像，并将所述原始图像生成深度图；将所述RGB图像和所述深度图生成数据集，并将所述数据集按预设比例划分为训练集、验证集和测试集，并对各数据集进行标注；基于预存的分类检测网络模型，将RGB－D数据分别输入训练集和验证集，通过模型训练得到路面平坦度检测模型。解决了现有技术中路面平坦度检测准确性较低的技术问题。低的技术问题。低的技术问题。

【技术实现步骤摘要】
用于路面平坦度检测的模型构建方法、系统和智能终端


[0001]本专利技术涉及自动驾驶辅助
，具体涉及一种用于路面平坦度检测的模型构建方法、系统和智能终端。

技术介绍

[0002]随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。自动驾驶是汽车产业与人工智能、物联网等新兴信息技术深度融合的产物，是当前全球汽车与交通出行领域智能化和网联化发展的主要方向，通过检测路面平坦程度来改善行车体验及安全性也成为了自动驾驶领域的核心问题之一。从当前城市道路情况来看，由路面损害和城市基础建设所必须的减速带或井盖等造成的路面凹凸会影响驾驶人的驾驶体验及乘车人的乘坐体验，甚至会增加汽车驾驶的危险系数。因此，有效地检测路面平坦程度对车辆的驾驶起着至关重要的作用。
[0003]但是，传统的图像处理算法对数据要求严格，路面阴影、光照不均匀等干扰因素都使其难以给出精确的检测结果。而经典的深度学习模型主要是针对大尺寸、大目标进行分类和识别，对于路面上形态各异的凹槽、裂缝等极易造成漏检和误判。

技术实现思路

[0004]为此，本专利技术实施例提供一种用于路面平坦度检测的模型构建方法、系统和智能终端，以期至少部分解决现有技术中路面平坦度检测准确性较低的技术问题。
[0005]为了实现上述目的，本专利技术实施例提供如下技术方案：
[0006]一种用于路面平坦度检测的模型构建方法，所述方法包括：
[0007]获取目标场景的多帧原始图像，在所述原始图像中提取RGB图像，并将所述原始图像生成深度图；
[0008]将所述RGB图像和所述深度图生成数据集，并将所述数据集按预设比例划分为训练集、验证集和测试集，并对各数据集进行标注；
[0009]基于预存的分类检测网络模型，将RGB－D数据分别输入训练集和验证集，通过模型训练得到路面平坦度检测模型。
[0010]进一步地，获取目标场景的多帧原始图像，在所述原始图像中提取RGB图像，并将所述原始图像生成深度图，具体包括：
[0011]利用双目相机采集双目道路图像，并将双目道路图像作为原始图像；
[0012]根据彩色三通道原理在所述原始图像中提取RGB图像；
[0013]根据立体匹配和三维重建方法将所述原始图像生成深度图，所述深度图与所述RGB图像的尺寸大小相同。
[0014]进一步地，将所述RGB图像和所述深度图生成数据集，并将所述数据集按预设比例划分为训练集、验证集和测试集，具体包括：
[0015]将左目RGB图像和深度图生成数据集；
[0016]按照3：1：1的比例将所述数据集划分为训练集、验证集和测试集。
[0017]进一步地，对各数据集进行标注，具体包括：
[0018]对左目图像的训练集和验证集进行标注，标注类别包括纵向裂缝、横向裂缝、网状裂缝、坑槽、减速带、井盖中的至少一者。
[0019]进一步地，将RGB－D数据分别输入训练集和验证集，具体包括：
[0020]将RGB图像统一缩放至同一尺寸，并自适应地为RGB图像及视差图填充黑边后得到特征图，将特征图输入到训练集和验证集中进行训练。
[0021]进一步地，所述分类检测网络模型的输出端采用CIoU＿Loss作为边界框的损失函数：
[0022][0023][0024]其中，A和B分别为预测边界框和真实标注框的面积，|A∩B|表示两框交集的面积，|A∪B|表示两框并集的面积，IoU即为两框面积的交并比。D1为两框中心点之间的欧氏距离的平方，D2为刚好能包含两框的最小矩形的对角线的长度平方，为权重系数，其中v是衡量长宽比一致性的参数：
[0025][0026]上式中，w
gt
为真实标注框的宽，h
gt
为真实标注框的高；w为目标检测框的宽，h为目标检测框的高。CIoU＿Loss函数在IoU的基础上，针对两框中心点距离、长宽比增加了这两个惩罚项。
[0027]进一步地，所述方法还包括后处理步骤，所述后处理步骤包括：
[0028]针对多目标框的筛选，采用加权非极大值抑制算法去除部分冗余的边界框。加权非极大值抑制与传统的非极大值抑制相比，在执行矩形框剔除的过程中，并未将与真实标注框的IoU大于阈值，且类别相同的预测框直接剔除，而是根据网络预测的置信度进行加权，得到新的矩形框，把该矩形框作为最终预测的矩形框，再将其他的冗余框剔除。
[0029]本专利技术还提供一种用于路面平坦度检测的模型构建系统，所述系统包括：
[0030]数据获取单元，用于获取目标场景的多帧原始图像，在所述原始图像中提取RGB图像，并将所述原始图像生成深度图；
[0031]数据集生成单元，用于将所述RGB图像和所述深度图生成数据集，并将所述数据集按预设比例划分为训练集、验证集和测试集，并对各数据集进行标注；
[0032]模型输出单元，用于基于预存的分类检测网络模型，将RGB－D数据分别输入训练集和验证集，通过模型训练得到路面平坦度检测模型。
[0033]本专利技术还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
[0034]所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
[0035]本专利技术还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
[0036]本专利技术所提供的用于路面平坦度检测的模型构建方法，通过获取目标场景的多帧原始图像，在所述原始图像中提取RGB图像，并将所述原始图像生成深度图；将所述RGB图像和所述深度图生成数据集，并将所述数据集按预设比例划分为训练集、验证集和测试集，并对各数据集进行标注；基于预存的分类检测网络模型，将RGB－D数据分别输入训练集和验证集，通过模型训练得到路面平坦度检测模型。该方法采用RGB－D图像进行目标检测，对检测路面裂缝、坑洞、减速带及井盖等目标具有较好的效果，解决了现有技术中路面平坦度检测准确性较低的技术问题。
附图说明
[0037]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0038]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。
[0039]图1为本专利技术所提供的用于路面平坦度检测的模型构建方法一种具体实施方式的流程图；
...

【技术保护点】

【技术特征摘要】
1.一种用于路面平坦度检测的模型构建方法，其特征在于，所述方法包括：获取目标场景的多帧原始图像，在所述原始图像中提取RGB图像，并将所述原始图像生成深度图；将所述RGB图像和所述深度图生成数据集，并将所述数据集按预设比例划分为训练集、验证集和测试集，并对各数据集进行标注；基于预存的分类检测网络模型，将RGB－D数据分别输入训练集和验证集，通过模型训练得到路面平坦度检测模型。2.根据权利要求1所述的模型构建方法，其特征在于，获取目标场景的多帧原始图像，在所述原始图像中提取RGB图像，并将所述原始图像生成深度图，具体包括：利用双目相机采集双目道路图像，并将双目道路图像作为原始图像；根据彩色三通道原理在所述原始图像中提取RGB图像；根据立体匹配和三维重建方法将所述原始图像生成深度图，所述深度图与所述RGB图像的尺寸大小相同。3.根据权利要求1所述的模型构建方法，其特征在于，将所述RGB图像和所述深度图生成数据集，并将所述数据集按预设比例划分为训练集、验证集和测试集，具体包括：将左目RGB图像和深度图生成数据集；按照3：1：1的比例将所述数据集划分为训练集、验证集和测试集。4.根据权利要求3所述的模型构建方法，其特征在于，对各数据集进行标注，具体包括：对左目图像的训练集和验证集进行标注，标注类别包括纵向裂缝、横向裂缝、网状裂缝、坑槽、减速带、井盖中的至少一者。5.根据权利要求4所述的模型构建方法，其特征在于，将RGB－D数据分别输入训练集和验证集，具体包括：将RGB图像统一缩放至同一尺寸，并自适应地为RGB图像及视差图填充黑边后得到特征图，将特征图输入到训练集和验证集中进行训练。6.根据权利要求5所述的模型构建方法，其特征在于，所述分类检测网络模型的输出端采用CIoU＿Loss作为边界框的损失函数：采用CIoU＿Loss作为边界框的损失函数：其中，A和B分别为预测边界框和真实标注框的面积，|A∩B|表示两框交集的面积，|A∪B|表...

【专利技术属性】
技术研发人员：刘超，王超，高扬，何喜军，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：