【技术实现步骤摘要】
本专利技术涉及自动驾驶安全，尤其涉及一种应用于安全驾驶的道路异常识别方法和系统及存储介质。
技术介绍
1、目前为了对道路异常进行识别，现有技术一(“道路异常智能识别模型训练、道路异常识别的方法及系统”，山东理工大学，陈建达)通过依据异常特征对车辆驾驶位特征的影响相关性进行模型训练，能够依据车辆密度分布信息、车辆驾驶方位信息的细节差异性表征识别出道路异常的具体情况。
2、该现有技术一具有如下缺点：仅针对比较明显的道路异常，如道路拥堵、道路施工、交通事故等；利用车辆密度分布来识别异常，特征相关性不高，且容易受限于城市、道路的不同分布；识别定位范围较大。
3、现有技术二(“道路异常检测设备、道路异常检测方法和计算机可读介质”，丰田自动车株式会社，竹村和晃、松下真人、杉村多惠、长谷川英男、梅木智光)通过将包括在当前道路图像中的所有道路设施和预先准备的正确性信息进行比较，来判定所述道路设施中是否存在异常。
4、该现有技术二具有如下缺点：只能识别较大的场景变化；只应用了传统技术，识别率受限条件较多，其中严重受限于拍摄时道路场景与正确性信息的场景；别定位范围较大。
5、现有技术三(“基于多源传感器融合的可持续道路异常检测方法与系统”，浙江大学，胡隽、辛含雨、吴超、胡欢、王高昂、李德纮)通过将预处理后的数据输入分类网络预测异常阈值，依据阈值再将数据整合后输入不同网络得到单车异常路面检测结果，最后对单车异常路面检测结果基于optics算法进行多车感知结果融合，得到异常路面检测结果。
6、
技术实现思路
1、本专利技术针对目前道路异常带来的驾驶安全危害，提出了相应的解决方案：
2、(1)利用深度学习技术检测网络识别当前道路各种影响驾驶的异常，包括路面损坏(坑槽凸起破损深洞等)、障碍物(固定和移动障碍物)、井盖异常、道路设施异常(减速带、人为添加的设施等)，基本涵盖所有影响驾驶的所有异常；
3、(2)利用深度学习技术分类网络对道路异常进行判别危害程度，直接指导无人驾驶车辆进行减速或者避障的操作；
4、(3)利用离线检测、人工复查、添加地图信息这一流程，结合机器智能和人工智能大幅度提高检测结果的可信度，并且可以省去车端推理的耗时，达到实时应用检测结果，最终实现生产环境的可应用性；
5、(4)利用坐标系转换技术实现图像2d信息到3d位置的转换，能够准确定位异常的位置，实现厘米级的误差；
6、(5)利用地图信息的联网作用，可以实现车端互联，一辆车经过异常，则所有的车都拥有道路异常的分布信息。
7、为达到上述目的，本专利技术的技术方案提供了一种应用于安全驾驶的道路异常识别方法，其包括如下步骤：s1：利用深度学习进行检测网络模型和分类网络模型的数据训练，检测网络模型用于识别当前图片的异常位置和类别，分类网络模型用于识别异常的危害程度；s2：将步骤s1中训练好的检测网络模型和分类网络模型部署在车端，并进行车端离线检测异常及人工复查，以将模型识别的异常信息与驾驶员记录的异常信息融合进地图；s3：将步骤s2中融合后的地图进行共享。
8、进一步地，步骤s1具体包括：s11：利用车载相机收集道路图片数据，并上传至服务器；s12：对收集的数据进行筛选、标注，制作训练数据集和测试集；s13：利用深度学习进行检测网络模型数据训练，以识别当前图片的异常位置和类别；s14：利用深度学习进行分类网络模型数据训练，以识别异常的危害程度；s15：选用在测试集上表现最好的检测网络模型和分类网络模型作为车端部署模型。
9、进一步地，步骤s2具体包括：s21：将检测网络模型和分类网络模型在车端进行部署；s22：车辆在运行过程中，通过驾驶员记录异常信息；s23：在车辆每日正常运行结束后，通过部署的模型获取道路有异常的图片并将图片进行可视化；s24：人工复查可视化图片和驾驶员记录的异常信息，将两者进行对比，融合模型正确识别的异常和驾驶员记录但模型未识别漏检的异常，去除模型冗余识别的异常；s25：将通过步骤s24融合得到的异常的2d位置信息转化为3d世界坐标系；s26：将异常类别、车辆建议操作以及异常3d坐标融合进地图。
10、进一步地，在步骤s22中，车辆在运行过程中，收集车载相机行驶中的实时画面数据和位置信息，并且驾驶员在观察到道路异常后，进行相应操作，并通过按钮记录当时的相机画面和车辆位置，保存在另外的固定存储器中。
11、进一步地，在步骤s23中，在车辆每日正常运行结束后，部署的模型对行驶中收集的图片进行推理，得到当前画面是否有异常、异常的类别和2d位置、以及车辆操作建议，并且将有异常的图片进行可视化，然后保存在特定存储器中。
12、进一步地，步骤s2在步骤s24之后还包括如下步骤：s241：收集驾驶员记录但模型未识别的道路异常图片，以待后续进行模型迭代更新。
13、进一步地，在步骤s25中，按照如下步骤将2d位置信息转化为3d世界坐标系：
14、s251：将3d世界坐标系坐标转换成2d像素坐标系的公式如(1)所示，通过矩阵变换得到像素坐标系转世界坐标系的公式(2)，
15、
16、上述公式中，zc为相机坐标系下的深度，k为相机内参矩阵，r为相机外参旋转矩阵，t为相机外参平移矩阵，为像素点矩阵，为物体对应的世界坐标矩阵，其中k、r、t、为已知值；
17、s252：在实际计算中通过预估得到物体的实际高度值即zw，然后通过第三维的计算得到zc值；
18、s253：通过公式(2)得到物体的3d世界坐标。
19、进一步地，步骤s3具体包括：s31：将添加了道路异常信息的地图进行车端互联共享；s32：在所有车辆路过某个车辆经过的异常道路时，读取地图信息，以获取当前道路的异常类别和位置以及车辆建议操作。
20、本专利技术的技术方案还提供了一种应用于安全驾驶的道路异常识别系统，其包括如下模块：模型训练模块，用于利用深度学习进行检测网络模型和分类网络模型的数据训练，检测网络模型用于识别当前图片的异常位置和类别，分类网络模型用于识别异常的危害程度；离线检测异常及人工复查模块，用于通过将由模型训练模块获得的检测网络模型和分类网络模型部署在车端，并进行车端离线检测异常及人工复查，以将模型识别的异常信息与驾驶员记录的异常信息融合进地图；地图共享模块，用于将由离线检测异常及人工复查模块融合后的地图进行共享。
21、本专利技术的技术方案还提供了一种包含计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，用于实现如上所述的方法。
本文档来自技高网...【技术保护点】
1.一种应用于安全驾驶的道路异常识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤S1具体包括：
3.根据权利要求2所述的方法，其特征在于，步骤S2具体包括：
4.根据权利要求3所述的方法，其特征在于，在步骤S22中，车辆在运行过程中，收集车载相机行驶中的实时画面数据和位置信息，并且驾驶员在观察到道路异常后，进行相应操作，并通过按钮记录当时的相机画面和车辆位置，保存在另外的固定存储器中。
5.根据权利要求4所述的方法，其特征在于，在步骤S23中，在车辆每日正常运行结束后，部署的模型对行驶中收集的图片进行推理，得到当前画面是否有异常、异常的类别和2D位置、以及车辆操作建议，并且将有异常的图片进行可视化，然后保存在特定存储器中。
6.根据权利要求3所述的方法，其特征在于，步骤S2在步骤S24之后还包括如下步骤：
7.根据权利要求3所述的方法，其特征在于，在步骤S25中，按照如下步骤将2D位置信息转化为3D世界坐标系：
8.根据权利要求3所述的方法，其特征在于，步骤S3
9.一种应用于安全驾驶的道路异常识别系统，其特征在于，包括如下模块：
10.一种包含计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，用于实现如权利要求1-8中任一项所述的方法。
...【技术特征摘要】
1.一种应用于安全驾驶的道路异常识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤s1具体包括：
3.根据权利要求2所述的方法，其特征在于，步骤s2具体包括：
4.根据权利要求3所述的方法，其特征在于，在步骤s22中，车辆在运行过程中，收集车载相机行驶中的实时画面数据和位置信息，并且驾驶员在观察到道路异常后，进行相应操作，并通过按钮记录当时的相机画面和车辆位置，保存在另外的固定存储器中。
5.根据权利要求4所述的方法，其特征在于，在步骤s23中，在车辆每日正常运行结束后，部署的模型对行驶中收集的图片进行推理，得到当前画面是否有异常、异...
【专利技术属性】
技术研发人员：何弢，廖文龙，周海进，彭湃，
申请(专利权)人：酷哇科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。