车辆环境感知方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种车辆环境感知方法、装置、电子设备和存储介质，涉及车辆工程技术领域，其中方法包括：获取目标车辆四周的环境图像，并对环境图像进行拼接得到全景环视图像；对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定目标车辆的盲区碰撞预警信息；对全景环视图像进行车道线检测，确定全景环视图像中车道线的位置信息，并基于车道线的位置信息确定目标车辆的车道偏离预警信息；在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息。本申请提供的方法和装置，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，提高了车辆行驶安全的提示效果，提高了车辆驾驶的安全性。驶的安全性。驶的安全性。

【技术实现步骤摘要】
车辆环境感知方法、装置、电子设备和存储介质


[0001]本申请涉及车辆工程
，具体而言，涉及一种车辆环境感知方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能技术的不断发展与进步，驾驶员辅助系统（Advanced Driving Assistance System，ADAS）的应用越来越广泛，也为驾驶员的日常驾驶提供了很好的帮助。ADAS通过全景式监控影像系统（Around View Monitor，AVM）实现，AVM是由传统倒车影像系统发展而来，摒弃了传统倒车影像系统只能查看车辆后方路况的弊端，为驾驶员的车辆操控提供了有力的参考依据，通过车辆四周的四路广角摄像头拍摄的实时画面，生成360度环视影像，并显示于多媒体屏幕上。
[0003]现有技术中通过AVM对车辆的四周环境进行感知，其对驾驶员的辅助作用依赖于驾驶员对环视影像的主动分析，驾驶员在驾驶过程中需要集中注意力专注于路况信息，无法及时、准确和全面地识别车辆四周环境中的危险因素，安全提示效果差。

技术实现思路

[0004]本申请提供一种车辆环境感知方法、装置、电子设备和存储介质，用于解决现有的车辆环境感知方法依赖于驾驶员对环视影像的主动分析，安全提示效果差的技术问题。
[0005]本申请提供一种车辆环境感知方法，包括：获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。
[0006]在一些实施例中，所述对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息，包括：基于行人检测模型或者车辆检测模型对各个环境图像进行障碍物检测，确定所述各个环境图像中的障碍物以及各个障碍物在对应的环境图像中的图像位置；基于各个环境图像的图像坐标系与所述目标车辆所在的世界坐标系之间的坐标转换关系，以及各个障碍物在对应的环境图像中的图像位置，确定各个障碍物在所述世界坐标系中的空间位置；所述世界坐标系以所述目标车辆的中心为原点；基于各个障碍物在所述世界坐标系中的空间位置，确定各个障碍物与所述目标车辆之间的空间距离；基于各个障碍物与所述目标车辆之间的空间距离，确定各个障碍物的预警等级；
基于各个障碍物的图像位置和预警等级，生成所述目标车辆的盲区碰撞预警信息。
[0007]在一些实施例中，所述对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息，包括：基于车道线检测模型对所述全景环视图像进行车道线检测，确定各个车道线在所述全景环视图像中的图像位置；基于各个车道线的图像位置以及所述目标车辆的图像位置，生成所述目标车辆的车道偏离预警信息。
[0008]在一些实施例中，所述对所述环境图像进行拼接得到全景环视图像，包括：基于采集所述环境图像的相机的内参矩阵和外参矩阵，确定所述环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系；基于所述坐标转换关系，确定所述环境图像中的像素点在世界坐标系中对应的空间点；在所述世界坐标系中构建三维曲面网格模型，确定所述空间点在所述三维曲面网格模型中对应的网格位置，将所述像素点的图像信息投影到所述网格位置，得到所述全景环视图像。
[0009]在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：基于固定视角，生成所述全景环视图像对应的二维环视图像；基于活动视角，生成所述全景环视图像对应的三维环视图像；将所述盲区碰撞预警信息和所述车道偏离预警信息加载至所述二维环视图像和所述三维环视图像；在同一界面中显示所述二维环视图像和所述三维环视图像。
[0010]在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：将所述目标车辆四周的图像区域划分为多个盲区碰撞警示块；基于所述盲区碰撞预警信息中障碍物的图像位置，确定所述障碍物所在的盲区碰撞警示块；基于所述障碍物的预警等级，设置所述盲区碰撞警示块的显示形态，和/或，采用语音播放所述盲区碰撞预警信息。
[0011]在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：基于所述车道偏离预警信息中的各个车道线的图像位置以及所述目标车辆的图像位置，确定所述目标车辆偏离的行驶车道；设置所述行驶车道的车道线的显示形态，和/或，采用语音播放所述车道偏离预警信息。
[0012]本申请提供一种车辆环境感知装置，包括：图像采集单元，用于获取目标车辆四周的环境图像，并对所述环境图像进行拼接
得到全景环视图像；盲区预警单元，用于对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；车道预警单元，用于对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；融合显示单元，用于在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。
[0013]本申请提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的车辆环境感知方法。
[0014]本申请提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的车辆环境感知方法。
[0015]本申请提供的车辆环境感知方法、装置、电子设备和存储介质，实现了根据车辆四周的环境图像自动进行障碍物检测和车道线检测，并将检测得到的盲区碰撞预警信息和车道偏离预警信息显示在全景环视图像中，无需驾驶员对环视图像进行主动分析，可以直观地向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果，使得驾驶员可以集中注意力专注于路况信息，提高了车辆驾驶的安全性。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0017]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本申请提供的车辆环境感知方法的结构示意图之一；图2为本申请提供的车辆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆环境感知方法，其特征在于，包括：获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。2.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息，包括：基于行人检测模型或者车辆检测模型对各个环境图像进行障碍物检测，确定所述各个环境图像中的障碍物以及各个障碍物在对应的环境图像中的图像位置；基于各个环境图像的图像坐标系与所述目标车辆所在的世界坐标系之间的坐标转换关系，以及各个障碍物在对应的环境图像中的图像位置，确定各个障碍物在所述世界坐标系中的空间位置；所述世界坐标系以所述目标车辆的中心为原点；基于各个障碍物在所述世界坐标系中的空间位置，确定各个障碍物与所述目标车辆之间的空间距离；基于各个障碍物与所述目标车辆之间的空间距离，确定各个障碍物的预警等级；基于各个障碍物的图像位置和预警等级，生成所述目标车辆的盲区碰撞预警信息。3.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息，包括：基于车道线检测模型对所述全景环视图像进行车道线检测，确定各个车道线在所述全景环视图像中的图像位置；基于各个车道线的图像位置以及所述目标车辆的图像位置，生成所述目标车辆的车道偏离预警信息。4.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对所述环境图像进行拼接得到全景环视图像，包括：基于采集所述环境图像的相机的内参矩阵和外参矩阵，确定所述环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系；基于所述坐标转换关系，确定所述环境图像中的像素点在世界坐标系中对应的空间点；在所述世界坐标系中构建三维曲面网格模型，确定所述空间点在所述三维曲面网格模型中对应的网格位置，将所述像素点的图像信...

【专利技术属性】
技术研发人员：王帅炀，闫海龙，朱海荣，杨玉玲，
申请(专利权)人：杭州鸿泉物联网技术股份有限公司，
类型：发明
国别省市：