【技术实现步骤摘要】
本专利技术属于自动驾驶，涉及一种多目bev视角的环境感知方法、装置、设备及介质。
技术介绍
1、自动驾驶汽车指主要依靠人工智能、视觉计算、雷达、gps定位以及结构化道路车路协同等技术，使汽车具有环境感知、路径规划和自主控制的能力，从而可让嵌入式边缘计算终端自动操作的机动车辆。对于自动驾驶车辆来说，所追求的是在任何路况，任何环境下都要安全行驶并及能够时对极端情况进行反应，保障驾驶者的人生安全和车辆安全以及道路参与者的安全。
2、目前自动驾驶领域是深度学习算法实现部署及落地的一个重要领域，自动驾驶算法技术框架核心分为环境感知、决策规划、控制执行三部分，其中环境感知部分将传感器数据转换成车辆所处场景的机器语言，例如：物体检测、识别跟踪、环境建模、运动估计等等。近年来随着高阶辅助驾驶方案越来越被市场接收，对于自动驾驶感知算法的要求也越来越高，bev(bird eye view，鸟瞰图)感知受到了广泛的关注，bev感知范式提供了一个统一的空间，方便各项任务、传感器的融合。bev感知系统可以将多个摄像头或雷达得到的信息转换至鸟瞰视角，然后再进行目标检测、实例分割等任务，能更直观地显示出bev空间中的物体大小和方向，但是其对于车规级ai芯片的算力要求会比较高。故而学术界及工业界会有大量的研究集中在如何设计嵌入式友好的bev感知算法模型，其中类似m2bev等bev感知算法通过其高效的视角转换方式，仅仅使用了纯视觉模态的情况下保证了足够高的精度，且在嵌入式ai芯片上能够有不俗的推理速度表现。
3、但是，目前学术界提出的纯视
4、1.现有的纯视觉bev算法对目标物检测精度相对其他模态的检测精度较低，环境感知结果不佳；
5、2.为了保证在算力有限的嵌入式ai芯片上的实时性，通常会采用更小计算量的网络设计，这样导致了检测精度的进一步降低，影响了环境感知的结果；
6、3.目前纯视觉bev相关算法只在小批量的开源数据集上进行了算法的设计及验证，bev模型在不同感知环境场景下的鲁棒性无法得到保证。
技术实现思路
1、为了解决目前通过纯视觉bev算法进行环境感知时存在的精度低、感知结果不佳和不同感知环境场景下鲁棒性无法保证等技术问题，本专利技术公开了一种多目bev视角的环境感知方法、装置、设备及介质。
2、实现专利技术目的的技术方案如下：一种多目bev视角的环境感知方法，包括：
3、采用多目传感器采集车辆周边环境的纯视觉的图像，所述图像包括所述多目传感器中多个视觉传感器采集的子图像，对各所述子图像进行缩放预处理后得到待感知子图像；
4、将所述视觉传感器的所述待感知子图像、外部参数和内部参数输入到训练后的环境感知模型内提取所述待感知子图像的像素特征；通过所述视觉传感器的外部参数和内部参数，预测所述待感知子图像中每个所述像素特征向bev特征空间中各位置映射的概率，并计算各位置的像素特征投影值；
5、依据投影不遮挡的原则，将多个所述视觉传感器划分为m个视觉传感器组，其中，m取值小于所述多目传感器中所述视觉传感器的总数；
6、将所述视觉传感器组内每个所述视觉传感器的每个像素特征投影值同时向bev特征空间赋值，输出所述视觉传感器组的bev投影图；
7、提取所述bev投影图的bev特征后得到环境感知信息，其中，所述环境感知信息包括物体的类别、3d框信息、速度和角度。
8、在一个实施例中，上述多目bev视角的环境感知方法还包括：
9、使用多目传感器采集车辆不同周边环境场景下的纯视觉的图像作为训练集输入初始环境感知模型内，采用图像增强策略对图像进行增强训练初始环境感知模型，获取训练后的环境感知模型；
10、其中，所述图像增强策略包括虚拟相机增强策略，依据所述虚拟相机增强策略获得一个虚拟相机视角，以模拟所述视觉传感器的抖动。
11、进一步地，采用虚拟相机增强策略对图像进行增强训练初始环境感知模型，包括：
12、将所述视觉传感器采集的图像输入初始环境感知模型内，通过随机改变输入所述初始环境感知模型的所述视觉传感器的外部参数，对所述初始环境感知模型进行增强训练。
13、进一步地，采用虚拟相机增强策略对图像进行增强训练初始环境感知模型，包括：
14、将所述视觉传感器采集的图像输入初始环境感知模型内，通过随机改变输入所述初始环境感知模型的所述视觉传感器的焦距或视角，对所述初始环境感知模型进行增强训练。
15、更进一步地，所述图像增强策略还包括缩放、剪裁、翻转、旋转和色度空间变换中的任意一种或多种的图像增强策略。
16、进一步地，所述通过所述视觉传感器的外部参数和内部参数，预测所述待感知子图像中每个所述像素特征向bev特征空间中各位置映射的概率，并计算各位置的像素特征投影值，包括：
17、沿光线高度方向将bev特征空间划分为n个位置；
18、通过所述视觉传感器的外部参数和内部参数，预测所述像素特征向bev特征空间中各位置映射的概率，其中，bev特征空间中n个位置映射的概率的和为1；
19、计算像素特征分别与各位置映射的概率的乘积，作为该位置的像素特征投影值。
20、更进一步地，所述沿光线高度方向将bev特征空间划分为n个位置，包括：
21、沿光线高度方向，采用非均匀划分方法将bev特征空间划分为n个位置。
22、本专利技术实施例还提供了一种多目bev视角的纯视角环境感知装置，包括：
23、多目传感器，包括多个视觉传感器，所述视觉传感器用于采集车辆周边环境的纯视觉的子图像，并对所述子图像进行缩放预处理后得到待感知子图像；
24、第一像素特征提取模块，用于提取所述待感知子图像的像素特征；
25、映射概率预测模块，用于通过所述视觉传感器的外部参数和内部参数，预测所述待感知子图像中每个所述像素特征向bev特征空间中各位置映射的概率；
26、像素特征投影值计算模块，用于计算每个所述像素特征向bev特征空间中各位置映射时的像素特征投影值；
27、划分模块，用于依据投影不遮挡的原则，将多个所述视觉传感器划分为m个视觉传感器组；
28、bev投影图获取模块，用于将所述视觉传感器组内每个所述视觉传感器的每个像素特征投影值同时向bev特征空间赋值，输出所述视觉传感器组的bev投影图；
29、第二像素特征提取模块，用于提取所述bev投影图的bev特征后得到环境感知信息。
30、本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的多目bev视角的环境感知方法，以解决现有技术中通过纯视觉bev算法进行环境感知时存在的精度低、感知结果不佳和不同感知环境场景下鲁棒性无法保证等技术问题。...
【技术保护点】
1.一种多目BEV视角的环境感知方法，其特征在于，包括：
2.根据权利要求1所述的多目BEV视角的环境感知方法，其特征在于，还包括：
3.根据权利要求2所述的多目BEV视角的环境感知方法，其特征在于，采用虚拟相机增强策略对图像进行增强训练初始环境感知模型，包括：
4.根据权利要求2所述的多目BEV视角的环境感知方法，其特征在于，采用虚拟相机增强策略对图像进行增强训练初始环境感知模型，包括：
5.根据权利要求2～4任一项所述的多目BEV视角的环境感知方法，其特征在于，所述图像增强策略还包括缩放、剪裁、翻转、旋转和色度空间变换中的任意一种或多种的图像增强策略。
6.根据权利要求1所述的多目BEV视角的环境感知方法，其特征在于，所述通过所述视觉传感器的外部参数和内部参数，预测所述待感知子图像中每个所述像素特征向BEV特征空间中各位置映射的概率，并计算各位置的像素特征投影值，包括：
7.根据权利要求6所述的多目BEV视角的环境感知方法，其特征在于，所述沿光线高度方向将BEV特征空间划分为n个位置，包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1到7中任一项所述的多目BEV视角的环境感知方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1到7中任一项所述的多目BEV视角的环境感知方法的计算机程序。
...【技术特征摘要】
1.一种多目bev视角的环境感知方法，其特征在于，包括：
2.根据权利要求1所述的多目bev视角的环境感知方法，其特征在于，还包括：
3.根据权利要求2所述的多目bev视角的环境感知方法，其特征在于，采用虚拟相机增强策略对图像进行增强训练初始环境感知模型，包括：
4.根据权利要求2所述的多目bev视角的环境感知方法，其特征在于，采用虚拟相机增强策略对图像进行增强训练初始环境感知模型，包括：
5.根据权利要求2～4任一项所述的多目bev视角的环境感知方法，其特征在于，所述图像增强策略还包括缩放、剪裁、翻转、旋转和色度空间变换中的任意一种或多种的图像增强策略。
6.根据权利要求1所述的多目bev视角的环境感知方法，其特征在于，所述通过所述视觉传感...
【专利技术属性】
技术研发人员：李章洪，王汝卓，王雅儒，程建伟，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。