一种支持多相机动态输入的感知方法、系统及车辆技术方案

本发明专利技术公开了一种支持多相机动态输入的感知方法、系统及车辆，包括采集图像数据，其中图像数据为多视角下的图像数据，基于图像数据对感兴趣区域进行标注，生成可训练的多传感器原始图像数据和真值数据，基于多个目标框对真值数据做掩码处理，对多个目标框进行透视投影，并分别在不同视角图像上进行显示，根据目标框是否超出图像边界区域判断目标框是否出现在图像数据中，并且进一步确定是否对图像进行处理。本发明专利技术有效解决或在一定程度上提高了自动驾驶车辆在摄像头传感器故障状态下的安全性。全性。全性。

【技术实现步骤摘要】
一种支持多相机动态输入的感知方法、系统及车辆


[0001]本专利技术涉及自动驾驶
，具体涉及一种支持多相机动态输入的感知方法、系统及车辆。

技术介绍

[0002]基于多相机的BEV视觉感知技术已经成为各个车企和厂家关注的重点方向，同时越来越多的量产方案也逐渐开始落地，然而软件技术的不断发展，需要依托稳定的硬件平台，然后车端元器件一般都存在使用寿命问题，极端情况下会出现传感器不能正常工作的状态。这类情况下，依然需要感知模型能够输出较高的检测精度，以便保证自动驾驶汽车能够正常行驶。因此，如何提高自动驾驶车辆在摄像头传感器故障状态下的安全性成为了人们亟待需要解决的问题。

技术实现思路

[0003]本专利技术的目的旨在至少在一定程度上解决上述的技术问题之一。
[0004]为此，本专利技术的第一个目的在于提出一种支持多相机动态输入的感知方法，用以如何提高自动驾驶车辆在摄像头传感器故障状态下的安全性问题，以提高自动驾驶车辆在摄像头传感器故障状态下的安全性。
[0005]本专利技术的第二个目的在于提出一种支持多相机动态输入的感知系统。
[0006]本专利技术的第三个目的在于提出一种车辆。
[0007]本专利技术的第四个目的在于提出一种电子设备。
[0008]本专利技术的第五个目的在于提出一种非暂时性计算机可读存储介质。
[0009]为达到上述目的，本专利技术第一方面实施例提出的支持多相机动态输入的感知方法，包括：
[0010]采集图像数据，其中所述图像数据为多视角下的图像数据；
[0011]基于所述图像数据对感兴趣区域进行标注，生成可训练的多传感器原始图像数据和真值数据；
[0012]基于多个目标框对所述真值数据做掩码处理；
[0013]对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理。
[0014]根据本专利技术的一个实施例，所述基于多个目标框对所述真值数据做掩码处理包括：
[0015]加载所述真值数据至内存中，采用随机策略选中所述多个目标框，对所述真值数据做掩码处理。
[0016]根据本专利技术的一个实施例，所述对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在
所述图像数据中，并且进一步确定是否对所述图像进行处理包括：
[0017]对所述多个目标框进行透视投影，并分别在所述不同视角图像上进行显示；
[0018]如超出所述图像边界区域，则所述目标框未出现在所述图像上，无需对所述图像进行任何处理；如未超出所述图像边界区域，则所述目标框出现在所述图像上，需要将所述图像的像素置为无效值。
[0019]根据本专利技术的一个实施例，所述真值数据包括3D空间上的坐标框、点集或目标类别。
[0020]根据本专利技术的一个实施例，所述坐标框为检测任务；所述点集为分割任务；所述目标类别为分类。
[0021]根据本专利技术的一个实施例，通过数据采集车辆采集所述图像数据。
[0022]为达到上述目的，本专利技术第二方面实施例提出一种支持多相机动态输入的感知系统，包括：
[0023]图像采集模块，用于采集图像数据，其中所述图像数据为多视角下的图像数据；
[0024]数据生成模块，用于基于所述图像数据对感兴趣区域进行标注，生成可训练的多传感器原始图像数据和真值数据；
[0025]掩码处理模块，用于基于多个目标框对所述真值数据做掩码处理；
[0026]多相机感知模块，用于对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理。
[0027]为达到上述目的，本专利技术第三方面实施例提出的一种车辆，所述车辆包括上述第二方面中支持多相机动态输入的感知系统的任一实施例。
[0028]为达到上述目的，本专利技术第四方面实施例提出的一种电子设备，包括：
[0029]存储器，其用于存储计算机可执行指令；以及
[0030]处理器，其用于运行所述计算机可执行指令，以执行上述第一方面中支持多相机动态输入的感知方法的任一实施例。
[0031]为达到上述目的，本专利技术第五方面实施例提出的一种非暂时性计算机可读存储介质，所述存储介质上存储有计算机可执行指令，当所述指令被计算机执行时，使得所述计算机执行上述第一方面中支持多相机动态输入的感知方法的任一实施例。
[0032]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
[0033]与现有技术相比，本申请实施例的有益效果是：
[0034]本专利技术提供一种支持多相机动态输入的感知方法、系统及车辆，本方法有效解决或在一定程度上提高了自动驾驶车辆在摄像头传感器故障状态下的安全性，能够在摄像头传感器故障的状态下，确保检测精度下降不明显，降低自动驾驶汽车安全性风险。并且，本系统容易模块化、插件化，容易扩展到其他类似任务中。
[0035]为了能更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而得以体现。本专利技术的目的和其他优点可通过
在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0036]为了更清楚地说明本专利技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1是根据本专利技术一个实施例提供的支持多相机动态输入的感知方法的流程图；
[0038]图2是根据本专利技术一个具体实施例提供的支持多相机动态输入的感知方法的流程图；
[0039]图3是根据本专利技术一个具体实施例提供的支持多相机动态输入的感知方法中透视变换的原理图；
[0040]图4是根据本专利技术一个实施例提供的支持多相机动态输入的感知系统的结构示意图；
[0041]图5是根据本专利技术一个实施例提供的电子设备的结构示意图。
具体实施方式
[0042]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0043]现有技术中，如何提高自动驾驶车辆在摄像头传感器故障状态下的安全性成为了人们亟待需要解决的问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持多相机动态输入的感知方法，其特征在于，包括：采集图像数据，其中所述图像数据为多视角下的图像数据；基于所述图像数据对感兴趣区域进行标注，生成可训练的多传感器原始图像数据和真值数据；基于多个目标框对所述真值数据做掩码处理；对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理。2.根据权利要求1所述的感知方法，其特征在于，所述基于多个目标框对所述真值数据做掩码处理包括：加载所述真值数据至内存中，采用随机策略选中所述多个目标框，对所述真值数据做掩码处理。3.根据权利要求2所述的感知方法，其特征在于，所述对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理包括：对所述多个目标框进行透视投影，并分别在所述不同视角图像上进行显示；如超出所述图像边界区域，则所述目标框未出现在所述图像上，无需对所述图像进行任何处理；如未超出所述图像边界区域，则所述目标框出现在所述图像上，需要将所述图像的像素置为无效值。4.根据权利要求3所述的感知方法，其特征在于，所述真值数据包括3D空间上的坐标框、点集或目标类别。...

【专利技术属性】
技术研发人员：张文海，胡文博，陈安猛，张军良，
申请(专利权)人：合众新能源汽车股份有限公司，
类型：发明
国别省市：