视觉感知方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种视觉感知方法、装置、计算机设备和存储介质。所述方法包括：获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像；将所述拜耳格式图像输入图像识别模型，获得图像识别结果；其中，所述图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，所述图像识别结果包括所述目标行驶环境中目标对象的类型和位置。采用上述视觉感知方法，无需将图像传感器采集到的原始格式的图像(即拜耳格式图像)再转换为RGB图像，简化了视觉感知的处理过程，提高了处理效率，进而降低了感知延迟。

【技术实现步骤摘要】
视觉感知方法、装置、计算机设备和存储介质
本申请涉及自动驾驶
，特别是涉及一种视觉感知方法、装置、计算机设备和存储介质。
技术介绍
视觉感知是自动驾驶领域非常重要的感知方式，实现自动驾驶的车辆通常需要安装大量的图像传感器来采集环境的图像数据，通过对采集到的图像数据进行目标检测，实现车辆对环境的视觉感知。传统技术中的视觉感知方法是将图像传感器采集得到的Bayer图像，经过ISP(ImageSignalProcessor，图像信号处理器)转换为RGB图像，再将RGB图像输入图像识别模块进行处理，以得到识别结果。上述采用ISP将Bayer图像转换为RGB图像的主要目的在于适应人的视觉系统，以方便用户观看。然而，在自动驾驶的过程中(或其他不需要人参与的场景下)，并不需要将Bayer图像处理成RGB图像，上述采用ISP进行视觉感知的过程复杂，耗时久，进而导致感知延迟。
技术实现思路
基于此，有必要针对上述技术问题，提供一种视觉感知方法、装置、计算机设备和存储介质。一种视觉感知方法，包括：获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像；将拜耳格式图像输入图像识别模型，获得图像识别结果；其中，图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，图像识别结果包括目标行驶环境中目标对象的类型和位置。在其中一个实施例中，上述方法还包括：获取拜耳格式图像的亮度值；根据拜耳格式图像的亮度值对图像传感器进行曝光参数调整，使得图像传感器根据调整后的曝光参数采集拜耳格式图像。在其中一个实施例中，根据拜耳格式图像的亮度值对图像传感器进行曝光参数调整，包括：获取拜耳格式图像每一像素点的亮度值，计算得到拜耳格式图像的亮度平均值；根据亮度平均值和预设亮度阈值对图像传感器进行曝光参数调整。在其中一个实施例中，预设亮度阈值包括最大亮度阈值和最小亮度阈值，最小亮度阈值小于最大亮度阈值，根据亮度平均值和预设亮度阈值对图像传感器进行曝光参数调整，包括：若亮度平均值大于最大亮度阈值，则减小图像传感器的曝光时长和/或曝光增益；若亮度平均值小于最小亮度阈值，则增大图像传感器的曝光时长和/或曝光增益。在其中一个实施例中，图像识别模型的训练过程包括：获取拜耳格式样本图像；对拜耳格式样本图像中目标对象的类型进行标注；将标注后的拜耳格式样本图像输入初始识别模型，对初始识别模型进行训练，得到图像识别模型。在其中一个实施例中，上述方法还包括：获取目标行驶环境下图像传感器采集到的多帧拜尔格式图像；按照每一帧拜尔格式图像的获取时间排列多帧拜尔格式图像，以生成行驶环境视频文件。在其中一个实施例中，上述方法还包括：通过车辆的图像显示装置显示拜耳格式图像，并且根据图像识别结果在拜耳格式图像中标注目标对象的类型和位置。一种视觉感知装置，包括：图像获取模块，用于获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像；感知识别模块，用于将拜耳格式图像输入图像识别模型，获得图像识别结果；其中，图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，图像识别结果包括目标行驶环境中目标对象的类型和位置。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像；将拜耳格式图像输入图像识别模型，获得图像识别结果；其中，图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，图像识别结果包括目标行驶环境中目标对象的类型和位置。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像；将拜耳格式图像输入图像识别模型，获得图像识别结果；其中，图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，图像识别结果包括目标行驶环境中目标对象的类型和位置。上述视觉感知方法、装置、计算机设备和存储介质，通过获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像，将拜耳格式图像输入采用拜耳格式样本图像训练得到的图像识别模型，获得包括目标行驶环境中目标对象的类型和位置的图像识别结果，实现车辆对环境的视觉感知，辅助实现车辆自动驾驶。采用上述视觉感知方法，无需将图像传感器采集到的原始格式的图像(即拜耳格式图像)再转换为RGB图像，简化了视觉感知的处理过程，提高了处理效率，进而降低了感知延迟。同时，将拜耳格式图像转换为RGB图像的过程存在图像信息损失，直接采用拜耳格式图像作为视觉感知的数据源，减少了图像信息的损失，进而可提高了图像识别结果的准确性。附图说明图1为一个实施例中视觉感知方法的应用环境图；图2为一个实施例中视觉感知方法的流程示意图；图3为一个实施例中曝光调整的流程示意图；图4为另一个实施例中曝光调整的流程示意图；图5为另一个实施例中曝光调整的流程示意图；图6为一个实施例中图像识别模型训练的流程示意图；图7为一个实施例中生成行驶环境视频文件的流程示意图；图8为一个实施例中视觉感知装置的结构框图；图9为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的视觉感知方法，可用于环境感知、目标检测等研究领域，具体可应用于需要设备实现视觉感知的应用环境，例如，可以是如图1所示的车辆自动驾驶的应用环境中，也可以是无人机目标跟踪的应用环境中。在应用于如图1所示的车辆自动驾驶的应用环境时，车辆获取自身图像传感器在目标行驶环境采集到的拜耳格式图像，将拜耳格式图像输入图像识别模型，进而获得图像识别结果。其中，图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，图像识别结果包括目标行驶环境中目标对象的类型和位置。在应用于不同的应用环境中时，上述视觉感知方法的执行主体可以是别的设备，例如，在应用于无人机目标跟踪的应用场景中时，上述视觉感知方法的执行主体则为无人机。在一个实施例中，如图2所示，提供了一种视觉感知方法，以该方法应用于图1中的车辆为例进行说明，包括以下步骤：S210、获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像。其中，目标行驶环境为车辆当前所处的行驶环境，拜耳(Bayer)格式图像为图像传感器(Sensor)进行图像采集得到的原始格式的图像。拜耳格式图像包含更多的信息，一般包括12bit的数据量。可选地，车辆在目标行驶环境下，获取车辆通过自身的图像传感器采集到的反映车辆前方或者四周环境的拜耳格式图像。S220、将拜耳格式图像输入图像本文档来自技高网...

【技术保护点】
1.一种视觉感知方法，其特征在于，所述方法包括：/n获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像；/n将所述拜耳格式图像输入图像识别模型，获得图像识别结果；其中，所述图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，所述图像识别结果包括所述目标行驶环境中目标对象的类型和位置。/n

【技术特征摘要】
1.一种视觉感知方法，其特征在于，所述方法包括：
获取车辆的图像传感器在目标行驶环境采集到的拜耳格式图像；
将所述拜耳格式图像输入图像识别模型，获得图像识别结果；其中，所述图像识别模型为采用拜耳格式样本图像训练得到的目标识别模型，所述图像识别结果包括所述目标行驶环境中目标对象的类型和位置。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述拜耳格式图像的亮度值；
根据所述拜耳格式图像的亮度值对所述图像传感器进行曝光参数调整，使得所述图像传感器根据调整后的曝光参数采集拜耳格式图像。


3.根据权利要求2所述的方法，其特征在于，所述根据所述拜耳格式图像的亮度值对所述图像传感器进行曝光参数调整，包括：
获取所述拜耳格式图像每一像素点的亮度值，计算得到所述拜耳格式图像的亮度平均值；
根据所述亮度平均值和预设亮度阈值对所述图像传感器进行曝光参数调整。


4.根据权利要求3所述的方法，其特征在于，所述预设亮度阈值包括最大亮度阈值和最小亮度阈值，所述最小亮度阈值小于所述最大亮度阈值，所述根据所述亮度平均值和预设亮度阈值对所述图像传感器进行曝光参数调整，包括：
若所述亮度平均值大于所述最大亮度阈值，则减小所述图像传感器的曝光时长和/或曝光增益；
若所述亮度平均值小于所述最小亮度阈值，则增大所述图像传感器的曝光时长和/或曝光增益。


5.根据权利要求1所述的方法，其特征在于，所述图像识别模型的训练过程包括：

【专利技术属性】
技术研发人员：王诗俊，
申请(专利权)人：前海七剑科技深圳有限公司，
类型：发明
国别省市：广东;44