自动驾驶装置的对象识别方法以及自动驾驶装置制造方法及图纸

公开了一种对象识别方法，包括以下步骤：通过使用相机获取第一RGB图像；基于关于第一RGB图像的亮度信息预测第一RGB图像中的不能识别对象的至少一个第一区域；基于通过动态视觉传感器获取的对象信息，从所述至少一个第一区域确定存在对象的至少一个第二区域；通过控制与所述至少一个第二区域相关的相机的摄影设置信息来获取增强的第二RGB图像；以及识别第二RGB图像中的对象。第二RGB图像中的对象。第二RGB图像中的对象。

【技术实现步骤摘要】
【国外来华专利技术】自动驾驶装置的对象识别方法以及自动驾驶装置


[0001]本公开涉及一种在自动驾驶期间识别邻近对象的方法和使用该方法的自动驾驶装置。

技术介绍

[0002]随着对自动驾驶车辆的兴趣的增加，实现自动驾驶的技术正引起关注。为了使车辆在没有驾驶员操作的情况下自行移动，使用了：(1)用于识别车辆的外部环境的技术，(2)用于合成识别的信息、确定操作(诸如加速、停止和转弯)以及确定驾驶路线的技术，以及(3)用于通过使用确定的信息来控制车辆的移动的技术。所有这些技术必须有机地组合以实现自动驾驶，但是用于识别车辆的外部环境的技术变得越来越重要。这是因为识别外部环境是自动驾驶的第一要素，并且需要电气、电子和信息技术的融合来识别外部环境。
[0003]用于识别外部环境的技术可以大致分类为基于传感器的识别技术和基于连接的识别技术。安装在车辆上用于自动驾驶的传感器包括超声传感器、相机、雷达和激光雷达传感器，并且被单独地或者与其它传感器一起安装在车辆上的这些传感器识别车辆的外部环境和地形、并向驾驶员和车辆提供信息。
[0004]基于连接的用于自动驾驶的识别技术包括V2X和精确定位。V2X是指车辆到一切，其中，V2X包括：用于车辆之间通信的车辆到车辆(V2V)、用于与基础设施通信的车辆到基础设施(V2I)以及用于与行人通信的车辆到行人(V2P)。V2X可以指将行驶的车辆连接到周围车辆、运输基础设施和附近行人的无线通信技术。可以通过建立的通信网络来交换信息(诸如车辆的位置、距离和速度)，并且可以向车辆提供信息(诸如周围交通信息和行人位置)。

技术实现思路

[0005]问题的解决方案
[0006]实施例涉及一种由自动驾驶装置执行的对象识别方法，由此通过使用相机，通过基于由动态视觉传感器检测到的对象信息调整相机的摄影配置信息来提高对外部对象的识别率。
[0007]根据实施例，一种由自动驾驶装置执行的识别对象的方法包括：通过使用布置在自动驾驶装置中的相机获得第一RGB图像；基于第一RGB图像的亮度信息，预测第一RGB图像中的不能识别对象的至少一个第一区域；基于通过布置在自动驾驶装置中的动态视觉传感器(DVS)获得的对象信息，从所述至少一个第一区域确定存在对象的至少一个第二区域；通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB图像；以及识别第二RGB图像中的对象。
[0008]根据实施例，一种自动驾驶装置包括：相机；动态视觉传感器(DVS)；以及至少一个处理器，其中，所述至少一个处理器被配置为：通过使用相机获得第一RGB图像；基于第一RGB图像的亮度信息，预测第一RGB图像中的不能识别对象的至少一个第一区域；基于通过动态视觉传感器获得的对象信息，从所述至少一个第一区域确定存在对象的至少一个第二
区域；通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB图像；以及识别第二RGB图像中的对象。
[0009]根据实施例，一种计算机程序产品可以在其中存储程序，其中，所述程序用于执行以下操作：通过使用相机获得第一RGB图像；基于第一RGB图像的亮度信息，预测第一RGB图像中的不能识别对象的至少一个第一区域；基于通过动态视觉传感器(DVS)获得的对象信息，从所述至少一个第一区域确定存在对象的至少一个第二区域；通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB图像；以及识别第二RGB图像中的对象。
附图说明
[0010]图1是用于解释根据实施例的自动驾驶装置的示图。
[0011]图2是用于解释根据实施例的由自动驾驶装置使用的对象识别方法的流程图。
[0012]图3是用于解释根据实施例的在RGB图像中确定的不能识别对象的区域和感兴趣区域的示图。
[0013]图4是用于解释根据实施例的相机的摄影配置信息的示图。
[0014]图5是用于解释根据实施例的通过使用直方图来识别对象的方法的流程图。
[0015]图6是用于解释根据实施例的通过使用直方图来确定在RGB图像中是否存在不能识别对象的区域的操作的示图。
[0016]图7是用于解释根据实施例的确定RGB图像中的不能识别对象的区域的操作的示图。
[0017]图8是用于解释根据实施例的通过使用人工智能模型来识别对象的方法的流程图。
[0018]图9是用于解释根据实施例的将RGB图像和DVS图像应用于AI处理器的操作的示图。
[0019]图10是用于解释根据实施例的由自动驾驶装置执行以获得增强的RGB图像的操作的示图。
[0020]图11是用于解释根据实施例的当进入隧道时由自动驾驶装置执行以获得增强的RGB图像的操作的示图。
[0021]图12是用于解释根据实施例的当在RGB图像中存在由于背光引起的不能识别对象的区域时控制相机的摄影配置信息的操作的示图。
[0022]图13是用于解释根据实施例的根据多个感兴趣区域的优先级来控制相机的摄影配置信息的方法的流程图。
[0023]图14是用于解释根据实施例的多个感兴趣区域的优先级的示图。
[0024]图15是用于解释根据实施例的由自动驾驶装置执行以跟踪对象的方法的流程图。
[0025]图16是用于解释根据实施例的由自动驾驶装置执行以通过使用相机来识别和跟踪由动态视觉传感器检测到的新对象的操作的示图。
[0026]图17是用于解释根据实施例的自动驾驶装置的配置的框图。
[0027]图18是根据实施例的处理器的框图。
[0028]图19是根据实施例的数据学习器的框图。
[0029]图20是根据实施例的数据识别器的框图
[0030]图21是示出根据实施例的自动驾驶装置和服务器交互操作以学习和识别数据的示例的示图。
具体实施例
[0031]将简要描述本说明书中使用的术语，并且将详细描述本公开的实施例。
[0032]考虑到本公开中使用的术语在本公开中的功能，本公开中使用的术语选自当前广泛使用的常见术语。然而，根据本领域普通技术人员的意图、先例或新技术的出现，术语可以不同。此外，在特定情况下，术语由本公开的申请人任意选择，在这种情况下，将在具体实施例的相应部分中详细描述那些术语的含义。因此，本公开中使用的术语不仅仅是对术语的指定，而是基于贯穿本公开的术语的含义和内容来定义术语。
[0033]在整个说明书中，当部件“包括”元件时，应当理解，只要没有特定的相反叙述，该部件另外包括其他元件而不是排除其他元件。此外，说明书中描述的术语(诸如
“……
器(件)”、
“……
单元”、
“……
模块”等)表示执行至少一个功能或操作的单元，其中，所述单元可以被实现为硬件或软件或者硬件和软件的组合。
[0034]在下文中，现在将参照附图详细描述本公开的实施例，以使本领域技术人员能够毫无困难地执行本公开。然而，本公开可以以许多不同的形式被实现，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由自动驾驶装置执行的识别对象的方法，所述方法包括：通过使用布置在自动驾驶装置中的相机获得第一红绿蓝RGB图像；基于第一RGB图像的亮度信息，预测第一RGB图像中的不能识别对象的至少一个第一区域；基于通过布置在自动驾驶装置中的动态视觉传感器DVS获得的对象信息，从所述至少一个第一区域确定存在对象的至少一个第二区域；通过控制与所述至少一个第二区域相关的相机的摄影配置信息来获得增强的第二RGB图像；以及识别第二RGB图像中的对象。2.如权利要求1所述的方法，其中，预测不能识别对象的至少一个第一区域的步骤包括：将第一RGB图像中的亮度值在阈值范围之外的区域预测为所述至少一个第一区域。3.如权利要求1所述的方法，其中，预测不能识别对象的至少一个第一区域的步骤包括：分析第一RGB图像以获得第一RGB图像的直方图；通过使用第一RGB图像的直方图确定在第一RGB图像中是否存在不能识别对象的区域；以及当确定在第一RGB图像中存在不能识别对象的区域时，基于第一RGB图像的亮度信息预测第一RGB图像中的所述至少一个第一区域。4.如权利要求1所述的方法，其中，预测不能识别对象的至少一个第一区域的步骤包括：通过使用已经学习了多个RGB图像的第一人工智能模型来确定在第一RGB图像中是否存在不能识别对象的区域；以及当确定在第一RGB图像中存在不能识别对象的区域时，通过使用第一人工智能模型预测第一RGB图像中的所述至少一个第一区域。5.如权利要求1所述的方法，其中，所述对象信息包括：由动态视觉传感器获得的动态视觉传感器DVS图像和从DVS图像检测到的至少一个对象的位置信息中的至少一个。6.如权利要求1所述的方法，其中，从所述至少一个第一区域确定存在对象的至少一个第二区域的步骤包括：通过将由动态视觉传感器获得的DVS图像和第一RGB图像应用于第二人工智能模型来确定所述至少一个第二区域。7.如权利要求1所述的方法，其中，获得第二RGB图像的步骤包括：控制针对所述至少一个第二区域的曝光、聚焦和白平衡中的至少一个。8.如权利要求1所述的方法，其中，获得第二RGB图像的步骤包括：调整相机的增益、光圈和曝光时间中的至少一个。9.如权利要求1所述的方法，还包括：当第二RGB图像由多个帧组成时，通过跟踪从所述多个帧中的每个帧识别出的对象中包括的特征来获得自动驾驶装置的位置信息。10.如权利要求1所述的方法，还包括：基于关于识别的对象的信息来确定自动驾驶装置的路线。11.如权利要求1所述的方法，还包括：通过使用相机来跟踪识别的对象；
通过使用动态视觉传感器来检测自动驾驶装置周围出现的新对象；响应于检测到新对象，确定在通过相机获得的第三RGB图像中识别出新对象的概率大于阈值的候选区域；以及通过对候选区域执行图像处理来从第三RGB图像识别新对象。12.一种自动驾驶装置...

【专利技术属性】
技术研发人员：朴奎泰，廓世珍，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：