增强环境场景的方法和自动驾驶车辆测试系统技术方案

一种增强环境场景的方法，包括：从自动驾驶车辆获得图像，图像由安装在自动驾驶车辆上的相机捕获并且描绘自动驾驶车辆周围环境；生成包含一个或多个虚拟对象的虚拟对象图形，当在图像上渲染虚拟对象图形产生对象增强图像；生成表征天气宏观静态效果的全局场景图形；生成表示至少一个具体天气动态效果的天气动态效果图形；基于虚拟对象图形、天气全局场景图形和天气动态效果图形，合成生成环境增强图像，导致环境的视觉表示如同环境在经历预定天气条件和交通环境时将表现的那样；以及将合成环境增强图像输入到自动驾驶车辆的车载车辆控制器中，使得自动驾驶车辆基于环境增强图像执行至少一个自动驾驶操作。执行至少一个自动驾驶操作。执行至少一个自动驾驶操作。

【技术实现步骤摘要】
增强环境场景的方法和自动驾驶车辆测试系统


[0001]本专利技术涉及用于渲染自动驾驶车辆在测试期间使用的场景的方法和系统。

技术介绍

[0002]现有技术中不存在使用天气相关和交通相关的图形来增强自动驾驶车辆(AV)捕获的图像的方法和系统。

技术实现思路

[0003]一种增强环境场景的方法，供自动驾驶汽车在测试期间使用，该方法包括以下步骤：从自动驾驶汽车获得表示场景信息的图像，其中，所述图像由安装在所述自动驾驶车辆上的相机捕获并且描绘所述自动驾驶汽车行驶的环境；生成表征一个或多个虚拟对象的虚拟对象图形，当所述虚拟对象图形在所述图像上渲染时产生对象增强图像；基于所述对象增强图像，生成表征天气宏观静态效果的全局场景图形，来模拟所述环境在预定天气条件下的宏观视觉效果，所述全局场景图形由一个或多个人工智能(AI)技术生成；生成表示至少一个具体天气动态效果的天气动态效果图形，其中，所述天气动态效果图形由一个或多个基于物理模型的计算技术生成；基于所述虚拟对象图形、所述全局场景图形和所述天气动态效果图形，生成合成天气对象增强图像；以及将所述合成天气对象增强图像输入到所述自动驾驶车辆的车载车辆控制器中，使得所述自动驾驶车辆基于所述合成天气对象增强图像执行至少一个自动驾驶操作。
附图说明
[0004]下面将结合附图描述优选的示例性实施例，其中，相似的附图标记表示相似的元件，并且其中：
[0005]根据第一实施例，图1描绘了包括自动驾驶车辆(AV)和测试场地服务器的通信系统，可用于执行本文所述的一个或多个方法；
[0006]根据第二实施例，图2描绘了包括自动驾驶车辆(AV)和测试场地服务器的通信系统，可用于执行本文所述的一个或多个方法；
[0007]图3是根据一个实施例的增强环境场景方法的流程图，用于自动驾驶车辆测试；
[0008]图4是根据一个实施例的增强环境场景方法的流程图，供自动驾驶车辆在自动驾驶车辆的测试期间使用；
[0009]图5是根据一个实施例的用于生成和渲染虚拟对象图形的过程的流程图，其可用作图3和图4的方法的一部分；
[0010]图6是根据一个实施例的用于生成天气相关图形的过程的流程图，其可用作图3和图4的方法的一部分。
16中的远程信息处理设备)连接的任何其他网络组件，所有这些通常均表示在28中。无线载波系统22可以实现任何合适的通信技术，包括GSM/GPRS技术、CDMA或CDMA2000技术、LTE技术、5G等。在至少一个实施例中，无线载波系统22实现5G蜂窝通信技术并包括合适的硬件和配置。在一些这样的实施例中，无线载波系统22提供可由AV 16使用的用于与测试场地服务器14或远离AV 16的其他计算机/设备通信的5G网络。通常，无线载波系统22、其组件、其组件的布置、组件之间的交互等在本领域中是公知的。
[0016]测试场地服务器14可用于为测试场地12的一个或多个组件提供后端。在至少一个实施例中，测试场地服务器14包括一个或多个计算机或计算设备(统称为“计算机”)，其被配置为执行本文所述方法的一个或多个步骤。在另一实施例中，测试场地服务器14用于存储关于测试场地14的一个或多个组件的信息和/或属于AV 16的信息，例如可用于在测试期间评估AV 16性能的车辆状态信息。测试场地服务器14是由一个或多个计算机执行或托管的服务器，每个计算机包括处理器和可由处理器访问的非暂时性计算机可读存储器。
[0017]在图示的实施例中，AV 16被描绘为客车，但应该理解的是，也可以使用任何其他车辆，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、自行车、可在道路或人行道上使用的其他车辆或移动设备等。如在所示实施例中所描绘的，AV 16包括车辆电子器件18，其包括车载车辆计算机30、GNSS接收器32、一个或多个相机34、激光雷达传感器36和车辆通信总线38。图1提供了车辆电子器件18的特定组件的示例，然而，应当理解的是，根据各种实施例，除了图1所描绘的那些组件之外，车辆电子器件18可以包括一个或多个其他组件补充或替代图1的组件。
[0018]全球导航卫星系统(GNSS)接收器32接收来自GNSS卫星群组24的无线电信号。GNSS接收器32使用接收到的无线电信号来生成位置数据，该位置数据表示GNSS接收器32的位置以及因此表示安装GNSS接收器32的AV 16的位置。在一个实施例中，例如测试场地12位于美国，GNSS接收器32可以是全球定位系统(GPS)接收器。在另一实施例中，例如测试场地12位于欧洲，GNSS接收器32可以是配置为与伽利略(卫星导航系统)一起使用的GNSS接收器。除了可以将位置表示为地理坐标对的位置数据之外，GNSS接收器32还可以指定与每个位置相关联的时间。由GNSS接收器根据GNSS信号获得的这种时间和位置数据称为GNSS数据。
[0019]一个或多个相机34中的每个相机均用于获得车辆环境的图像，并且表示由相机34捕获的图像可以表示为指定颜色信息的像素阵列。每个相机34可以是任何合适的数码相机或图像传感器，例如互补金属氧化物半导体(CMOS)相机/传感器。每个相机34连接到车辆通信总线38，并且可以向车载车辆计算机30提供图像。在一些实施例中，来自一个或多个相机34的图像被提供给测试场地服务器14。相机34中的至少一个被安装在AV 16上，使得至少一个相机的视野指向车辆的外部环境。在至少一些实施例中，由至少一个相机捕获的图像表示场景信息，并且该场景信息描绘AV 16的外部环境。
[0020]由相机34捕获的图像可以包括各种外部对象的视觉描述，例如一条或多条道路(例如，AV 16行驶的道路)，一个或多个行人，一辆或多辆其他车辆，建筑物，交通标识，其他路边基础设施，一棵或多棵树或其他生物，交通信号(例如，交通灯)、云、天空等。一个或多个相机34可以是安装在AV 16的前面并且面向AV 16前面区域的前面相机、安装在AV 16的侧面并且面向AV 16的侧面区域的侧面相机或者安装在AV 16的背面或后面并且面向AV 16后面区域的背面相机中的任意一个。
[0021]激光雷达传感器36用于获得环境内的一个或多个对象的激光雷达传感器数据，并且激光雷达传感器数据可以包括这些对象的范围和/或位置信息。非可见光波被激光雷达传感器36发射，经过对象反射后被激光雷达传感器36。应当理解的是，可以使用各种类型的激光雷达设备，包括例如由Velodyne
TM
制造的设备，例如Alpha Prime
TM
、Ultra Puck
TM
、Puck
TM
等。激光雷达传感器36连接到车辆通信总线38，并且可以向车载车辆计算机30提供激光雷达传感器数据。尽管这里仅示出和描述了单个激光雷达传感器，但应当理解的是，根据至少一些实施例，AV 16可以包括两个或更多个激光雷达传感器。
[0022]车载车辆计算机30是车载计算机，因为它由AV 16运载，并且由于车载车辆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强环境场景的方法，供自动驾驶汽车在测试期间使用，该方法包括以下步骤：从自动驾驶汽车获得表示场景信息的图像，其中，所述图像由安装在所述自动驾驶车辆上的相机捕获并且描绘所述自动驾驶汽车行驶的环境；生成表征一个或多个虚拟对象的虚拟对象图形，当所述虚拟对象图形在所述图像上渲染时产生对象增强图像；基于所述对象增强图像，生成表征天气宏观静态效果的全局场景图形，来模拟所述环境在预定天气条件下的宏观视觉效果，所述全局场景图形由一个或多个人工智能(AI)技术生成；生成表示至少一个具体天气动态效果的天气动态效果图形，其中，所述天气动态效果图形由一个或多个基于物理模型的计算技术生成；基于所述虚拟对象图形、所述全局场景图形和所述天气动态效果图形，生成合成天气对象增强图像；以及将所述合成天气对象增强图像输入到所述自动驾驶车辆的车载车辆控制器中，使得所述自动驾驶车辆基于所述合成天气对象增强图像执行至少一个自动驾驶操作。2.根据权利要求1所述的方法，其中，所述方法还包括获得相机位姿信息的步骤，所述相机位姿信息表示在由所述相机捕获所述图像的期间所述相机的位姿，并且其中，基于所述相机位姿信息确定所述一个或多个对象的位姿，使得所述一个或多个对象在被渲染在所述图像上时显得逼真。3.根据权利要求2所述的方法，其中，所述方法还包括获得车辆位姿信息的步骤，所述车辆位姿信息表示在由所述相机捕获所述图像的期间所述自动驾驶车辆的位姿。4.根据权利要求3所述的方法，其中，所述相机位姿信息和/或所述车辆位姿信息用于生成所述虚拟对象图形。5.根据权利要求4所述的方法，其中，基于至少一个AI技术生成所述虚拟对象图形。6.根据权利要求1所述的方法，其中，所述方法由车载独立计算机执行，并且其中，所述车载独立计算机与所述自动驾驶车辆的车辆电子器件连接并通信。7.根据权利要求1所述的方法，其中，所述方法的每个步骤被执行多于一次，以生成多个合成天气对象增强图像并且将所述多个合成天气对象增强图像输入到所述车载车辆控制器中。8.根据权利要求1所述的方法，其中，所述图像在所述自动驾驶车辆处获取，并从所述自动驾驶车辆发送至测试场地服务器，其中，所述图像的传输包括5G蜂窝通信的使用。9.根据权利要求8所述的方法，其中，所述测试场地服务器被配置为执行生成虚拟对象图形的步骤、生成全局场景图形的步骤、生成天气动态效果图形的步骤、生成合成天气对象增强图像的步骤、以及将所述合成天气对象增强图像输入到所述自动驾驶车辆的所述车载车辆控制器中的步骤。10.根据权利要求9所述的方法，其中，所述将所述合成天气对象增强图像输入到所述自动驾驶车辆的所述车载车辆控制器中的步骤包括：使用5G蜂窝通信将所述合成天气对象增强图像发送到所述自动驾驶车辆。11.根据权利要求1所述的方法，其中，所述至少一个具体天气动态效果对应于所述预定天气条件。
12.根据权利要求1所述的方法，其中，以使得所述车载车辆控制器表现为好像所述合成天气对象增强图像是非增强图像的方式，将所述合成天气对象增强图像输...

【专利技术属性】
技术研发人员：徐少兵，李尚怡，王建强，李升波，成波，李克强，
申请(专利权)人：清华大学，
类型：发明
国别省市：