用于训练自动驾驶系统的逼真的3D虚拟世界创造与模拟技术方案

技术编号:20881733 阅读:40 留言:0更新日期:2019-04-17 13:08
一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的计算机执行方法,包括:获得一地理区域的地理地图数据;获得所述地理区域的视觉图像数据;将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签,以指定多个标记物件;将所述多个标记物件叠加在所述地理地图数据上;通过对所述多个标记物件中的每一个合成一相应的视觉纹理,产生模拟所述地理区域的一虚拟三维(3D)逼真的模型;以及将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的成象传感器的输入端,所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动,其中所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的模拟成象传感器的观点描绘所述逼真的模型。

【技术实现步骤摘要】
【国外来华专利技术】用于训练自动驾驶系统的逼真的3D虚拟世界创造与模拟
技术介绍
在本专利技术的一些实施例中,本专利技术涉及创建地理区域的模拟模型,更具体地但非排他地,涉及创建地理区域的模拟模型,可选地包括运输交通以生成用于训练自动驾驶系统的模拟知觉的数据。自主载具的舞台,无论是地面载具、空中载具和/或海上载具,都见证了近年来的巨大演变。主要资源投资于自主载具技术,因此这个领域正朝着为多种应用(例如,运输、工业、军事用途等)部署自主载具的目标快速前进。自主载具涉及多个科目,其针对在自主载具的开发中出现的多个挑战。然而,除了自主载具的设计及开发之外,还需要多个及多样化的支援生态系统用来训练、评估和/或验证控制自主汽车的自动驾驶系统。
技术实现思路
根据本专利技术的第一方面,提供了一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的计算机执行方法,所述计算机执行方法包括:-获得一地理区域的地理地图数据;-获得所述地理区域的视觉图像数据;-将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签,以指定多个标记物件;-将所述多个标记物件叠加在所述地理地图数据上;-通过对所述多个标记物件中的每一个合成一相应的视觉纹理,产生模拟所述地理区域的一虚拟三维(3D)逼真的模型;以及-将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的一个或多个成象传感器的一输入端,所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动,所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的一个或多个模拟成象传感器的观点描绘所述逼真的模型。使用所述模拟虚拟逼真的模型训练所述自动驾驶系统可以允许显着的可伸缩性,因为可以容易地针对多个地理位置模拟多个不同的乘坐场景。所述自动驾驶系统的训练、评估和/或验证可以通过执行所述模拟虚拟逼真的模型的一自动系统自动完成。此外,可以针对多个地理区域、各种条件和/或各种场景进行训练、评估和/或验证,而无需移动现实世界中的真实载体。另外,可以针对多个地理区域、各种条件和/或各种场景同时进行自动训练、评估和/或验证。这可以显着减少用于训练、评估和/或验证所述自动驾驶系统的资源,例如,时间、硬件资源、人力资源等。此外,使用所述模拟虚拟逼真的模型训练所述自动驾驶系统可以显着降低风险,因为所述过程是在一虚拟环境中进行的。使用现有用于训练所述自动驾驶系统的方法可能发生的损害、事故甚至生命损失可以被完全地防止及避免。根据本专利技术的第二方面,提供了一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的系统,所述系统包括一个或多个处理器适于执行代码,所述代码包括:-多个代码指令用以获得一地理区域的地理地图数据;-多个代码指令用以获得所述地理区域的视觉图像数据;-多个代码指令用以将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签,以指定多个标记物件;-多个代码指令用以将所述多个标记物件叠加在所述地理地图数据上;-多个代码指令用以通过对所述多个标记物件中的每一个合成一相应的视觉纹理,产生模拟所述地理区域的一虚拟三维(3D)逼真的模型;-多个代码指令用以将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的一个或多个成象传感器的一输入端,所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动。所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的一个或多个模拟成象传感器的观点描绘所述逼真的模型。在所述第一和/或第二方面的另一实施形式中,使用以下多个实现方法中的一个或多个来完成所述合成:-应用一个或多个条件生成对抗神经网络(cGAN)将所述多个标记物件中的一个或多个的一标签变换为一各自的视觉纹理;-从所述视觉图像数据中提取多个标记物件中的一个或多个的所述视觉纹理;-从一存储库检索多个标记物件中的一个或多个的所述视觉纹理,所述存储库包括多个静态物件的多个纹理图像。使用一个或多个合成实现方法可以允许为在所述地理区域中检测到的每一个标记物件选择最合适的技术,以创建物体的一真实且高度逼真的外观。在所述第一和/或第二方面的另一实施形式中,所述合成3D成像馈送被注入到所述自动驾驶系统的一物理输入端,所述自动驾驶系统适于接收至少一个或多个成象传感器的输入。使用所述自动驾驶系统的本地物理接口可以显着减少和/或完全避免调整所述自动驾驶系统以支持所述模拟虚拟逼真的模型的需要。在所述第一和/或第二方面的另一实施形式中,所述自动驾驶系统以一计算机软件程序来执行。使用一个或多个虚拟驱动程序来注入所述合成3D成像数据,所述虚拟驱动程序模拟所述一个或多个成象传感器的一馈送。使用所述自动驾驶系统的所述本机软件接口可以显着减少和/或完全避免调整所述自动驾驶系统以支持所述模拟虚拟逼真的模型的需要。在所述第一和/或第二方面的一可选的实施形式中,根据所述一个或多个模拟成象传感器的一能见度性能的一分析来调整所述一个或多个成象传感器的一个或多个安装属性,所述一个或多个模拟成象传感器模拟所述一个或多个成象传感器。所述多个安装属性可以包括例如,一模拟载具的定位、一视场(FOV)、一分辨率及一具有一个或多个相邻成象传感器的一重叠区域。所述模拟成象传感器可以安装在所述模拟载具上,类似于在所述真实载具上的所述真实成象传感器的安装。因此,可以在所述模拟虚拟模型中容易地实现的所述多个模拟成象传感器的性能的探索、评估和/或考核可以直接应用于所述真实成象传感器。因此,可以提供包括成象传感器特性、模型和/或能力的安装建议以改善所述真实成像传感器的性能。在所述第一和/或第二方面的一可选的实施形式中,一知觉的测距数据馈送模拟,其模拟通过安装在所述模拟载具上的一个或多个模拟距离传感器所产生的一知觉的测距数据馈送。使用应用在一个或多个噪声图的一模拟测距模型来模拟所述知觉的测距数据馈送,所述一个或多个噪声图与通过一个或多个模拟距离传感器所模拟的一个或多个距离传感器相关。这可以进一步增强所述虚拟逼真的模型以包含所述知觉的测距数据馈送,其可以是所述自动驾驶系统用以识别所述载具周围环境并相应地控制所述自主载具的一必要馈送。在所述第一和/或第二方面的一可选的实施形式中,所述一个或多个噪声图根据在所述逼真的模型中所模拟的多个物件中的一个或多个的一个或多个物件属性来调整。所述噪声图可以应用于为所述虚拟逼真的模型创建的所述测距模型,以增加所述模型的所述多个逼真的特征。产生所述模拟的知觉的测距数据可以基于例如从所述地理地图数据、所述视觉图像数据和/或其他数据源所提取的高度准确的测距信息。然而,真实世界知觉的测距数据可能远不那么准确。为了用一逼真的知觉的测距数据馈送来馈送自动驾驶系统,对现实世界随时间学习的典型噪声图可以被应用于所述模拟的知觉的测距数据。在所述第一和/或第二方面的一可选的实施形式中,所述一个或多个距离传感器的一距离精度性能的分析来调整所述一个或多个距离传感器的一个或多个安装属性。所述多个安装属性可以包括,例如,一模拟载具的定位、一FOV、一范围及一具有至少一个相邻距离传感器的一重叠区域。所述模拟距离传感器可以安装在所述模拟载具上,类似于所述真实距离传感器在所述真实载具上的安装。因此,可在所述模拟虚拟模型中容易实现的所述多个模拟距离传感器的性能的探索、评估和/或考核可直接应用于真实的本文档来自技高网...

【技术保护点】
1.一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的计算机执行方法,其特征在于,所述计算机执行方法包括:获得一地理区域的地理地图数据;获得所述地理区域的视觉图像数据;将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签,以指定多个标记物件;将所述多个标记物件叠加在所述地理地图数据上;通过对所述多个标记物件中的每一个合成一相应的视觉纹理,产生模拟所述地理区域的一虚拟三维(3D)逼真的模型;以及将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的至少一个成象传感器的一输入端,所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动,所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的至少一个模拟成象传感器的观点描绘所述逼真的模型。

【技术特征摘要】
【国外来华专利技术】2016.06.28 US 62/355,368;2016.09.08 US 62/384,7331.一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的计算机执行方法,其特征在于,所述计算机执行方法包括:获得一地理区域的地理地图数据;获得所述地理区域的视觉图像数据;将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签,以指定多个标记物件;将所述多个标记物件叠加在所述地理地图数据上;通过对所述多个标记物件中的每一个合成一相应的视觉纹理,产生模拟所述地理区域的一虚拟三维(3D)逼真的模型;以及将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的至少一个成象传感器的一输入端,所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动,所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的至少一个模拟成象传感器的观点描绘所述逼真的模型。2.如权利要求1所述的计算机执行方法,其特征在于:使用以下多个实现方法中的至少一个来完成所述合成:应用至少一个条件生成对抗神经网络(cGAN)将所述多个标记物件中的至少一个的一标签变换为一各自的视觉纹理;从所述视觉图像数据中提取多个标记物件中的至少一个的所述视觉纹理;以及从一存储库检索多个标记物件中的至少一个的所述视觉纹理,所述存储库包括多个静态物件的多个纹理图像。3.如权利要求1所述的计算机执行方法,其特征在于:所述合成3D成像馈送被注入到所述自动驾驶系统的一物理输入端,所述自动驾驶系统适于接收至少一个成象传感器的输入。4.如权利要求1所述的计算机执行方法,其特征在于:所述自动驾驶系统以一计算机软件程序来执行,使用至少一个虚拟驱动程序来注入所述合成3D成像数据,所述虚拟驱动程序模拟所述至少一个成象传感器的一馈送。5.如权利要求1所述的计算机执行方法,其特征在于:更包括根据所述至少一个模拟成象传感器的一能见度性能的一分析来调整所述至少一个成象传感器的至少一个安装属性,所述至少一个模拟成象传感器模拟所述至少一个成象传感器,所述至少一个安装属性是由一模拟载具的定位、一视场(FOV)、一分辨率及一具有至少一个相邻成象传感器的一重叠区域所组成的一组的一成员。6.如权利要求1所述的计算机执行方法,其特征在于:更包括模拟通过安装在所述模拟载具上的至少一个模拟距离传感器所产生的一知觉的测距数据馈送,使用应用在至少一个噪声图的一模拟测距模型来模拟所述知觉的测距数据馈送,所述至少一个噪声图与通过至少一个模拟距离传感器所模拟的至少一个距离传感器相关。7.如权利要求6所述的计算机执行方法,其特征在于:更包括所述至少一个噪声图根据在所述逼真的模型中所模拟的多个物件中的至少一个的至少一个物件属性来调整。8.如权利要求6所述的计算机执行方法,其特征在于:更包括根据所述至少一个距离传感器的一距离精度性能的分析来调整所述至少一个距离传感器的至少一个安装属性,所述至少一个安装属性是由一模拟载具的定位、一FOV、一范围及一具有至少一个相邻距离传感器的一重叠区域所组成的一组的一成员。9.如权利要求1所述的计算机执行方法,其特征在于:更包括将至少一个模拟动态物件插入到所述逼真的模型中,所述至少一个模拟动态物品是由一地面载具、一空中载具、一海上载具、一行人、一动物、一植物及一动态改变道路基础设施物件所组成的一组的一成员。10.如权利要求9所述的计算机执行方法,其特征在于:更包括应用多个驾驶员行为分类中的至少一个来控制至少一个模拟地面载具的一运动,例如所述地面载具,根据在所述地理区域中所识别的一典型的驾驶行为模式分析,所述至少一个驾驶员行为分类适于所述地理区域,根据对所述地理区域计算的一密度函数来选择至少一个驾驶员行为分类,所述密度函数是根据在所述地理区域中相应于所述至少一个驾驶员行为分类的驾驶员原型的重现。11.如权利要求1所述的计算机执行方法,其特征在于:更包括向所述自动驾驶系统注入通过与所述模拟载具相关的至少一个模拟运动传感器所模拟的模拟运动数据,所述模拟运动数据包含至少一个运动参数,所述至少一个运动参数是由一速度参数、一加速参数、一方向参数、一定向参数及一高度参数所组成的一组的一成员。12.如权利要求1所述的计算机执行方法,其特征在于:更包括向所述自动驾驶系统注入模拟运输数据,所述模拟运输数据包括在模拟载具与至少一个其他实体之间的载具到任何东西(V2X)通信。13.如权利要求1所述的计算机执行方法,其特征在于:更包括根据至少一个环境特征调整所述合成成像数据,所述环境特征是由一照明条件、一天气状况属性及一时间属性所组成的一组的一成员。14.如权利要求1所述的计算机执行方法,其特征在于:所述地理地图数据包括由一二维(2D)地图、一3D地图、一正射影像地图、一高程图及一详细地图所组成的一组的至少一成员,所述详细地图包括对存在于所述地理区域中的多个物件的物件描述。15.如权利要求1所述的计算机执行方法,其特征在于:所述视觉图像数据包括至少一个图像,所述图像是由一地平面图像、一航拍图像及一卫星图像所组成的一组的一成员,其中所述至少一个图像是一2D图像或一3D图像。16.如权利要求1所述的计算机执行方法,其特征在于:所述多个静态物件中的每一个是由一道路、一道路基础设施、一交叉路口、一建筑物、一纪念碑、一结构、一自然物及一地形表面所组成的一组中的一成员。17.如权利要求1所述的计算机执行方法,其特征在于:所述至少一个成象传感器是由一相机、一摄像机、一红外摄像机及一夜视传感器所组成的一组的一成员。18.一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的系统,其特征在于,所述系统包括:至少一个处理器适于执行代码,所述代码包括:多个代码指令用以获得一地理区域的地理地图数据;多个代码指令用以获得所述地理区域的视觉图像数据;多个代码指令用以将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签,以指定多个标记物件;多个代码指令用以将所述多个标记物件叠加在所述地理地图数据上;多个代码指令用以通过对所述多个标记物件中的每一个合成一相应的视觉纹理,产生模拟所述地理区域的一虚拟三维...

【专利技术属性】
技术研发人员:丹·阿特斯蒙
申请(专利权)人:柯尼亚塔有限公司
类型:发明
国别省市:以色列,IL

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1