用于护柱接收器检测的虚拟传感器数据生成制造技术

本发明专利技术涉及用于虚拟传感器数据生成的方法、系统和装置，并且更具体地涉及用于训练和测试检测对象或障碍物(例如护柱接收器)的模型或算法的虚拟传感器数据生成。一种用于生成虚拟传感器数据的方法包括模拟包含一个或多个对象(例如护柱接收器)的三维(3D)环境。该方法包括生成针对3D环境内一个或多个传感器的多个位置的虚拟传感器数据。该方法包括确定对应于多个位置中的每一个的虚拟地面实况。该地面实况包括关于虚拟传感器数据内至少一个护柱接收器的信息。例如，该地面实况可以包括停车障碍物中的至少一个的高度。该方法还包括存储和关联虚拟传感器数据和虚拟地面实况。

Virtual sensor data generation for receiver detection

The invention relates to a method, system and device for virtual sensor data generation, and more specifically relates to virtual sensor data generation for training and testing objects or obstacles such as column receiver. A method for generating virtual sensor data includes a three-dimensional (3D) environment that contains one or more objects (such as a guard column receiver). This method includes generating virtual sensor data for multiple locations of one or more sensors in the 3D environment. The method includes determining the virtual ground reality corresponding to each of multiple locations. The reality of the ground includes information about at least one column receiver within the virtual sensor data. For example, the reality of the ground can include at least one height in a parking barrier. The method also includes storage and association of virtual sensor data and virtual ground reality.

【技术实现步骤摘要】
用于护柱接收器检测的虚拟传感器数据生成
本专利技术总体上涉及用于虚拟传感器数据生成的方法、系统和装置，并且更具体地涉及用于训练和测试检测或避让对象或障碍物(例如护柱接收器)的模型或算法的虚拟传感器数据生成。
技术介绍
机动车为商业、政府和私营企业提供很大一部分运输。由于机动车的高价值以及对乘客和驾驶员的潜在危害，驾驶员安全性和与其他车辆、障碍物或对象发生事故或碰撞的避免极其重要。
技术实现思路
根据本专利技术的一方面，提供一种方法，包含：模拟包含一个或多个护柱接收器的三维(3D)环境；生成针对3D环境内的一个或多个传感器的多个位置的虚拟传感器数据；确定对应于多个位置中的每一个的虚拟地面实况，该地面实况包含关于虚拟传感器数据内表示的至少一个护柱接收器的信息；以及存储和关联虚拟传感器数据和虚拟地面实况。根据本专利技术的一个实施例，进一步包含提供虚拟传感器数据和虚拟地面实况中的一个或多个以用于训练或测试机器学习算法或模型。根据本专利技术的一个实施例，其中训练机器学习算法或模型包含提供虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练机器学习算法或模型以确定虚拟传感器数据的部分内表示的护柱接收器的高度和位置中的一个或多个。根据本专利技术的一个实施例，其中测试机器学习算法或模型包含将虚拟传感器数据的至少一部分提供到机器学习算法或模型以确定至少一个护柱接收器的位置或高度，并且将位置或高度与虚拟地面实况进行比较。根据本专利技术的一个实施例，其中多个位置对应于车辆上传感器的规划高度或角度。根据本专利技术的一个实施例，其中虚拟传感器数据包含下列中的一个或多个：计算机生成的图像、计算机生成的雷达数据、计算机生成的LIDAR数据以及计算机生成的超声数据。根据本专利技术的一个实施例，其中模拟3D环境包含随机生成针对下列中的一个或多个的不同条件：照明、天气、一个或多个护柱接收器的位置、以及一个或多个护柱接收器的高度或大小。根据本专利技术的一个实施例，其中生成虚拟传感器数据包含在3D环境内一个或多个传感器的模拟运动期间周期性地生成虚拟传感器数据。根据本专利技术的一个实施例，其中确定虚拟地面实况包含生成与虚拟传感器数据的帧互补的地面实况帧，其中该地面实况帧包含针对对应于一个或多个护柱接收器的像素的相同颜色值。根据本专利技术的一个实施例，其中确定虚拟地面实况包含相对于虚拟传感器数据的帧或部分来确定和记录下列中的一个或多个：针对虚拟传感器数据的帧中的至少一个护柱接收器的像素位置；虚拟传感器数据的帧中围绕至少一个护柱接收器的边界框的大小；至少一个护柱接收器相对于3D环境中的车辆或传感器的模拟位置；以及至少一个护柱接收器相对于3D环境中的地面表面的模拟高度。根据本专利技术的另一方面，提供一种系统，包含：环境部件，环境部件被配置为模拟包含一个或多个护柱接收器的三维(3D)环境；虚拟传感器部件，虚拟传感器部件被配置为生成针对3D环境内一个或多个传感器的多个位置的虚拟传感器数据；地面实况部件，地面实况部件被配置为确定对应于多个位置中的每一个的虚拟地面实况，其中地面实况包含关于一个或多个护柱接收器中的至少一个护柱接收器的信息；以及模型部件，模型部件被配置为提供虚拟感知数据和地面实况到机器学习模型或算法以训练或测试机器学习模型或算法。根据本专利技术的一个实施例，其中模型部件被配置为训练机器学习算法或模型，其中训练包含：提供虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练机器学习算法或模型以识别或确定至少一个护柱接收器的位置。根据本专利技术的一个实施例，其中模型部件被配置为测试机器学习算法或模型，其中测试包含：将虚拟传感器数据的至少一部分提供到机器学习算法或模型以识别或确定至少一个护柱接收器的位置；以及将护柱接收器的标识或位置与虚拟地面实况进行比较。根据本专利技术的一个实施例，其中虚拟传感器部件被配置为生成虚拟传感器数据，虚拟传感器数据包含下列中的一个或多个：计算机生成的图像、计算机生成的雷达数据、计算机生成的光探测和测距(LIDAR)数据和计算机生成的超声数据。根据本专利技术的一个实施例，其中环境部件被配置为通过随机生成针对多个位置中的一个或多个的不同条件来模拟3D环境，其中不同条件包含下列中的一个或多个：照明条件；天气条件；一个或多个护柱接收器的位置；和或一个或多个护柱接收器的尺寸。根据本专利技术的又一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储指令，当指令由一个或多个处理器执行时，该指令使一个或多个处理器：生成针对模拟的三维(3D)环境内多个传感器位置的虚拟传感器数据，模拟的3D环境包含一个或多个护柱接收器；确定针对多个位置中的每一个的一个或多个模拟条件，其中模拟条件包含一个或多个护柱接收器中的至少一个护柱接收器的存在、位置和尺寸中的一个或多个；以及存储虚拟传感器数据与模拟条件并且通过模拟条件注释虚拟传感器数据。根据本专利技术的一个实施例，其中指令进一步使一个或多个处理器基于虚拟传感器数据和模拟条件中的一个或多个来训练或测试机器学习算法或模型。根据本专利技术的一个实施例，其中包含下列中的一个或多个：指令使一个或多个处理器通过以下方式来训练机器学习算法或模型：提供虚拟传感器数据的至少一部分和对应的模拟条件来训练机器学习算法或模型以确定至少一个护柱接收器的存在、位置和尺寸中的一个或多个；以及指令使一个或多个处理器通过以下方式来测试机器学习算法或模型：将虚拟传感器数据的至少一部分提供到机器学习算法或模型以确定至少一个护柱接收器的存在、位置和尺寸中的一个或多个；并且将所确定的至少一个护柱接收器的存在、位置和尺寸与模拟条件进行比较。根据本专利技术的一个实施例，其中生成虚拟传感器数据包含通过针对多个位置中的一个或多个使模拟条件中的一个或多个随机化来模拟3D环境，其中使一个或多个模拟条件随机化包含使下列中的一个或多个随机化：照明条件；天气条件；一个或多个护柱接收器的位置；和一个或多个护柱接收器的尺寸；根据本专利技术的一个实施例，其中通过模拟条件注释虚拟传感器数据包含存储列出针对虚拟传感器数据的每一个帧的模拟条件中的一个或多个的记录文件。附图说明本专利技术的非限制性和非穷尽性的实施方式参照以下附图进行描述，其中贯穿若干视图，相同的附图标记指代相同的部件，除非另有说明。参考以下说明书和附图，本专利技术的优点将变得更好理解，其中：图1是根据一种实施方式示出了包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；图2示出了根据一种实施方式的位于护柱接收器中的多个护柱；图3示出了根据一种实施方式的多个护柱接收器，其中护柱被移除；图4是示出了用于传感器数据生成的系统的实施方式的示意性框图；图5是示出了位于靠近护柱接收器的车辆的侧视图的示意图；图6是根据一种实施方式的图3所示的帧的示例互补帧；图7是根据一种实施方式示出了模拟部件的示例部件的示意性框图；以及图8是根据一种实施方式示出了用于生成虚拟传感器数据的方法的示意性流程图。具体实施方式护柱通常用来指引交通、改变道路上的交通的路线或阻挡道路上的交通、或者选择性地阻挡或允许进入停车场、车道或其他驾驶位置(例如，见图2)。在某些情况下，护柱是可移除的并且具有道路或驾驶路径内接地的相应的护柱接收器(例如，见图3)。护柱接收器的尺寸和高度有所不同，并且有时驾驶员不会检测它们。如果它们本文档来自技高网...

【技术保护点】
一种方法，包含：模拟包含一个或多个护柱接收器的三维(3D)环境；生成针对所述3D环境内的一个或多个传感器的多个位置的虚拟传感器数据；确定对应于所述多个位置中的每一个的虚拟地面实况，所述地面实况包含关于所述虚拟传感器数据内表示的至少一个护柱接收器的信息；以及存储和关联所述虚拟传感器数据和所述虚拟地面实况。

【技术特征摘要】
2016.07.07 US 15/204,4841.一种方法，包含：模拟包含一个或多个护柱接收器的三维(3D)环境；生成针对所述3D环境内的一个或多个传感器的多个位置的虚拟传感器数据；确定对应于所述多个位置中的每一个的虚拟地面实况，所述地面实况包含关于所述虚拟传感器数据内表示的至少一个护柱接收器的信息；以及存储和关联所述虚拟传感器数据和所述虚拟地面实况。2.根据权利要求1所述的方法，进一步包含提供所述虚拟传感器数据和所述虚拟地面实况中的一个或多个以用于训练或测试机器学习算法或模型。3.根据权利要求2所述的方法，其中训练所述机器学习算法或模型包含提供所述虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练所述机器学习算法或模型，以确定所述虚拟传感器数据的所述部分内表示的护柱接收器的高度和位置中的一个或多个。4.根据权利要求2所述的方法，其中测试所述机器学习算法或模型包含将所述虚拟传感器数据的至少一部分提供到所述机器学习算法或模型以确定所述至少一个护柱接收器的位置或高度，并且将所述位置或高度与所述虚拟地面实况进行比较。5.根据权利要求1所述的方法，其中所述多个位置对应于车辆上传感器的规划高度或角度。6.根据权利要求1所述的方法，其中包含下列中的一个或多个：所述虚拟传感器数据包含下列中的一个或多个：计算机生成的图像、计算机生成的雷达数据、计算机生成的LIDAR数据以及计算机生成的超声数据；模拟所述3D环境包含随机生成针对下列中的一个或多个的不同条件：照明、天气、所述一个或多个护柱接收器的位置、以及所述一个或多个护柱接收器的高度或大小；生成所述虚拟传感器数据包含在所述3D环境内所述一个或多个传感器的模拟运动期间周期性地生成所述虚拟传感器数据；确定所述虚拟地面实况包含生成与所述虚拟传感器数据的帧互补的地面实况帧，其中所述地面实况帧包含针对对应于所述一个或多个护柱接收器的像素的相同颜色值。7.根据权利要求1所述的方法，其中确定所述虚拟地面实况包含相对于所述虚拟传感器数据的帧或部分来确定和记录下列中的一个或多个：针对所述虚拟传感器数据的帧中的所述至少一个护柱接收器的像素位置；虚拟传感器数据的帧中围绕所述至少一个护柱接收器的边界框的大小；所述至少一个护柱接收器相对于所述3D环境中的车辆或传感器的模拟位置；以及所述至少一个护柱接收器相对于所述3D环境中的地面表面的模拟高度。8.一种系统，包含：环境部件，所述环境部件被配置为模拟包含一个或多个护柱接收器的三维(3D)环境；虚拟传感器部件，所述虚拟传感器部件被配置为生成针对所述3D环境内一个或多个传感器的多个位置的虚拟传感器数据；地面实况部件，所述地面实况部件被配置为确定对应于所述多个位置中的每一个的虚拟地面实况，其中所述地面实况包含关于所述一个或多个护柱接收器中的至少一个护柱接收器的信息；以及模型部件，所述模型部件被配置为提供所述虚拟感知数据和所述地面实况到机器学习模型或算法以训练或测试所述机器学习模型或算法。9.根据权利要求8所述的系统，其中所述模型部件被配置为...

【专利技术属性】
技术研发人员：艾希莉·伊丽莎白·米克斯，斯科特·文森特·迈尔斯，哈珀丽特辛格·班瓦伊特，斯内哈·卡德托塔德，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US