本文描述了用于对传感器数据执行数据转换以获得经修改的传感器数据的系统、方法和计算机可读介质，该经修改的传感器数据被适当地格式化/结构化以用于依赖传感器数据作为输入的下游过程。例如，传感器数据可以包括由LiDAR捕获的点云数据。可以确定网格结构和对应的网格特性，并且可以通过将网格结构及其特性与传感器数据相关联来将传感器数据转换为基于网格的传感器数据。生成基于网格的传感器数据可以包括：重新格式化点云数据以将网格结构及其网格特性叠加到点云数据上。然后可以通过向传感器数据灌输空间接近度信息的网格结构对经修改的基于网格的传感器数据有效地执行无法对原始传感器数据可执行的各种下游处理。对原始传感器数据可执行的各种下游处理。对原始传感器数据可执行的各种下游处理。
【技术实现步骤摘要】
【国外来华专利技术】点云数据重新格式化
[0001]相关申请的交叉引用
[0002]本申请要求于2020年4月22日提交的美国申请No.16/855,935的优先权，该申请的全部内容通过引用并入本文。
[0003]本专利技术总体上涉及数据转换和数据重新格式化，并且更具体地，在一些实施例中，涉及使用网格结构的特性对点云数据进行转换和重新格式化。
技术介绍
[0004]车辆(诸如自动驾驶车辆)中的车载传感器通过提供从车辆周围环境捕获的连续传感器数据流来补充和支持车辆的视野(FOV)。传感器数据用于与各种各样的基于车辆的应用相关，包括例如盲点检测、变道辅助、用于碰撞警告或碰撞避免的后端雷达、停车辅助、交叉路口交通监测、制动辅助、紧急制动和自动距离控制。
[0005]车载传感器包括例如相机、光检测和测距(LiDAR)系统、基于雷达的系统、全球定位系统(GPS)系统、基于声纳的传感器、超声传感器、惯性测量单元(IMU)、加速度计、陀螺仪、磁力计和远红外(FIR)传感器。传感器数据可以包括图像数据、反射激光数据等。通常，车载传感器捕获的图像利用三维(3D)坐标系来确定图像中对象相对于彼此和相对于车辆的距离和角度。特别地，可以使用位于车辆各处的各种车载传感器在车辆附近获取这种实时空间信息，然后可以对其进行处理以计算各种车辆参数并确定车辆的安全驾驶操作。
[0006]自动驾驶车辆基于从车载传感器捕获的传感器数据执行无数复杂的计算，以促进自动驾驶车辆操作所需的多种操作，诸如对象检测、对象分类、对象跟踪、碰撞避免、车辆导航、车辆加速和减速等。在一些情况下，由传感器生成的数据可以是原始数据，其没有以使得能够对此类数据执行上述计算的方式进行格式化或结构化。本文讨论的是解决与使用原始传感器数据执行下游自动驾驶车辆处理相关的技术缺陷的技术解决方案。
技术实现思路
[0007]在示例实施例中，公开了一种用于执行传感器数据的数据转换的计算机实施的方法。计算机实施的方法包括接收传感器数据并确定包含多个网格单元元素的网格结构的一个或多个网格特性。该方法还包括将传感器数据转换为使得能够执行下游处理的基于网格的传感器数据以及对基于网格的传感器数据执行下游处理。将传感器数据转换为基于网格的传感器数据包括将网格结构与传感器数据相关联。
[0008]在示例实施例中，传感器数据包括点云数据。在示例实施例中，将网格结构与传感器数据相关联包括：根据一个或多个网格特性重新格式化点云数据以获得基于网格的传感器数据。在示例实施例中，根据一个或多个网格特性重新格式化点云数据包括：确定点云数据中的每个数据点对应于多个网格单元元素中的哪个网格单元元素。在示例实施例中，点云数据包括二维(2D)数据和三维(3D)数据中的至少一个。在示例实施例中，传感器数据包
括与点云数据的每个数据点相关联的相应时间戳。在示例实施例中，该方法包括：至少部分地通过丢弃点云数据的对下游处理不必要的一部分来对点云数据进行下采样。
[0009]在示例实施例中，一个或多个网格特性包括网格结构的大小和网格结构的粒度中的至少一个。在示例实施例中，确定一个或多个网格特性包括：至少部分地基于点云数据的数据点的分布来确定网格结构的粒度。
[0010]在示例实施例中，基于网格的传感器数据是第一基于网格的传感器数据，并且该方法还包括：确定第一基于网格的传感器数据包括特定网格单元元素，该特定网格单元元素不包含点云数据的数据点；修改一个或多个网格特性；以及根据一个或多个经修改的网格特性重新格式化点云数据以获得第二基于网格的传感器数据。在示例实施例中，第二基于网格的传感器数据中的特定网格单元元素包含点云数据的至少一个数据点。在示例实施例中，修改一个或多个网格特性包括：增加网格结构的粒度。在示例实施例中，增加网格结构的粒度包括：增加网格结构中包含的网格单元元素的数量。
[0011]在示例实施例中，下游处理包括跟踪车辆的移动。在示例实施例中，跟踪车辆的移动包括：在第一时间确定第一网格单元元素集，该第一网格单元元素集包含点云数据的与车辆的位置对应的第一部分；确定第二网格单元元素集，该第二网格单元元素集位于网格结构内的第一网格单元元素集周围的局部区域中；以及在第二时间仅搜索第二网格单元元素集以查找点云数据的与车辆的位置对应的第二部分。
[0012]在示例实施例中，公开了一种用于执行传感器数据的数据转换的系统。该系统包括至少一个处理器和存储计算机可执行指令的至少一个存储器。至少一个处理器被配置为访问至少一个存储器并执行计算机可执行指令以执行操作集，包括接收传感器数据和确定包含多个网格单元元素的网格结构的一个或多个网格特性。该操作集还包括将传感器数据转换为使得能够执行下游处理的基于网格的传感器数据以及对基于网格的传感器数据执行下游处理。将传感器数据转换为基于网格的传感器数据包括将网格结构与传感器数据相关联。上述系统还被配置为执行任何操作/功能并且可以包括上面关于本专利技术的示例计算机实施的方法描述的本专利技术的示例实施例的任何附加特征/方面。
[0013]在示例实施例中，公开了一种用于执行传感器数据的数据转换的计算机程序产品。该计算机程序产品包括可由处理电路读取的非暂时性计算机可读介质。非暂时性计算机可读介质存储可由处理电路执行以使方法被执行的指令。该方法包括：接收传感器数据并确定包含多个网格单元元素的网格结构的一个或多个网格特性。该方法还包括：将传感器数据转换为使得能够执行下游处理的基于网格的传感器数据以及对基于网格的传感器数据执行下游处理。将传感器数据转换为基于网格的传感器数据包括：将网格结构与传感器数据相关联。上述计算机程序产品还被配置为执行任何操作/功能并且可以包括上面关于本专利技术的示例计算机实施的方法描述的本专利技术的示例实施例的任何附加特征/方面。
[0014]通过参考附图考虑以下描述和所附权利要求书，本文公开的系统、方法和非暂时性计算机可读介质的这些和其他特征、以及结构的相关元件和部分的组合的操作和功能的方法以及制造的经济性将变得显而易见，所有附图形成本说明书的一部分，其中在各个附图中，相同的附图标记表示对应的部分。然而，应该明确地理解，附图仅出于说明和描述的目的，并且不旨在作为对本专利技术的限制的定义。
附图说明
[0015]在所附权利要求中具体阐述了本技术的各种实施例的某些特征。通过参考下面的详细描述，将获得对技术的特征和优点的更好的理解，以下详细描述阐述了说明性实施例和附图，在说明性实施例中利用了本专利技术的原理，并且附图中：
[0016]图1是示出根据本专利技术的示例实施例的传感器数据的数据转换的混合块和数据流程图。
[0017]图2示出根据本专利技术的示例实施例的示例基于网格的传感器数据。
[0018]图3是根据本专利技术的示例实施例的用于对传感器数据执行数据转换过程以获得基于网格的传感器数据的说明性方法的过程流程图。
[0019]图4是根据本专利技术的示例实施例的用于修改与基于网格的传感器数据相关联的网格结构的(一个或多个)网格特性的说明性方法的过程流本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于执行传感器数据的数据转换的计算机实施的方法，所述方法包括：接收所述传感器数据；确定包括多个网格单元元素的网格结构的一个或多个网格特性；将所述传感器数据转换为使得能够执行下游处理的基于网格的传感器数据，所述转换包括将所述网格结构与所述传感器数据相关联；以及对所述基于网格的传感器数据执行所述下游处理。2.根据权利要求1所述的计算机实施的方法，其中，所述传感器数据包括点云数据，并且其中将所述网格结构与所述传感器数据相关联包括：根据所述一个或多个网格特性重新格式化所述点云数据以获得所述基于网格的传感器数据。3.根据权利要求2所述的计算机实施的方法，其中，根据所述一个或多个网格特性重新格式化所述点云数据包括：确定所述点云数据中的每个数据点对应于所述多个网格单元元素中的哪个网格单元元素。4.根据权利要求2所述的计算机实施的方法，还包括：至少部分地通过丢弃所述点云数据的对所述下游处理不必要的一部分来对所述点云数据进行下采样。5.根据权利要求2所述的计算机实施的方法，其中，所述一个或多个网格特性包括所述网格结构的大小和所述网格结构的粒度中的至少一个。6.根据权利要求5所述的计算机实施的方法，其中，确定所述一个或多个网格特性包括：至少部分地基于所述点云数据的数据点的分布来确定所述网格结构的所述粒度。7.根据权利要求2所述的计算机实施的方法，其中，所述基于网格的传感器数据是第一基于网格的传感器数据，所述方法还包括：确定所述第一基于网格的传感器数据包括特定网格单元元素，所述特定网格单元元素不包含所述点云数据的数据点；修改所述一个或多个网格特性；以及根据所述一个或多个经修改的网格特性重新格式化所述点云数据以获得第二基于网格的传感器数据，所述第二基于网格的传感器数据中的所述特定网格单元元素包含所述点云数据的至少一个数据点。8.根据权利要求7所述的计算机实施的方法，其中，修改所述一个或多个网格特性包括增加所述网格结构的粒度，并且其中增加所述网格结构的所述粒度包括：增加所述网格结构中包含的所述多个网格单元元素的数量。9.根据权利要求2所述的计算机实施的方法，其中，所述传感器数据包括与所述点云数据的每个数据点相关联的相应时间戳。10.根据权利要求2所述的计算机实施的方法，其中，所述下游处理包括跟踪车辆的移动，并且其中跟踪所述车辆的所述移动包括：在第一时间确定第一网格单元元素集，所述第一网格单元元素集包含所述点云数据的与所述车辆的位置对应的第一部分；确定第二网格单元元素集，所述第二网格单元元素集位于所述网格结构内的所述第一网格单元元素集周围的局部区域中；以及在第二时间仅搜索所述第二网格单元元素集以查找所述点云数据的与所述车辆的位置对应的第二部分。
11.一种用于执行传感器数据的数据转换的系统，所述系统包括：至少一个处理器；以及至少一个存储器，其存储计算机可执行指令，其中所述至少一个处理器被配置为访问所述至少一个存储器并执行所述计算机可执行指令以执行以下操作：接收所述传感器数据；确定包括多个网格单元元...
【专利技术属性】
技术研发人员：孟平凡，M，
申请(专利权)人：小马智行，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。