使用支柱进行对象检测的深度学习制造技术

除了其他方面，描述了用于检测运载工具周围的环境中的对象的技术。计算机系统被配置为从运载工具的传感器接收一组测量值。该组测量值包括多个数据点，这些数据点表示运载工具周围的3D空间中的多个对象。系统将3D空间划分为多个支柱。然后，系统将多个数据点中的每个数据点分配给多个支柱中的支柱。该系统基于多个支柱产生伪图像。对于多个支柱中的每个支柱，伪图像包括分配给支柱的数据点的对应特征表示。系统基于伪图像的分析检测多个对象。然后，系统基于对象的检测操作运载工具。

In-depth learning of object detection using pillars

【技术实现步骤摘要】
使用支柱进行对象检测的深度学习
本说明书涉及用于使用深度学习技术检测自主运载工具周围的环境中的一个或多个对象的计算机系统。技术背景自主运载工具可被用于将人和/或货物(例如，包裹、对象或其他物品)从一个地方运送到另一个地方。例如，自主运载工具可导航至人的位置，等待该人登上该自主运载工具，然后导航至指定的目的地(例如，由该人选择的位置)。为了在环境中进行导航，这些自主运载工具装备有多种类型的传感器以检测周围环境中的对象。
技术实现思路
本说明书中描述的主题针对用于检测自主运载工具周围的环境中的对象的计算机系统和技术。通常，计算机系统被配置为从运载工具的一个或多个传感器接收输入，基于接收到的输入检测运载工具周围的环境中的一个或多个对象，并基于对象的检测来操作运载工具。特别地，计算机系统从运载工具的传感器(例如，LIDAR或RADAR)接收一组测量值，例如点云。一组测量值包括多个数据点，这些数据点表示运载工具周围的三维(3D)空间中的多个对象。多个数据点中的每个数据点是一组3D空间坐标。该系统将3D空间划分为多个支柱，其本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n一个或多个计算机处理器；以及/n一个或多个非瞬态存储介质，其存储有指令，所述指令在由所述一个或多个计算机处理器执行时，使得包括以下各项的操作被执行：/n从运载工具的传感器接收一组测量值，所述一组测量值包括多个数据点，所述多个数据点表示所述运载工具周围的三维(3D)空间中的多个对象，其中所述多个数据点中的每个数据点是一组3D空间坐标；/n将所述3D空间划分为多个支柱，其中所述多个支柱中的每个支柱包括所述3D空间的切片，该切片从所述3D空间的二维(2D)平面的相应部分延伸；/n将所述多个数据点中的每个数据点分配给所述多个支柱中的支柱；/n基于所述多个支柱生成伪图像，其中所述...

【技术特征摘要】
20181108 US 62/757,6131.一种系统，包括：
一个或多个计算机处理器；以及
一个或多个非瞬态存储介质，其存储有指令，所述指令在由所述一个或多个计算机处理器执行时，使得包括以下各项的操作被执行：
从运载工具的传感器接收一组测量值，所述一组测量值包括多个数据点，所述多个数据点表示所述运载工具周围的三维(3D)空间中的多个对象，其中所述多个数据点中的每个数据点是一组3D空间坐标；
将所述3D空间划分为多个支柱，其中所述多个支柱中的每个支柱包括所述3D空间的切片，该切片从所述3D空间的二维(2D)平面的相应部分延伸；
将所述多个数据点中的每个数据点分配给所述多个支柱中的支柱；
基于所述多个支柱生成伪图像，其中所述多个支柱中的每个支柱对应于分配给该支柱的数据点的特征表示；
基于对所述伪图像的分析来检测所述传感器周围的所述3D空间中的所述多个对象；并且
基于对所述运载工具周围的所述3D空间中的所述多个对象的检测来操作所述运载工具。


2.如权利要求1所述的系统，进一步包括：
确定多个非空支柱的第一计数是否超过第一阈值P；
根据确定所述多个非空支柱的所述第一计数超过所述第一阈值P，从所述多个非空支柱中选择P个非空支柱；
根据确定所述多个非空支柱的所述第一计数小于所述第一阈值P：
生成第二支柱子集，其中所述第一计数与所述第二支柱子集的第二计数之和等于P；
从所述多个非空支柱和所述第二支柱子集中选择P个非空支柱；
针对所述P个非空支柱中的每个非空支柱：
确定分配给所述每个非空支柱的数据点的第三计数是否超过第二阈值N；
根据确定分配给所述每个非空支柱的所述数据点的所述第三计数超过所述第二阈值N，选择N个数据点；
根据确定所述每个非空支柱中的所述数据点的所述第三计数小于所述第二阈值N，为所述每个非空支柱分配多个零坐标数据点，其中所述多个零坐标的第四计数与所述第三计数之和等于N。


3.如权利要求2所述的系统，其中所述第一阈值P是自适应的。


4.如权利要求2所述的系统，其中所述第二阈值N是自适应的。


5.如权利要求2所述的系统，其中，生成所述伪图像包括：
针对所述多个非空支柱中的每个非空支柱：
基于与所述每个非空支柱相对应的所述多个数据点来生成多个修改后的数据点；并且
处理包括相应的多个修改后的数据点的所述多个非空支柱以生成所述伪图像。


6.如权利要求5所述的系统，其中，基于与所述每个非空点支柱相对应的所述数据点与所述每个非空点支柱的中心之间的相对距离来生成所述修改后的数据点中的每一个。


7.如权利要求5所述的系统，其中，基于从所述传感器到所述数据点的圆柱欧几里德距离来生成所述多个修改后的数据点中的每个修改后的数据点。


8.如权利要求5所述的系统，其中，所述数据点中的每一个被分配3D空间坐标(x,y,z)、反射率(r)和时间戳(t)，并且
针对所述点支柱中的每一个，修改所述点支柱中的所述数据点的每一个包括：将所述数据点的每一个(x,y,z,r,t)转换为相应的修改后的数据点。


9.如权利要求1所述的系统，其中，生成所述伪图像包括：使用支柱处理模块处理所述多个非空支柱以生成所述伪图像。


10.如权利要求1所述的系统，其中，基于对所述伪图像的分析来检测所述传感器周围的所述3D空间中的所述一个或多个对象包括：
使用主干神经网络处理所述伪图像以生成表征所述伪图像的特征的中间输出；并且
使用对象检测神经网络处理所述中间输出，以检测所述传感器周围...

【专利技术属性】
技术研发人员：O·O·贝基波姆，A·H·朗，
申请(专利权)人：安波福技术有限公司，
类型：发明
国别省市：巴巴多斯;BB