【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、安全检测环境中的静态特征和动态特征和对象的能力是任何自主系统或半自主系统(诸如自主驾驶系统或半自主驾驶系统)的重要任务。例如，通过观测跨帧的运动(或者缺乏运动)，可以识别静态特征或动态参与者，以辅助完成各种下游任务，诸如对象跟踪、路径规划、避障、控制决策、和/或类似的任务。
2、一些常规方法使用对象检测器，其可以在一个或更多个数据帧上执行，以匹配跨帧的对象或特征，然后从匹配的特征或对象推理运动。然而，这种常规方法受限于对象检测器识别对象的能力，这需要待检测的每个对象或特征类型的先验知识。例如，这些系统通常需要使用大量的训练数据进行广泛的训练，该训练数据包括对对象检测器被训练为检测的特定对象的描述。然而，考虑到存在几乎无限类型的对象，因此这些常规方法对于检测和跟踪对象往往是不充分和/或不完整的解决方案。
3、其他系统可以采用光流方法，基于分析帧的时间序列找到从一帧到随后帧的像素级流场。这些常规方法要求每一帧(例如，每一个lidar(激光雷达)距离图像)包括足够的纹理信息，以允许跨帧的精确跟踪。然而，由于lidar传感器视点变化和/或潜在的场景遮挡，生成具有足够纹理信息的数据(特别是lidar数据)具有挑战性。虽然一些常规系统可以组合上述方法，但这些组合并不能克服这些常规解决方案的许多缺点。
技术实现思路
1、本公开的实施例涉及在自主机器应用中检测来自lidar的静态特征和动态特征。公开了基于一个或更多个距离图像(range image)和一个或
2、与诸如上述系统之类的常规系统相比，本公开的系统和方法使用点云和/或其他检测表示的投影图像(例如，lidar距离图像、俯视图或鸟瞰图投影图像等)检测和/或跟踪环境中的对象(例如，静止对象和/或运动对象)。例如，机器学习模型(诸如深度神经网络(dnn))可用于计算运动掩模或指示与表示环境中的对象或特征的点或像素相对应的运动的其他输出类型。可以提供各个输入通道作为机器学习模型的输入，以辅助机器学习模型计算输出。例如，基于将来自当前距离图像的深度值投影到先前距离图像的坐标空间和/或将来自先前距离图像的深度值投影到当前距离图像的坐标空间，可以生成一个或更多个投影图像。在一些实施例中，基于比较从当前距离图像投影到先前距离图像的坐标空间的深度值与先前距离图像的深度值，可以生成一个或更多个比较图像。在执行从一个坐标空间到另一个坐标空间的投影时，该投影可以基于所跟踪的自我运动(例如，所记录的自我机器在与先前帧关联的时刻和与当前帧关联的时刻之间的运动)。此外，可以直接提供当前距离图像和/或在前距离图像作为机器学习模型的输入。因此，机器学习模型可以使用一个或更多个投影图像、一个或更多个比较图像和/或一个或更多个距离图像(或其他输入表示，诸如俯视图投影图像)来计算运动掩模和/或运动向量输出表示。
3、由于机器学习模型的输入通道中信息的组织和质量，机器学习模型可以是轻量级的。例如，当机器学习模型是卷积神经网络(cnn)时，cnn可能只需要非常局部的卷积支持——例如，可能只需要十层或更少层(例如，在一些实施例中，总共六层)。此外，cnn可以只包括卷积层，而不包括例如全连接层或可能需要更多计算的其他层类型。为了对其中遮挡、阴影和/或噪声可能削弱输入信号的帧提供额外支持，可以在两个以上帧之间(例如，在两个或更多个在前帧和当前帧之间)计算输入通道。因此，通过包括与多个在前帧对应的额外输入通道，机器学习模型可以在处理考虑噪声、遮挡和/或阴影的准确或精确输出时获得额外数据。
本文档来自技高网...【技术保护点】
1.一种处理器，包括一个或更多个电路，所述一个或更多个电路用于：
2.如权利要求1所述的处理器，进一步包括一个或更多个电路，所述一个或更多个电路用于：至少部分地基于比较来自所述第一距离图像的所述第二坐标空间中的所述第二距离图像的第二深度值与所述第一距离图像的深度值，生成比较图像；其中计算指示运动的数据进一步至少部分地基于所述比较图像。
3.如权利要求2所述的处理器，其中针对与在所述第二时刻之前的相应的一组n个时刻相对应的一组n个距离图像中的每个距离图像，使用所述第二距离图像来生成相应的第一投影图像、第二投影图像或比较图像中的一个或更多个。
4.如权利要求1所述的处理器，其中所述第一投影图像和所述第二投影图像使用在所述第一时刻和随后时刻之间所跟踪的所述自我机器的自我运动来生成。
5.如权利要求1所述的处理器，其中所述DNN包括以下项中的至少一项：包括一个或更多个卷积层的卷积神经网络、或总层数少于总共十层的卷积神经网络。
6.如权利要求1所述的处理器，其中使用所述DNN计算出的所述数据表示运动掩模，所述运动掩模指示使用所述第
7.如权利要求6所述的处理器，其中针对所述第二距离图像的一个或更多个像素中的每个像素，所述运动掩模包括0到1之间的置信度值，所述置信度值指示使用所述一个或更多个像素中的相应像素表示的特征或对象是否对应于在所述第二时刻处于运动中的对象。
8.如权利要求1所述的处理器，其中使用所述DNN计算出的所述数据进一步指示一个或更多个运动向量，所述一个或更多个运动向量指示在所述第一距离图像和所述第二距离图像之间像素的运动。
9.如权利要求1所述的处理器，进一步包括一个或更多个电路，所述一个或更多个电路用于：至少部分地基于使用所述DNN计算出的所述数据来计算一个或更多个对象检测。
10.如权利要求1所述的处理器，其中所述处理器包括以下项中的至少一项：自主或半自主机器的控制系统；自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；包含一个或更多个虚拟机(VM)的系统；至少部分地在数据中心中实现的系统；或至少部分地使用云计算资源实现的系统。
11.一种系统，包括：
12.如权利要求11所述的系统，其中生成所述比较图像包括：将所述第二坐标空间中的所述第二深度值与所述深度值之间的差的值编码为所述比较图像的一个或更多个像素。
13.如权利要求11所述的系统，其中所述操作进一步包括：将使用所述DNN计算出的所述数据应用到对象检测器；以及使用所述对象检测器并至少部分地基于所述数据计算一个或更多个对象检测。
14.如权利要求11所述的系统，其中生成所述第一投影图像、所述第二投影图像和所述比较图像至少部分地基于在所述第一时刻和所述第二时刻之间所跟踪的所述自我机器的自我运动。
15.如权利要求11所述的系统，其中所述DNN包括仅包括卷积层的卷积神经网络。
16.如权利要求11所述的系统，其中所述系统包括以下项中的至少一项：自主或半自主机器的控制系统；自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；包含一个或更多个虚拟机(VM)的系统；至少部分地在数据中心中实现的系统；或至少部分地使用云计算资源实现的系统。
17.一种方法，包括：
18.如权利要求17所述的方法，进一步包括：至少部分地基于比较来自所述第一距离图像的所述第二坐标空间中的所述第二距离图像的所述第二深度值与所述第一距离图像的深度值，生成比较图像；其中计算所述数据进一步至少部分地基于所述比较图像。
19.如权利要求18所述的方法，其中针对所述第二距离图像之前的n个距离图像中的每个距离图像，使用所述第二距离图像来生成相应的第一投影图像、第二投影图像和比较图像。
20.如权利要求17所述的方法，其中生成所述第一投影图像和所述第二投影图像至少部分地基于在所述第一时刻和随后时刻之间所跟踪的所述自我机器的自我运动。
...【技术特征摘要】
【国外来华专利技术】
1.一种处理器，包括一个或更多个电路，所述一个或更多个电路用于：
2.如权利要求1所述的处理器，进一步包括一个或更多个电路，所述一个或更多个电路用于：至少部分地基于比较来自所述第一距离图像的所述第二坐标空间中的所述第二距离图像的第二深度值与所述第一距离图像的深度值，生成比较图像；其中计算指示运动的数据进一步至少部分地基于所述比较图像。
3.如权利要求2所述的处理器，其中针对与在所述第二时刻之前的相应的一组n个时刻相对应的一组n个距离图像中的每个距离图像，使用所述第二距离图像来生成相应的第一投影图像、第二投影图像或比较图像中的一个或更多个。
4.如权利要求1所述的处理器，其中所述第一投影图像和所述第二投影图像使用在所述第一时刻和随后时刻之间所跟踪的所述自我机器的自我运动来生成。
5.如权利要求1所述的处理器，其中所述dnn包括以下项中的至少一项：包括一个或更多个卷积层的卷积神经网络、或总层数少于总共十层的卷积神经网络。
6.如权利要求1所述的处理器，其中使用所述dnn计算出的所述数据表示运动掩模，所述运动掩模指示使用所述第二距离图像描述的一个或更多个对象在所述第二时刻处于运动中。
7.如权利要求6所述的处理器，其中针对所述第二距离图像的一个或更多个像素中的每个像素，所述运动掩模包括0到1之间的置信度值，所述置信度值指示使用所述一个或更多个像素中的相应像素表示的特征或对象是否对应于在所述第二时刻处于运动中的对象。
8.如权利要求1所述的处理器，其中使用所述dnn计算出的所述数据进一步指示一个或更多个运动向量，所述一个或更多个运动向量指示在所述第一距离图像和所述第二距离图像之间像素的运动。
9.如权利要求1所述的处理器，进一步包括一个或更多个电路，所述一个或更多个电路用于：至少部分地基于使用所述dnn计算出的所述数据来计算一个或更多个对象检测。
10.如权利要求1所述的处理器，其中所述处理器包括以下项中的至少一项：自主或半自主机器的控制系统；自主或半自主机器的感知系统；用于执行模拟操作的系...
【专利技术属性】
技术研发人员：J·C·B·约根森，O·博埃尔·博安，J·佩瑟尔，N·斯莫良斯基，
申请(专利权)人：辉达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。