本文公开了用于检测和使用环境中的活体行动者的意图的系统、方法和计算机程序产品。方法包括：通过计算设备获取与环境相关联的感知数据；通过计算设备分析感知数据以检测任何人行横道、移动系统和在环境中步行行进的活体行动者；以及通过计算设备推断第一活体行动者和/或第二活体行动者的存在：(a)当移动系统中的一个正在人行横道中靠近第一活体行动者的相应人行横道处让行时，推断可能意图穿越马路的第一活体行动者的存在，(b)基于第二活体行动者相对于附近停放的移动系统中的一个的移动而推断可能意图违规穿越马路的第二活体行为者的存在。为者的存在。为者的存在。
【技术实现步骤摘要】
检测意图穿越马路或违规穿越马路的行人的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2022年5月26日提交的临时申请序列号为63/365,345的美国申请的优先权，该申请的公开内容通过引用整体并入本文。
技术介绍
[0003]现代车辆至少有一台车载计算机，并具有互联网/卫星连接。在这些车载计算机上运行的软件监视和/或控制车辆的操作。车辆还包括单目或立体摄像机和/或激光雷达检测器，用于检测其附近的对象。摄像机捕捉场景的图像。激光雷达检测器生成激光雷达数据集，这些数据集在多个不同的时间测量从车辆到对象的距离。这些图像和距离测量可用于检测和跟踪对象的运动，对对象的轨迹进行预测，并基于预测的对象轨迹规划车辆的行驶路径。车辆穿过道路时应向意图横穿道路的对象(例如行人和其他动物)让行。车辆不知道被检测对象的意图。
技术实现思路
[0004]一种检测和使用车辆环境中活体行动者的意图的方法可以包括：通过计算设备获取与环境相关联的感知数据，通过计算设备分析感知数据以检测人行横道、其他车辆以及在环境中步行行进的活体行动者，以及通过计算设备推断第一活体行动者(living actor)和第二活体行动者中的至少一个的存在：(a)响应于车辆之一指示正在人行横道中靠近第一活体行动者的相应人行横道处让行而推断具有穿越马路(crosswalking)意图的第一活体行动者的存在，(b)基于第二活体行动者在停放的车辆之一的预定距离内的移动而推断具有违规穿越马路(jaywalking)意图的第二活体行为者的存在。
[0005]一种系统可以包括处理器、包括编程指令的非暂时性计算机可读存储介质，编程指令被配置为使处理器实现用于检测和使用环境中的活体行动者的意图的方法，其中编程指令包括以下指令：获取与环境相关联的感知数据的指令，分析感知数据以检测任何人行横道、车辆和在环境中步行行进的活体行动者；以及推断第一活体行动者和第二活体行动者中的至少一个的存在：(a)响应于车辆之一指示正在人行横道中靠近第一活体行动者的相应人行横道处让行而推断具有穿越马路意图的第一活体行动者的存在，(b)基于第二活体行动者在停放的车辆之一的预定距离内的移动而推断具有违规穿越马路意图的第二活体行为者的存在。
[0006]一种存储指令的非暂时性计算机可读介质，指令被配置为，在通过至少一个计算设备执行时，使至少一个计算设备执行以下操作：获取与环境相关联的感知数据，分析感知数据以检测任何人行横道、移动系统和在环境中步行行进的活体行动者，并且推断第一活体行动者和第二活体行动者中的至少一个的存在：(a)当移动系统之一正在人行横道中靠近第一活体行动者的相应人行横道处让行时，推断可能具有穿越马路意图的第一活体行动者的存在，(b)基于第二活体行动者相对于附近停放的移动系统之一的移动而推断可能具有违规穿越马路意图的第二活体行为者的存在。
附图说明
[0007]本文中包含的附图构成说明书的一部分。
[0008]图1是说明性系统的示意图。
[0009]图2是用于车辆的说明性架构的示意图。
[0010]图3是图2中所示的车辆所采用的光检测和测距(lidar，下文称为激光雷达)系统的说明性架构的示意图。
[0011]图4是说明性计算设备的示意图。
[0012]图5提供了说明性的车辆轨迹规划过程的框图。
[0013]图6提供了用于检测意图穿越马路或违规穿越马路的行人和/或使用其操作车辆和/或其他机器人设备的说明性方法的流程图。
[0014]图7提供了用于识别或预测意图穿越马路的行人的存在的说明性方法的流程图。
[0015]图8提供了用于识别意图违规穿越马路的行人的说明性方法的流程图。
[0016]图9
‑
15中的每一个都提供了有助于理解如何从数据中提取社交特征(social feature)的说明。
[0017]图16提供了用于检测和使用环境中的活体行动者的意图的说明性方法的流程图。
[0018]在附图中，相似的附图标记通常表示相同或相似的元件。此外，通常情况下，附图标记最左边的数字表示附图标记首次出现的附图。
具体实施方式
[0019]现代车辆至少有一台车载计算机，并具有互联网/卫星连接。在这些车载计算机上运行的软件监视和/或控制车辆的操作。车辆还包括单目或立体摄像机和/或激光雷达检测器，用于检测其附近的对象。摄像机捕捉场景的图像。激光雷达检测器生成激光雷达数据集，这些数据集在多个不同的时间测量从车辆到对象的距离。这些图像和距离测量可用于检测和跟踪对象的运动，对对象的轨迹进行预测，并基于预测的对象轨迹规划车辆的行驶路径。车辆在穿过道路时应向意图横穿道路的对象(例如行人和其他动物)让行。然而，车辆并不知道检测到的对象的意图。本文描述了旨在解决此问题和/或其他问题的方法和系统。
[0020]当自主车辆(AV)接近人行横道时，它应该向任何意图在人行横道处横穿街道的行人让行。因此，AV应了解(a)行人的存在和(b)行人的横穿意图。关于信息(a)，现有技术不足，特别是在人行横道的一部分被遮挡的情况下(例如，被停放的汽车或植被遮挡)。AV的传感器无法检测到这些区域内的行人。关于信息(b)，现有技术不足，因为检测行人的横穿意图是一个非常复杂的问题，特别是在当今系统能够使用现有传感器和其他硬件获取的信息有限的情况下。当今大多数穿越马路意图检测系统都使用机器学习技术，该技术基于检测到的行人的位置和速度。人类驾驶员使用一组更丰富的特征(如行人的身体姿势、手势、凝视、场景环境等)来确定行人的横穿意图，这自然会带来更好的效果。
[0021]所提出的方案针对这两个问题，通过观察到其他(人类)驾驶员在人行横道处让行，推断出存在意图横穿的行人。所提出的方案针对的有问题的情况的示例包括：(1)AV不知道存在尚未被检测到的行人的情况；以及(2)AV检测到行人在多车道人行横道处的横穿意图太晚而不能由AV做出适当反应的情况。在这两种情况下，停在人行横道前方正在向行人让行的车辆可能会提示存在意图横穿的行人。所提出的方案利用了这一观察结果，提出
了一种技术系统，该系统通过检测在人行横道处让行的其他车辆，提高了AV对潜在横穿行人的意识。
[0022]为了在城市环境中安全导航，AV还需要能够确定附近的行人是否意图在AV前面违规穿越马路。现有技术大多使用基于机器学习的分类器来实现这一目的。基于机器学习的分类器基于行人朝向或沿着道路边缘的移动来确定行人违规穿越马路的意图。这种基于机器学习的分类器通常难以正确分类行人与停放车辆交互(进入、离开、装载)的情况，因为在不考虑停放车辆的存在的情况下，感测到的行人的移动可能与意图违规穿越马路的行人的移动非常相似。因此，这些情况通常会导致误报违规穿越马路的预测，从而导致AV不舒服且不必要的停车或假动作(juke)。
[0023]所提出的方案针对这一问题，通过扩展违规穿越马路分类器中使用的特征以将描述行人相对于停放车辆的位置和方向的移动的社交本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于检测和使用车辆环境中的活体行动者的意图的方法，包括：通过计算设备获取与所述环境相关联的感知数据；通过所述计算设备分析所述感知数据以检测人行横道、其他车辆以及在所述环境中步行行进的活体行动者；以及通过所述计算设备推断第一活体行动者和第二活体行动者中的至少一个的存在：(a)响应于所述车辆之一指示正在所述人行横道中靠近所述第一活体行动者的相应人行横道处让行而推断意图穿越马路的第一活体行动者的存在，(b)基于所述第二活体行动者在停放的所述车辆之一的预定距离内的移动而推断意图违规穿越马路的第二活体行为者的存在。2.根据权利要求1所述的方法，还包括基于推断出所述第一活体行动者和所述第二活体行动者中的至少一个的存在来控制所述车辆的移动。3.根据权利要求2所述的方法，其中所述活体行动者包括至少一名行人。4.根据权利要求1所述的方法，其中推断第一活体行动者和第二活体行动者中的至少一个的存在包括识别所述车辆中的至少一个在所述人行横道之一的预定距离内并且被确定为正在让行。5.根据权利要求4所述的方法，还包括：获取似然值，所述似然值指示所述第一活体行动者意图横穿相应人行横道的可能性有多大；以及响应于所述第一活体行动者位于所述车辆之一正在让行的相应人行横道上而增加所述似然值。6.根据权利要求5所述的方法，其中基于以下中的至少一个将所述似然值增加一定量：(i)在相应人行横道处存在一个或多个让行车辆，(ii)在相应人行横道处让行车辆或排队车辆的数量，(iii)与一个或多个让行车辆分类相关联的似然值，(iv)与所述第一活体行动者和相应人行横道相关联的几何推理信息，以及(v)与所述车辆和相应人行横道相关联的几何推理数据。7.根据权利要求1所述的方法，其中推断所述第一活体行动者和所述第二活体行动者中的至少一个的存在包括：识别最靠近所述第二活体行动者的所述车辆中的至少一个；提取指示所述第二活体行动者相对于所述至少一个车辆的行为的至少一个社交特征；以及使用所述至少一个社交特征来生成所述第二活体行动者意图违规穿越马路的可能性。8.根据权利要求7所述的方法，其中所述至少一个社交特征包括车辆停放的概率、从行人到车辆的边界框的距离、在X方向上在行人的中心轴线和车辆的中心点之间的距离、以及在Y方向上在所述行人的中心轴线和所述车辆的中心点之间的距离、所述行人在车辆坐标系中的角度、从所述行人到最近车道的边界的距离与从停放车辆到所述最近车道的边界的距离之差、沿着路线射线到所述停放车辆的边界框的距离、以及路线射线与所述停放车辆的所述边界框之间的距离。9.根据权利要求1所述的方法，其中所述分析还包括识别位于所述人行横道上的所述车辆、位于所述人行横道上的所述活体行动者以及位于接近道路边缘的预定位置的所述活
体行动者。10.根据权利要求1所述的方法，其中所述推断还包括当(i)在所述分析期间没有检测到位于所述人行横道中的给定人行横道上的活体行动者，并且(ii)所述车辆之一位于所述给定人行横道上并且被分类为人行横道让行系统时，认为意图穿越马路的第三活体行动者存在。11.一种系统，包括：处理器；非暂时性计算机可读存储介质，包括编程指令，所述编程指令被配置为使所述处理器实现用于检测和使用环境中的活体行动者的意图的方法，其中所述编程指令包括以下指令：获取与所述环境相关联的感知数据；分析所述感知数据以检测任何人行横道、车辆以及在所述环境中步行行进的活体行动者；以及推断第一活体行动...
【专利技术属性】
技术研发人员：弗里德里克，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。