多用途车辆和用于多用途车辆的相应装置、方法和计算机程序制造方法及图纸

本公开的各种示例涉及一种多用途车辆以及用于多用途车辆的相应装置、方法和计算机程序。该装置包括至少一个接口，用于从多用途车辆的一个或多个摄像头获得视频数据。该装置还包括一个或多个处理器。该一个或多个处理器被配置为使用机器学习模型来处理视频数据，以确定视频数据中所示的人的姿态信息。训练机器学习模型以基于视频数据生成姿态估计数据。该一个或多个处理器被配置为基于人的姿态信息检测至少一个预定义的姿态。该一个或多个处理器被配置为基于检测到的至少一个预定义的姿态来控制多用途车辆。来控制多用途车辆。来控制多用途车辆。

【技术实现步骤摘要】
多用途车辆和用于多用途车辆的相应装置、方法和计算机程序


[0001]本公开的各种实施例涉及一种多用途车辆(utility vehicle)以及用于多用途车辆的相应装置、方法和计算机程序

技术介绍

[0002]使用摄像头监控车辆环境是一个研究开发领域。例如，在个人车辆中，基于摄像头的人体检测先前已用于导航和安全执法。例如，在一些现代车辆中，可以自动识别出行人并以三维的或自上而下的视图对其进行可视化。另外，可以给出警告，或者车辆可以自动制动。
[0003]类似的系统也用于施工机械。施工机械通常比个人车辆大，其中摄像头用于检测存在于施工车辆周围的人，例如以确保该施工车辆的操作员在控制该施工车辆时注意到这些人。虽然这有助于施工车辆的操作安全，但是这种方法在拥挤和狭窄的施工现场或操作员视野受限的其它现场中的使用可能是受限的。

技术实现思路

[0004]本公开的各个方面基于以下发现，即在施工现场，来自多用途车辆的车厢的视角可能不足以完成某些任务，例如卡车相对于垃圾管的精确移动。此外，在一些情况下，例如，当多用途车辆用于沿着绿荫道收集树木砍伐件时，所述多用途车辆可以以小的增量重复运动。在这些情况下，所述车辆的摄像头系统可用于记录所述多用途车辆外部的人员所采取的姿态，并且基于检测到的姿态从所述车辆外部控制车辆。
[0005]本公开的各个方面涉及一种用于多用途车辆的装置。所述装置包括至少一个接口，用于从所述多用途车辆的一个或多个摄像头获得视频数据。所述装置还包括一个或多个处理器。所述一个或多个处理器被配置为使用机器学习模型来处理所述视频数据，以确定所述视频数据中所示的人的姿态信息。训练机器学习模型以基于视频数据生成姿态估计数据。所述一个或多个处理器被配置为基于所述人的姿态信息检测至少一个预定义的姿态。所述一个或多个处理器被配置为基于检测到的至少一个预定义的姿态来控制所述多用途车辆。例如，通过使用所述姿态估计数据，可以从所述多用途车辆的外部控制所述多用途车辆，而不需要远程控制设备，因此操作员可以留在车辆外部监控所述多用途车辆和障碍物之间的距离或确定所述多用途车辆与另一实体对准。这可以改进驾驶员的工作流程，因其不必重复地进出所述多用途车辆的车厢。
[0006]例如，所提出的构想可以“识别”多个预定义的姿态，每个预定义的姿态可以与用于控制所述多用途车辆的特定控制指令相联系。换句话说，所述一个或多个处理器可以被配置为检测多个预定义的姿态中的至少一个。多个预定义的姿态中的每个姿态可以与用于控制多用途车辆的特定控制指令相关联。一个或多个处理器可以被配置为基于与所检测到的姿态相关联的控制指令来控制多用途车辆。例如，姿态和相应的控制指令之间的明确联
系可以避免在控制所述多用途车辆时的模糊性。
[0007]总体而言，术语“姿态”可以指不同类型的姿态，即在不运动的情况下采取的“静态”姿态以及包括两个姿态之间的运动的“信号”姿态。换句话说，所述多个预定义的姿态可以包括一个或多个静态姿态以及一个或多个信号姿态。例如，所述一个或多个信号姿态可以基于从第一姿态到第二姿态的转变。例如，当一个人将双手举在躯干前，张开的手掌朝外，并保持双手在这个位置，则所述人可能做出一个静态姿态。如果所述人将双手举在躯干前，张开的手掌朝外，并反复将双手从躯干移开，则所述人可能做出一个信号姿态。
[0008]例如，上述静态姿态可以与用于停止所述多用途车辆的运动的控制指令相关联，上述信号姿态可以与用于控制所述多用途车辆向后运动的控制指令相关联。然而，所提出的构想并不限于这些示例。例如，所述多个预定义的姿态可以包括与用于停止所述多用途车辆的运动的控制指令相关联的静态姿态、与用于启动所述多用途车辆的发动机的控制指令相关联的静态姿态、与用于停止所述多用途车辆的发动机的控制指令相关联的静态姿态、与用于控制所述多用途车辆向前运动的控制指令相关联的信号姿态以及与用于控制所述多用途车辆向后运动的控制指令相关联的信号姿态中的至少一个。
[0009]在一些示例中，静态姿态可以基于视频数据的单一帧来检测，信号姿态可以从基于视频数据的两个或更多个(隔离的)帧确定的两个或更多个姿态来重构。然而，在一些示例中，在确定姿态信息时，可以考虑如在所述视频数据的多个帧上所示的所述人的运动。例如，可以训练所述机器学习模型以输出姿态估计数据，该姿态估计数据具有关于如在所述视频数据的多个帧的过程中所示的人的姿态随时间的进展的信息。一个或多个处理器可以被配置为基于关于姿态的进展的信息来检测至少一个预定义的姿态。具体而言，所述一个或多个处理器可以被配置为基于关于所述姿态的进展的所述信息来检测至少一个预定义的信号姿态。所述至少一个信号姿态可以基于从第一姿态到第二姿态的转变。例如，信号姿态的检测可受益于被训练为在多个帧上跟踪所述姿态的机器学习模型。
[0010]总体而言，可以限制所述多用途车辆的控制，使得所述多用途车辆不能被没有权限的人员控制。例如，所述一个或多个处理器可以被配置为检测所述人是否携带预定义的物品，并且如果所述人携带所述预定义的物品，则控制所述多用途车辆。因此，所述预定义的物品可以显示所述人有权限控制所述车辆。
[0011]在一些示例中，所述预定义的物品可以是信令信标和安全背心中的一个。例如，信令信标可以帮助姿态检测并显示所述持有人有权限控制所述车辆。在这种情况下，可以训练所述机器学习模型以基于视频数据生成携带信令信标的人的姿态估计数据，例如，以使所述姿态估计数据的生成适合于所述信令信标的使用。此外，可以忽略不穿安全背心(安全背心在施工现场和使用多用途车辆的其他现场可能是强制性的)的人。
[0012]在各种示例中，不同的人可具有不同的权限级别。例如，负责控制所述多用途车辆的人可具有指示所述多用途车辆执行任何命令的权限，而其他人可能没有权限或者可能只有停止所述多用途车辆(或所述多用途车辆的发动机)的权限，但不能指示所述多用途车辆运动。换句话说，一个或多个处理器可以被配置为确定人的权限级别，并且如果该人具有控制多用途车辆的足够权限，则控制该多用途车辆。例如，不同级别的权限可以允许发出不同的命令。
[0013]在一些示例中，可以根据对所述人的识别或重识别来对所述多用途车辆进行控
制。例如，所述一个或多个处理器可以被配置为识别或重识别所述人，并且基于对所述人的识别或重识别来控制所述多用途车辆。
[0014]可以使用几种方法之一来执行对所述人的识别或重识别。例如，所述一个或多个处理器可以被配置为使用对所述视频数据的面部识别来识别所述人。当使用面部识别时，可以通过提供一个新人的面部的一张或多张照片来将该人注册以控制所述多用途车辆。
[0015]或者，可以使用人员重识别来对所述人进行重识别。与寻求确定人的绝对身份的识别相比，视觉人员重识别的目的是仅从人的外表来对其进行区分或重识别。所述一个或多个处理器可以被配置为使用被训练用于人员重识别的机器学习模型来对所述人进行重识别。在这种情况下，可以通过提供代表一个新人的所谓的重识别代码来将该人注册以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多用途车辆(100、300、310)的装置(10)，所述装置包括：至少一个接口(12)，用于从所述多用途车辆的一个或多个摄像头(102)获得视频数据；一个或多个处理器(14)，被配置为：使用机器学习模型处理所述视频数据，以确定在所述视频数据中示出的人的姿态信息，所述机器学习模型被训练为基于视频数据生成姿态估计数据，基于所述人的所述姿态信息检测至少一个预定义的姿态，并且基于所检测到的至少一个预定义的姿态来控制所述多用途车辆。2.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为检测多个预定义的姿态中的至少一个，所述多个预定义的姿态中的每个姿态与用于控制所述多用途车辆的特定控制指令相关联，并且所述一个或多个处理器被配置为基于与所检测到的姿态相关联的所述控制指令来控制所述多用途车辆。3.根据权利要求2所述的装置，其中，所述多个预定义的姿态包括一个或多个静态姿态以及一个或多个信号姿态，所述一个或多个信号姿态基于从第一姿态到第二姿态的转变。4.根据权利要求3所述的装置，其中，所述多个预定义的姿态包括与用于停止所述多用途车辆的运动的控制指令相关联的静态姿态、与用于启动所述多用途车辆的发动机的控制指令相关联的静态姿态、与用于停止所述多用途车辆的发动机的控制指令相关联的静态姿态、与用于控制所述多用途车辆向前运动的控制指令相关联的信号姿态以及与用于控制所述多用途车辆向后运动的控制指令相关联的信号姿态中的至少一个。5.根据权利要求1至4之一所述的装置，其中，所述机器学习模型被训练为输出具有关于如在所述视频数据的多个帧的过程中所示的所述人的姿态随时间的进展的信息的所述姿态估计数据，其中，所述一个或多个处理器被配置为基于关于所述姿态的进展的所述信息检测所述至少一个预定义的姿态。6.根据权利要求5所述的装置，其中，所述一个或多个处理器被配置为基于关于所述姿态的进展的所述信息来检测至少一个预定义的信号姿态，所述至少一个预定义的信号姿态是基于从第一姿态到第二姿态的转变。7.根据权利要求1至6之一所述的装置，其...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：格雷兹珀技术有限公司，
类型：发明
国别省市：