确定车辆乘员的活动的方法和系统技术方案

本公开涉及确定车辆乘员的活动的方法和系统，尤其涉及一种确定车辆乘员的活动的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：使用至少一5个传感器获取乘员的传感器数据；基于传感器数据针对乘员的身体的多个预定部位确定相应的二维坐标或三维坐标；基于传感器数据和二维坐标或三维坐标确定传感器数据的示出乘员的预定身体部位的至少一部分；以及基于二维坐标或三维坐标以及传感器数据的至少一部分确定乘员的活动。

【技术实现步骤摘要】
确定车辆乘员的活动的方法和系统
本公开涉及用于确定车辆乘员的活动的方法和系统，尤其涉及车辆中的内部感测。
技术介绍
近来的驾驶员辅助系统的技术进步正在增加批量生产车辆的自动化程度。在某些情况和场景下，人类驾驶员可以将车辆的控制移交给汽车。例如，3级驾驶员辅助功能减轻了驾驶员的多项驾驶任务，让他专注于驾驶以外的其它活动。然而，现今，驾驶员仍然负责驾驶任务。即使在更高水平自动化的情况下，人类驾驶员仍将负责监测车辆，并且，如果需要，必须能够在合理的时间内收回对车辆的控制。因此，驾驶员在紧急情况下仍然起到应变(fallback)的作用。为了允许驾驶员专注于其它活动并同时将其用作应变计划，需要对驾驶员状态有适当了解，以在需要时有效地警告或通知驾驶员。在汽车需要将控制交还给驾驶员的情况下，必须评估驾驶员的当前状态和活动，以便确定他是否能够进行控制。同样，对于具有高级主动安全功能的非自主驾驶汽车，了解驾驶员的当前活动和认知可能会有所帮助，以使得在驾驶员不了解所发生的紧急情况时，汽车可以调整警告策略以防止事故或甚至紧急情况。因此，需要用于驾驶员活动分类的有效方法和设备。
技术实现思路
本公开提供了一种计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。在一个方面，本公开涉及一种确定车辆乘员的活动的计算机实现的方法，该方法包括由计算机硬件组件执行(换句话说，实施)的以下步骤：使用至少一个传感器获取乘员的传感器数据；基于该传感器数据确定乘员的身体的多个预定部位的相应的二维坐标或三维坐标；基于传感器数据和二维坐标或三维坐标确定传感器数据的示出乘员的预定身体部位的至少一部分；以及基于二维坐标或三维坐标以及传感器数据的所述至少一部分确定乘员的活动。根据另一方面，传感器数据包括(由图像传感器获取的)一个图像或(由图像传感器获取的)多个图像，以及(由至少一个其它传感器获取的)其它传感器数据，并且传感器数据的至少一部分包括图像的至少一部分。可以基于其它传感器数据和/或图像和/或二维坐标或三维坐标来确定所述图像的所述至少一部分。换句话说，可以基于乘员的身体的预定部位的坐标(二维或三维)并基于图像的示出了乘员身体的相关部位的部分来确定(或估计)车辆的乘员(驾驶员或乘客)的活动，其中，可以基于图像自身或基于不同于获取图像的传感器的其它传感器数据来确定图像的该部分。该图像可以是常规图像，也可以指强度图像或2D图像。该图像可以是灰度图像或彩色图像。所述其它传感器可以是与图像传感器不同的传感器，或者提供与(常规)图像不同的传感器数据的传感器。例如，所述其它传感器可以提供距离信息(或深度信息)；例如，所述其它传感器可以是ToF(飞行时间)摄像头、雷达传感器、激光雷达传感器、超声传感器或红外传感器。二维坐标或三维坐标可以在坐标系中提供，例如，具有由其它传感器限定的原点的坐标系，或具有由车辆的预定点限定的原点的坐标系。图像的至少一部分(其可以称为裁剪)可以包括图像的任何形状的一部分。例如，对于矩形图像，图像的至少一部分可以是矩形或圆形或任何其它形状。当确定图像的多于一个的部分时，多个部分可以具有相同的形状或不同的形状，并且可以具有相同大小或不同大小。该部分的大小可以指该图像的该部分的像素数(例如，对于图像的矩形部分，该图像的该部分的大小可以由矩形形状的宽度和高度给出(分别以像素为单位))。已经发现的是，仅使用图像的至少一部分(而不是整个图像)可以增强活动确定的结果。例如，当使用神经网络来确定活动时，仅使用图像的至少一部分可以避免神经网络(或另一分类器)对图像的非相关部分的过度拟合。根据另一方面，图像包括多个强度像素，各个强度像素指示在各强度像素处接收的预定波长或波长范围的光的强度，并且其它传感器数据包括多个距离像素，各个距离像素指示其它传感器与对应于各距离像素的对象之间的距离。因此，该图像提供了人类观察者将视觉观察到的内容的视觉表示，而其它传感器数据包括距离信息。已经发现的是，将图像的视觉表示与其它传感器数据的距离信息相结合提供了动作确定的可靠结果。根据另一方面，乘员的预定身体部位包括乘员的一只手和/或乘员的面部和/或乘员的一个肩膀。已经发现的是，在确定乘员的活动时，使用这些身体部位(尤其使用乘员的一只或两只手和/或乘员的面部)提供可靠的结果。然而，将理解的是，可以使用任何其它身体部位。根据另一方面，基于二维坐标或三维坐标来确定图像的至少一部分。在该方法的多个步骤中，可以使用当前时间和先前时间(例如，当前时间步长和先前时间步长)的传感器数据。例如，包含来自多个时间步长的信息的分类器(例如，3D卷积网络、递归神经网络或LSTM(长短期记忆))可以用于考虑先前时间步长的传感器数据。根据另一方面，获取多个图像和多个其它传感器数据，基于所述多个图像和多个其它传感器数据中的至少一者来确定二维坐标或三维坐标。例如，可以在多个时间点(或时间步长)处获取图像和其它传感器数据，并且可以针对各个时间点确定二维坐标或三维坐标、图像的至少一部分以及活动。已经发现的是，与仅在单个时间点具有确定的活动相比，具有确定的活动的历史可以增强进一步的处理，例如，可以增强确定车辆要采取或不采取的动作。根据另一方面，基于一个或更多个神经网络来确定活动。例如，神经网络可以用于基于图像的至少一部分来确定特征向量。可以基于二维坐标或三维坐标来确定其它特征向量。可以将基于图像的至少一部分确定的特征向量和其它特征向量提供给包含来自多个时间步长的信息的分类器，例如，3D卷积网络、递归神经网络或LSTM(换句话说：具有LSTM结构的神经网络)。根据另一方面，基于softmax方法来确定活动。Softmax函数(也可以称为softargmax或归一化指数函数)可以是将实数向量作为输入并将其归一化成由与输入数的指数成比例的概率组成的概率分布的函数。在应用softmax之前，一些矢量分量可能为负或大于1，并且它们的和可能不等于1。在应用softmax之后，各个分量可能在0至1之间，并且分量可能加起来为1，因此可以将它们解释为概率。例如，可以将包含来自多个时间步长的信息(例如，3D卷积网络、递归神经网络或LSTM)的分类器的输出提供给softmax方法，并且softmax方法的结果可以表示确定的活动(或对确定的活动进行编码)。根据另一方面，确定活动包括将驾驶员的动作分类成多个动作类别中的一个或更多个类别。分类成类别可以包括指示该动作在相应类别中的概率，并且如果识别出多于一个的动作，则分类可以被设置成动作的标识符或确定的动作的阵列(或向量)。根据另一方面，分类包括确定概率向量，其中，该概率向量中的各个项指示多个动作类别中的各个类别的相应概率。应该理解的是，概率可以表示成介于0至1之间(或介于0％至100％之间)的实数，但是任何其它表示都是可能的，例如，模糊表示，例如，概率水平为“最可能不是”、“可能不是”、“可能是”、本文档来自技高网...

【技术保护点】
1.一种确定车辆乘员的活动的计算机实现的方法，/n所述计算机实现的方法包括由计算机硬件组件执行的以下步骤：/n-使用至少一个传感器获取所述乘员的传感器数据；/n-基于所述传感器数据确定所述乘员的身体的多个预定部位的相应的二维坐标或三维坐标；/n-基于所述传感器数据和所述二维坐标或三维坐标确定所述传感器数据的示出所述乘员的预定身体部位的至少一部分；以及/n-基于所述二维坐标或三维坐标以及所述传感器数据的所述至少一部分确定所述乘员的所述活动。/n

【技术特征摘要】
20190917 EP 19197820.41.一种确定车辆乘员的活动的计算机实现的方法，
所述计算机实现的方法包括由计算机硬件组件执行的以下步骤：
-使用至少一个传感器获取所述乘员的传感器数据；
-基于所述传感器数据确定所述乘员的身体的多个预定部位的相应的二维坐标或三维坐标；
-基于所述传感器数据和所述二维坐标或三维坐标确定所述传感器数据的示出所述乘员的预定身体部位的至少一部分；以及
-基于所述二维坐标或三维坐标以及所述传感器数据的所述至少一部分确定所述乘员的所述活动。


2.根据权利要求1所述的计算机实现的方法，
其中，所述传感器数据包括图像和其它传感器数据；
其中，所述传感器数据的所述至少一部分包括所述图像的至少一部分。


3.根据权利要求2所述的计算机实现的方法，
其中，所述图像包括多个强度像素，各个强度像素指示在相应强度像素处接收到的预定波长或波长范围的光的强度；并且
其中，所述其它传感器数据包括多个距离像素，各个距离像素指示所述其它传感器与对应于相应距离像素的对象之间的距离。


4.根据权利要求1至3中任一项所述的计算机实现的方法，
其中，所述乘员的所述预定身体部位包括所述乘员的一只手和/或所述乘员的面部。


5.根据权利要求1至4中任一项所述的计算机实现的方法，
其中，获取多个图像和多个其它传感器数据；并且
其中，所述二维坐标或三维坐标是基于所述多个图像和所述多个其它传感器数据中的至少一者来确定的。


6.根据权利要求1至5中任一项所述的计算机实现的方法，
其中，所述活动是基于神经网络来确定的。


7.根据权利要求1至6中任一项所述的计算机实现的方法...

【专利技术属性】
技术研发人员：P·韦尔斯，A·巴尔特，D·席贝纳，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：巴巴多斯;BB