监测车辆乘员的方法和系统技术方案

本公开涉及监测车辆乘员的方法和系统，尤其提供了一种监测位于车辆内部的乘员的方法。经由感测装置检测乘员的至少一个图像。经由处理单元，基于所述至少一个图像来识别该乘员的身体点，并且基于检测到的身体点对该乘员的姿势进行分类。经由输出单元，基于经分类的姿势来提供调整该乘员的姿势的建议。来提供调整该乘员的姿势的建议。来提供调整该乘员的姿势的建议。

【技术实现步骤摘要】
监测车辆乘员的方法和系统


[0001]本公开涉及监测车辆内部的乘员的方法和装置。

技术介绍

[0002]在许多车辆中，现在安装了用于监测驾驶员和其他乘员的装置和系统。这样的装置和系统可以被称为座舱感测解决方案。摄像头或其他成像传感器从车辆内部捕获图像数据并对这些图像进行处理以提取关于驾驶员状态的信息，包括诸如睁眼状态、观察方向或其他身体部位的定位之类的基本特征。这样的图像数据可以用于高级解释，以便检测例如驾驶员的困倦或分心。从图像数据中提取的基本特征通常用于支持驾驶员的应用。
[0003]然而，对于车辆内乘员的适当坐姿，通常仅可获得一般性建议，例如由全国汽车协会提供。例如，这些建议涉及通过相对于相应乘员的身材和体型正确地调节座椅高度和座椅靠背角度来在车辆中避免背痛。此外，可获得关于如何调节方向盘相对于车辆驾驶员的高度和距离的建议，以便正确地握住方向盘。
[0004]然而，这样的一般性建议可能不易于针对特定乘员定制。另外，乘员的姿势通常在某一时间段内相对于座椅和方向盘而言不受控制。因此，乘员可能相当长的时间都不会注意到他或她的姿势相当不利并且可能会引起例如背痛。相反，当乘员要离开车辆时，他或她可能会注意到在长时间乘坐后的不利姿势的影响。
[0005]因此，需要具有能够监测车辆中的乘员并提供改善乘员姿势的建议的方法和系统。

技术实现思路

[0006]本公开提供了一种计算机实现的方法、系统、计算机系统和非暂时性计算机可读介质。
[0007]在一个方面，本公开涉及一种监测位于车辆内部的乘员的计算机实现的方法。根据该方法，经由感测装置检测所述乘员的至少一个图像。经由处理单元，基于所述至少一个图像来识别所述乘员的身体点，并且基于检测到的身体点对所述乘员的姿势进行分类。经由输出单元，基于经分类的姿势来提供调整所述乘员的姿势的建议。
[0008]感测装置可以是能够提供某种形式的图像的任何装置，例如摄像头，例如NIR摄像头、RGB摄像头、RGB
‑
IR摄像头、飞行时间摄像头、立体摄像头、热像仪、雷达或激光雷达传感器，或者被配置成生成至少一个图像信息通道(即，二维图像)的一些其他成像装置。感测装置还能够支持时间图像序列的采集。
[0009]感测装置位于车辆的内部并且可以被配置成捕获座椅上的至少一个乘员的图像并在其仪器视野中覆盖乘员身体的至少一半。由感测装置检测到的至少一个图像可以覆盖乘员的整个上身，即，头部区域向下至臀部。另选地，例如对于自上而下(top down)的摄像头，只有从肩部向下至腿部的部分可以是可用的。在这种情况下，下面描述的某些特征(例如，对面部表情进行分类)可能不可用。
[0010]处理单元可以使用神经网络以及预处理和后处理算法来处理二维图像或时间图像序列，以便检测乘员的身体点，其中身体点可以位于乘员的头部、肩部、肘部、臀部、膝盖等处。也就是说，身体点可以是例如在乘员的臂部或腿部的关节处的“关键”点，和/或乘员面部的一些特征点。然而，可以由感测装置识别和跟踪的任何点都可以适合作为身体点，例如在乘员腹部或背部的点，或者甚至是乘员衣服上的纹理。因此，上面提供的身体点的示例列表并非穷举。
[0011]另外，神经网络可以提供乘员的姿势分类，以便分析乘员是否以健康的方式就座。换言之，例如经由神经网络对乘员的姿势进行分类分析了乘员的就座位置并确定了当前的就座配置是否被认为是健康和舒适的，这可以代表乘员姿势的类别之一。相比之下，可以识别可能导致紧张或可能引发较长时间乘坐的不适或疼痛的就座位置。例如，该方法可以检测乘员是否经常向一侧倾斜或向前倾斜而一个肩膀低，或者乘员是否具有在一段时间后会增加不适的不利头部取向。因此，根据本公开的方法能够在乘员实际感到不适之前检测他或她的潜在有问题的姿势或就座位置。
[0012]结果，该方法向乘员提供建议，例如改变姿势或就座位置。例如，该方法可以指示如何以不同的方式坐着以改善享受感。在长时间乘坐中，如果在某个时间段内没有检测到姿势的改变，则该方法还可以鼓励乘员在一段时间后改变位置。
[0013]输出单元可以经由一些视觉响应(例如，在平视显示器或信息娱乐系统的屏幕上显示的图标或对话框)来提供调整乘员姿势的建议。例如，当可能检测到驾驶员的困倦时，可以显示与可能出现在其他应用中的咖啡壶图标类似的图标。附加地或另选地，可以显示短动画或视频剪辑，以便激励乘员改变就座位置、做一些伸展运动或休息。
[0014]因此，根据本公开的方法能够在驾驶期间交互地改善乘员的姿势。由于检测到作为相应乘员的特性的单独身体点，因此对乘员的姿势进行分类和提供建议是针对具有位于例如头部、肩部、肘部等处的身体点的单独位置的特定乘员定制的。因此，该方法可以灵活地为特定的乘员提供单独建议。
[0015]该方法可以包括以下特征中的一个或更多个：
[0016]可以经由感测装置检测图像序列。经由处理单元：可以基于所述图像序列确定身体点的时间序列，可以通过使用所述时间序列针对所述身体点中的各个身体点来估计位移矢量，并且可以基于所述位移矢量对乘员的移动进行分类。可以进一步基于该乘员的经分类的移动来提供调整该乘员的姿势的建议。
[0017]所述身体点可以包括面部点，可以基于所述图像序列来识别和跟踪所述面部点，并且可以经由所述处理单元基于检测到的面部点获得面部表情并且对所述面部表情进行分类。可以进一步基于经分类的面部表情来提供调整所述乘员的姿势的建议。另外，可以经由所述处理单元基于所述乘员的经分类的姿势、经分类的移动和/或经分类的面部表情来确定就座舒适度得分，并且调整所述乘员的姿势的建议可以基于所述就座舒适度得分。可以仅在所述就座舒适度得分小于预定阈值的情况下提供调整所述乘员的姿势的建议。
[0018]通过在预定义时间段的开始和结束时识别身体点，可以在所述预定义时间段内监测乘员的位置，并且如果该乘员的位置在所述预定时间段期间没有改变，则可以提供调整该乘员的姿势的建议。
[0019]乘员可以位于驾驶员座椅上，并且所述身体点可以包括肩部点、臂部点和/或手部
点。可以相对于车辆的方向盘来确定所述肩部点、所述臂部点和/或所述手部点的相对位置。可以基于所述相对位置，经由输出单元来提供调整方向盘的建议。
[0020]可以通过输入单元获取乘员对所述建议的响应，并且所述响应可以包括接受或拒绝当前的建议。可以根据所述乘员的响应确定将来的建议的数量和/或类型。如果所述乘员接受当前的建议，则输出单元可以为所述乘员提议指导活动，所述指导活动可以取决于车辆的驾驶条件和环境。可以进一步基于存储在处理单元中的所述乘员的简档对所述乘员的姿势进行分类。
[0021]根据实施方式，可以经由感测装置来检测图像序列。经由处理单元，可以基于图像序列来确定身体点的时间序列，可以通过使用时间序列针对各个身体点估计位移矢量，并且可以基于位移矢量对乘员的移动进行分类。经由输出单元，可以进一步基于乘员的经分类的移动来提供调整乘员姿势的建议。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监测位于车辆的内部的乘员(10)的计算机实现的方法，所述方法包括以下步骤：经由感测装置(13)检测所述乘员(10)的至少一个图像，经由处理单元(15)，基于所述至少一个图像来识别所述乘员(10)的身体点(21)，经由所述处理单元(15)，基于检测到的身体点(21)对所述乘员(10)的姿势进行分类，其中，所述处理单元(15)包括预处理算法、神经网络和后处理算法，以及经由输出单元(17)，基于经分类的姿势来提供调整所述乘员的姿势的建议(47)，其中，所述输出单元(17)提供作为视觉响应的建议(47)，所述视觉响应包括在平视显示器或车辆信息娱乐系统的屏幕上显示的图标或对话框。2.根据权利要求1所述的方法，其中，经由所述感测装置(13)检测图像序列(31),经由所述处理单元(15)：基于所述图像序列确定所述身体点(21)的时间序列，通过使用所述时间序列，针对所述身体点(21)中的各个身体点估计位移矢量，基于所述位移矢量对所述乘员(10)的移动进行分类，以及经由所述输出单元(17)，进一步基于所述乘员的经分类的移动来提供调整所述乘员的姿势的所述建议(47)。3.根据权利要求2所述的方法，其中，所述身体点(21)包括面部点(23)，所述面部点(23)是基于所述图像序列(31)识别和跟踪的，并且经由所述处理单元(15)，基于所识别的面部点(23)获得面部表情并且对所述面部表情进行分类，经由所述输出单元(17)，进一步基于经分类的面部表情来提供调整所述乘员的姿势的所述建议(47)。4.根据权利要求3所述的方法，其中，经由所述处理单元(15)，基于所述乘员的经分类的姿势、经分类的移动和/或经分类的面部表情来确定就座舒适度得分，并且调整所述乘员的姿势的所述建议(47)是基于所述就座舒适度得分的。5.根据权利要求4所述的方法，其中，仅在所述就座舒适度得分小于预定阈值的情况下提供调整所述乘员的姿势的所述建议(47)。6.根据前述权利要求中任一项所述的方法，其中，通过在预定义时间段的开始和结束时识别所述身体点(21)，在所述预定义时间段内监测所述乘员(10)的位置，如果所述乘员的位置在所述预定时间段期间没有改变，则提供调整所述乘员的姿势的所述建议(47)。7.根据前述权利要求中任一项所述的方法，其中，所述乘员(10)位于驾驶员座椅(12)上，所述身体点(21)包括肩部点(25)、臂部点(27)和/或手部点(29)，相对于所述车辆的...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：