用于推断车辆乘员的行为的装置及方法制造方法及图纸

本发明专利技术涉及用于推断车辆乘员的行为的装置及方法。提供了用于通过融合经由车辆内部摄像机和经由车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的装置及方法。乘员行为推断系统包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断乘员的行为。利用粒子滤波来推断乘员的行为。利用粒子滤波来推断乘员的行为。

【技术实现步骤摘要】
用于推断车辆乘员的行为的装置及方法


[0001]各种实施方案涉及用于推断车辆乘员行为的装置及方法，更具体地，涉及用于通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的装置及方法。

技术介绍

[0002]自动驾驶车辆是指能够在没有驾驶员的操作的情况下自行行驶的车辆。
[0003]汽车工程师学会(Society of Automotive Engineers)将自动驾驶技术的发展分为六个阶段。在初始阶段，人监视行驶环境，自动驾驶技术仅执行辅助人驾驶的功能，例如，转向辅助、加速/减速辅助。然而，在最后的阶段，提供无需人为干预的完全自动化，从而自动驾驶系统负责驾驶车辆，同时监测所有的道路状况和环境。
[0004]在这样的自动驾驶车辆中，自动驾驶系统必然要获取关于车辆内部和外部的信息。此外，为了确保乘员的安全，有必要获取乘员的三维行为。

技术实现思路

[0005]本专利技术的目的是提供一种利用诸如摄像机的非接触式传感器来稳健地推断乘员的三维行为的方法及装置。
[0006]此外，本专利技术的目的是提供一种通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的方法及装置。
[0007]本文件要克服的技术问题不限于上述技术问题。未提及的其他技术问题可以由本领域的普通技术人员从下面的描述中清楚地理解。
[0008]一个实施方案是乘员行为推断系统，其推断车辆内乘员的行为。乘员行为推断系统可以包括：摄像机，其配置为获取车辆内乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取乘员的关键点信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息，利用粒子滤波来推断乘员的行为。
[0009]另一实施方案是乘员行为推断系统，其推断车辆内至少一个乘员的行为。乘员行为推断系统可以包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像，并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断乘员的行为。
[0010]又一实施方案是乘员行为推断系统的乘员行为推断方法。乘员行为推断方法可以包括：从经由摄像机获取的图像中获取关键点信息；基于关键点信息检测至少一个乘员，并且获取包括关于检测到的至少一个乘员的信息的目标跟踪信息；基于检测到的至少一个乘员确定现有乘员的检测是否失败，是否存在与检测到的至少一个乘员之中的现有乘员相对
应的乘员以及是否存在新乘员；当存在新乘员作为确定的结果时，创建与相应的新乘员相对应的第一粒子滤波并且初始化第一粒子滤波的粒子；当存在与现有乘员相对应的乘员作为确定的结果时，传播与相应的现有乘员相对应的第二粒子滤波的粒子，更新粒子的权重，推断相应的现有乘员的行为，当特定条件得到满足时对粒子重采样；当与现有乘员相对应的乘员的检测失败作为确定的结果时，去除与相应的现有乘员相对应的第三粒子滤波。
[0011]根据本专利技术的各种实施方案，可以通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息来更加稳健和准确地推断乘员的三维行为，为基于人工智能的乘员行为推断中的意外故障做好准备。
[0012]根据本专利技术的各种实施方案，推断的乘员的三维行为可以用于车辆安全控制，以保护在自动驾驶环境中不在常规位置上的乘员。
[0013]可以从本专利技术获得的有益效果不限于上述效果。此外，其它未提及的效果可以由本专利技术所属领域的技术人员从以下描述中清楚地理解。
附图说明
[0014]图1示出了根据各种实施方案的用于推断车辆内乘员的行为的系统；
[0015]图2示出了乘员行为推断系统中的信息流；
[0016]图3示出了控制单元检测乘员的示例；
[0017]图4示出了根据各种实施方案的确定乘员检测的控制单元的操作；
[0018]图5示出了根据控制单元的粒子滤波创建指令的粒子滤波单元的粒子滤波生成操作；
[0019]图6示出了参考关键点的示例；
[0020]图7示出了粒子滤波单元的粒子滤波更新操作。
具体实施方式
[0021]用于本专利技术的实现的特征、优点和方法通过参考下面描述的详细的实施方案以及所附附图将更加明显。然而，本专利技术不限于将在下面公开的实施方案，并且本专利技术以不同和各种的形式来实施。实施方案使得本专利技术完全公开并且提供为使得本领域技术人员充分地理解本专利技术的保护范围。本专利技术仅由所附权利要求的范围来限定。在整个专利技术中相同的附图标记对应于相同的元件。
[0022]一个组件称为“连接至”或“接合至”另一组件的情况包括一个组件直接连接或接合至另一组件的情况以及又一组件插入其间的情况两种情况。同时，一个组件称为“直接连接至”或“直接接合至”另一组件表示其间未插入又一组件。术语“和/或”包括提及项的每一个及其所有组合的一个或更多个。
[0023]本说明书中使用的术语提供为仅用于描述本专利技术的具体实施方案，而不旨在限制。在本说明书中，如果没有特别说明，则单数形式的表述包括其复数形式的表述。在说明书中使用的术语“包括”和/或“包括的”旨在指出说明书中提及的特征、数值、步骤、操作、组件、部件或其任何组合，并且不旨在排除存在或添加至少一个其它特征、数值、步骤、操作、组件、部件或其任何组合。
[0024]虽然诸如第一和第二等的术语可以用于描述各种组件，但组件不受上述术语的限
制。这些术语仅用于将一个组件和其他组件区分开。
[0025]因此，将在下面描述的第一组件可以是本专利技术的精神内的第二组件。除非不同地定义，否则在本文中使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域的普通技术人员通常理解的含义相同的含义。此外，不应理想化地或过度地解释在词典中定义的常用术语，只要这些术语在本申请中没有明确和具体地定义。
[0026]在实施方案中使用的术语“部件”或“模块”可以指软件组件或硬件组件，例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)。“部件”或“模块”执行某些功能。然而，“部件”或“模块”不意味着限于软件或硬件。“部件”或“模块”可以配置为放置在可寻址的存储介质中或修复一个或更多个处理器。因此，对于一个示例，“部件”或“模块”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件的组件，并且可以包括进程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。设置在“部件”或“模块”中的组件和功能可以与较少数量的组件和“部件”或“模块”组合，或者可以进一步划分为附加组件和“部件”或“模块”。
[0027]在下文中，将参考所附附图详细地描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种乘员行为推断系统，其推断车辆内乘员的行为，所述乘员行为推断系统包括：摄像机，其配置为获取车辆内乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取乘员的关键点信息；以及车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息和从图像处理装置获取的关键点信息，利用粒子滤波来推断乘员的行为。2.一种乘员行为推断系统，其推断车辆内至少一个乘员的行为，所述乘员行为推断系统包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像，并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；以及车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断至少一个乘员中的每一个的行为，所述关键点信息和目标跟踪信息包括关于至少一个乘员的信息。3.根据权利要求2所述的乘员行为推断系统，其中，所述传感器包括座椅信息传感器和动态传感器的至少一种，所述座椅信息传感器提供乘员就座信息、座椅位置、座椅倾斜角度和座椅旋转角度，所述动态传感器提供关于车辆的加速度和角加速度的信息。4.根据权利要求3所述的乘员行为推断系统，其中，由图像处理装置获取的关键点信息包括：指示图像平面上的关键点的二维位置的关键点的二维位置信息。5.根据权利要求4所述的乘员行为推断系统，其中，由图像处理装置获取的关键点信息进一步包括：指示图像平面上的关键点的三维位置的关键点的三维位置信息。6.根据权利要求5所述的乘员行为推断系统，其中，所述图像处理装置利用预先进行学习的人工智能系统或利用计算机视觉技术来获取关键点信息。7.根据权利要求5所述的乘员行为推断系统，其中，所述车辆安全控制器包括控制单元和粒子滤波单元，所述控制单元：利用粒子滤波来生成关于被跟踪目标的信息，所述关于被跟踪目标的信息包括关于被跟踪的现有乘员的信息，基于关于被跟踪目标的信息和从图像处理装置获取的目标跟踪信息，确定现有乘员的检测是否失败以及是否检测到新乘员，当检测到新乘员作为确定的结果时，指示粒子滤波单元创建与相应的新乘员相对应的粒子滤波，当现有乘员的检测失败作为确定的结果时，指示粒子滤波单元去除与相应的现有乘员相对应的粒子滤波；所述粒子滤波单元基于控制单元的指令来创建、更新或去除粒子滤波。8.根据权利要求7所述的乘员行为推断系统，其中，所述粒子滤波单元基于控制单元的指令来创建粒子滤波，然后更新相应的粒子滤波，
所述粒子滤波的更新包括：传播粒子滤波的粒子，更新粒子的权重，基于所述权重计算行为推断值，当特定条件得到满足时对粒子滤波的粒子重采样。9.根据权利要求7所述的乘员行为推断系统，其中，所述控制单元：执行匹配使得被跟踪的现有乘员的边界框与检测到的至少一个乘员的边界框之间的交并比的总和最大化，基于确定针对每个乘员的交并比值是否大于预定阈值作为匹配结果，确定现有乘员的检测是否失败以及是否检测到新乘员。10.根据权利要求7所述的乘员行为推断系统，其中，所述控制单元确定新乘员是否处于就座状态，所述粒子滤波单元：针对新乘员创建粒子滤波，然后当新乘员处于就座状态时，基于从座椅信息传感器获取的座椅信息来初始化针对新乘员的粒子滤波的粒子，当新乘员未处于就座状态时，即处于离位状态时，利用新乘员的三维位置信息来初始化粒子滤波的粒子。11.根据权利要求10所述的乘员行为推断系统，其中，所述控制单元：基于从座椅信息传感器获取的乘员就座信息，确定新乘员是否处于就座状态，或者基于从座椅信息传感器获取的座椅信息来获取座椅的边界框，当座椅的边界框与新乘员的边界框之间的交并比大于或等于第一预定阈值时，将新乘员确定为处于就座状态。12.根据权利要求8所述的乘员行为推断系统，其中，所述粒子滤波单元基于从动态传感器获取的关于车辆的加速度和角加速度的信息以及乘员的动态模型，传播针对每个乘员的粒子滤波的粒子。13.根据权利要求12所述的乘员行为推断系统，其中，仅当从动态传感器获取的车辆的加速度或角加速度大于第二预定阈值时，所述粒子滤波单元额外地利用乘员的动态模型来传播针对每个乘员的粒子滤波的粒子。14.根据权利要求8所述的乘员行为推断系统，其中，所述粒子滤波单元基于先验概率信息、现有乘员的关键点的二维位置信息、关键点的三维位置信息以及从座椅信息传感器获取的座椅信息的至少一种更新粒子滤波的粒子的权重。15.根据权利要求14所述的乘员行为推断系统，其中，基于先验概率信息更新粒子的权重包括：将指示与在身体方面不可能的姿势相对应的关键点的粒子的权重更新为0，或者将位置不在车辆内部的粒子的权重更新为0，或者降低粒子的权重或者将粒子的权重更新为0，所述粒子对应于三维坐标在由对应于车辆内部的范围信息或根据摄像机的视场的拍摄范围信息所指示的范围以外的关键点，或者通过反映关于统计的人体的体型的数据来预先设置关于关键点之间的距离的信息的条件，当与粒子相对应的关键点的三维坐标不满足设置的条件时，降低相应粒子的权重或者将相应粒子的权重更新为0。
16.根据权利要求14所述的乘员行为推断系统，其中，基于关键点的二维位置信息或关键点的三维位置信息更新粒子的权重包括：基于与粒子相对应的关键点的二维位置信息或关键点的三维位置信息来计算粒子的似然概率，并且基于计算的似然概率更新粒子权重信息。17.根据权利要求14所述的乘员行为推断系统，其中，基于座椅信息更新粒子的权重包括：将从座椅信息获取的已就座的乘员的关键点的坐标与根据粒子计算的关键点的坐标进行比较，然后以与两个关键点的坐标之间的距离成反比的方式更新权重。18.根据权利要求8所述的乘员行为推断系统，其中，所述车辆安全控制器：将现有乘员的关键点的位置推断为反映与粒子相对应的关键点的位置的权重的平均值，或者将现有乘员的关键点的位置推断为与具有...

【专利技术属性】
技术研发人员：朴俊相，
申请(专利权)人：起亚株式会社，
类型：发明
国别省市：