对车辆中的用户行为进行识别和响应的方法和系统技术方案

对车辆中的用户行为进行识别和响应的方法和系统。用于基于用户行为来控制车辆操作的装置包括：至少一个处理器；存储器，该存储器存储指令，其中，所述至少一个处理器被配置成执行所存储的指令以：从与设备关联的一个或更多个图像传感器接收图像数据；启动以至少第一模式和第二模式处理来自所述一个或更多个图像传感器的所述图像数据，其中，至少所述第二模式与涉及用户行为的用户信息关联；识别身体部位的姿态、身体部位的形状、身体部位的位置或身体部位的取向；基于识别操作将所述设备的识别模式从第一识别模式改变为第二识别模式；生成与向所述第二识别模式的所述改变关联的消息，以指示检测到涉及用户行为的第二组用户信息。

Methods and systems for identifying and responding to user behavior in a vehicle

A method and system for identifying and responding to user behavior in a vehicle. Device used to control the vehicle operation based on user behavior including: at least one processor; memory, the memory instruction, wherein the at least one processor configured to execute stored instructions to receive image data from the equipment and associated with one or more image sensor; start with at least a first mode and the second mode processing from the one or more image sensor of the image data, wherein the at least the second mode and relates to the user behavior of user information association; recognition of parts of the body posture, body shape, body position or body orientation; the equipment identification operation the recognition model based on pattern recognition from the first to second pattern recognition; and to the second generation of pattern recognition the change message associated with. It indicates that second sets of user information that involves user behavior is detected.

【技术实现步骤摘要】
对车辆中的用户行为进行识别和响应的方法和系统本申请是原案申请号为201280050071.1(国际申请号为PCT/IL2012/050297，申请日为2012年8月8日、专利技术名称为“基于手势的接口系统和方法”)的分案申请。
本专利技术涉及图像分析和对象跟踪。
技术介绍
以下公报被认为与本专利技术的背景的理解有关：美国专利No.6,252,598；马加尔(Magal)等人的美国专利8,166421；WO2005/091125；WO2010/086866；Viola,P等人，“RobustReal-timeObjectDetection”，第二届视觉建模、学习、计算和采样的统计和计算理论国际研讨会(SecondInternationalWorkshoponStatisticalandComputationaltheoriesofVision-Modeling,learning,Computing,andSampling)，加拿大温哥华，2001年7月13日。存在各种类型的计算机控制和接口装置来向计算机输入命令。例如，这些装置可采取计算机鼠标、摇杆或轨迹球的形式，其中，用户操纵接口装置以执行特定操作，例如从选项菜单选择特定条目、执行“点击”或“指点”功能等。这些接口装置需要表面积以放置装置，并且在鼠标的情况下，适应装置移动和操纵。另外，这些接口装置通常通过线缆连接到计算机，所述线缆通常随意搭在用户的桌子上，导致妨碍用户的工作区域。操纵这些接口装置以执行操作与常见交流手势不一致，例如，与操纵鼠标直至光标停驻在期望的菜单条目上相对，使用手指指点手势来选择菜单条目。已尝试利用光学传感器实现手势识别以用于向装置输入命令。手势识别需要在视频流中的多个图像中的每一个中标识身体部位(通常为手)。例如，已知在视频流中标识手势。定义帧中的多个区域并对其进行筛选以通过定位与预定义的手位置和手势对应的曲率极值(例如，峰和谷)来在多个区域中的一个中定位手。然后，使用峰和谷的数量来标识预定义的手势并将其与实现特定计算机操作或功能的手图像相关。还已知有使用三维位置信息来标识由身体部位生成的手势的系统。在一个或更多个间隔实例，基于身体部位的形状及其位置和取向来识别身体部位的姿态。在一个或更多个间隔实例中的每一个期间身体部位的姿态被识别为组合手势。对手势进行分类以确定对相关电子装置的输入。还已知有用户接口方法，其中随着时间过去捕获受试者(humansubject)的至少一个身体部位的一系列深度图。处理深度图以便检测在身体部位穿过交互表面时身体部位的移动方向和速度。响应于所检测到的方向和速度来控制计算机应用。
技术实现思路
本专利技术提供了一种用户接口设备，其用于控制诸如个人计算机(PC)、便携式计算机、PDA、膝上型计算机、移动电话、收音机、数码相机、车辆、医疗装置、智能家用电器(例如，电视或家庭娱乐系统)、移动游戏机或家用电器的装置。本专利技术的用户接口设备包括图像传感器。图像传感器在与装置相邻的区域所获得的图像被输入至手势识别系统，手势识别系统分析图像传感器所获得的图像，以从由预定义对象(例如，手或手指)执行的待标识的一个或更多个手势当中标识一个或更多个手势。手势的检测被输入至消息决策器，消息决策器基于所标识的手势和手势识别系统的当前识别模式来生成消息。例如，可将所述消息发送给装置、第一装置的操作系统、在第一装置的处理器上运行的一个或更多个应用、在后台运行的软件程序以及在第一装置上运行的一个或更多个服务或者在装置中、在外部网络上运行的进程。手势识别系统运行手势识别模块，该手势识别模块按照两个或更多个识别模式中的每一个操作。识别模式由手势模式决策器来确定，手势模式决策器被配置为在一个或更多个不同条件下将识别模式从初始识别模式改变为第二识别模式，如下所述。基于手势识别的初始识别模式、由手势识别系统标识的手势和态势感知(situationalawareness)信息中的任一个或更多个来确定第二识别模式。本文使用术语“态势感知信息”来表示与以下各项中的任一个或更多个有关的信息：第一装置的状态、由与接口系统关联的一个或更多个传感器获得的信息、由与第一装置关联的一个或更多个第一装置传感器获得的信息、与装置上运行的一个或更多个进程有关的信息、与装置上运行的应用有关的信息、与装置的电力状态有关的信息、与装置的通知有关的信息、与装置的移动有关的信息、与装置的空间取向有关的信息、关于与一个或更多个用户的交互的信息、关于用户行为的信息以及关于一个或更多个触发的信息。因此，本专利技术提供了一种用于控制第一装置的接口系统，该接口系统是包含指令的计算机程序产品，所述指令使得处理器执行一种包括以下步骤的方法：(a)接收来自一个或更多个图像传感器的输入；(b)在所述接口系统的手势识别模块中，所述手势识别模块具有两个或更多个识别模式：(i)分析由所述图像传感器获得的图像，以检测由预定义对象执行的待检测的一个或更多个手势，所述预定义对象选自一只或更多只手、手的一部分、一根或更多根手指、手指的一个或更多个部分以及一个或更多个指尖；以及(ii)在任一个或更多个预定义条件下将所述手势识别模块的识别模式从初始识别模式改变为第二识别模式，其中，所述第二识别模式是基于所述手势识别模块的初始识别模式、检测的手势和所述装置的态势感知信息中的任一个或更多个确定的，其中，所述态势感知信息是与所述装置的状态有关的信息、由与所述装置关联的传感器接收到的信息、与所述装置上运行的一个或更多个进程有关的信息、与所述装置上运行的应用有关的信息、与所述装置的电力状态有关的信息、与所述装置的通知有关的信息、与所述装置的移动有关的信息、与所述装置的空间取向有关的信息、关于与一个或更多个用户的交互的信息、关于用户行为的信息以及关于一个或更多个触发的信息中的一个或更多个。(iii)生成第一消息，其中，所生成的第一消息是基于所述手势识别模块的初始识别模式和检测的手势确定的。在本专利技术的接口系统中，所述手势识别模块还可被配置为分析由一个或更多个传感器生成的信号，并且所述手势将根据对传感器信号的分析来检测。所述手势识别模块的多个识别模式中的一个或更多个可由以下项来定义：(a)待检测的一个或更多个预定义手势、用于待检测的一个或更多个预定义手势中的每一个的消息以及在所述手势识别模块上有效的一个或更多个算法；以及(b)用于待检测的一个或更多个预定义手势中的每一个的第二识别模式、由所述图像传感器捕获的图像的分辨率以及由所述图像传感器捕获的图像的捕获率中的任一个或更多个。在本专利技术的接口中，所述接口系统可具有两个或更多个接口模式，并且各个接口模式取决于所述手势识别模块的识别模式以及来自向所述手势识别模块提供信息感知信息的预定义传感器集合的一个或更多个有效的传感器。各个接口模式可确定来自一个或更多个传感器的将由所述手势识别模块分析的一个或更多个信号。所述接口模式可取决于态势感知信息和第一消息中的一者或二者。所述接口模式的改变可生成针对所述第一装置、在所述第一装置上运行的应用、在所述第一装置上运行的服务以及在所述第一装置上运行的操作系统中的一个或更多个的第三消息。所述第三消息可包括针对所述第一装置、在所述第一装置上运行的应用、在所述第一装置上运本文档来自技高网...

【技术保护点】
一种用于基于用户行为来控制车辆操作的装置，该装置包括：至少一个处理器；以及存储器，该存储器存储指令，其中，所述至少一个处理器被配置成执行所存储的指令以进行包括以下各项的操作：从与设备关联的一个或更多个图像传感器接收图像数据；启动以至少第一模式和第二模式处理来自所述一个或更多个图像传感器的所述图像数据，其中，至少所述第二模式与涉及用户行为的用户信息关联；识别身体部位的姿态、身体部位的形状、身体部位的位置或身体部位的取向；基于识别操作将所述设备的识别模式从第一识别模式改变为第二识别模式；以及生成与向所述第二识别模式的所述改变关联的消息，以指示检测到涉及用户行为的第二组用户信息。

【技术特征摘要】
2011.08.11 US 61/522,288;2011.08.11 US 61/522,283;1.一种用于基于用户行为来控制车辆操作的装置，该装置包括：至少一个处理器；以及存储器，该存储器存储指令，其中，所述至少一个处理器被配置成执行所存储的指令以进行包括以下各项的操作：从与设备关联的一个或更多个图像传感器接收图像数据；启动以至少第一模式和第二模式处理来自所述一个或更多个图像传感器的所述图像数据，其中，至少所述第二模式与涉及用户行为的用户信息关联；识别身体部位的姿态、身体部位的形状、身体部位的位置或身体部位的取向；基于识别操作将所述设备的识别模式从第一识别模式改变为第二识别模式；以及生成与向所述第二识别模式的所述改变关联的消息，以指示检测到涉及用户行为的第二组用户信息。2.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为检测组合姿态，其中，该组合姿态包括间隔内的一个或更多个实例上所述身体部位的姿态；以及所述至少一个处理器基于识别出所述组合姿态来改变所述设备的所述识别模式。3.根据权利要求1所述的装置，其中，所述设备是车辆；所述至少一个处理器还被配置为获得涉及所述身体部位的所述姿态的信息和涉及所述车辆的运动的信息；以及至少部分基于涉及所述身体部位的所述姿态的所述信息和涉及所述车辆的所述运动的所述信息，将所述设备的所述识别模式从所述第一识别模式改变为所述第二识别模式。4.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为：获得涉及所述身体部位的所述姿态的信息和涉及一个或更多个触发的信息；以及至少部分基于涉及所述身体部位的所述姿态的所述信息和涉及一个或更多个触发的所述信息，将所述设备的所述识别模式从所述第一识别模式改变为所述第二识别模式。5.根据权利要求1所述的装置，其中，基于所述身体部位的所述形状、所述身体部位的位置和所述身体部位的取向中的两项或更多项来检测所述身体部位的所述姿态。6.根据权利要求1所述的装置，其中，至少一个身体部位从脸部、一只或两只眼睛、手、手的一部分或手的姿势来选择。7.根据权利要求1所述的装置，其中，在所述识别操作之后，所述第二识别模式保持有效达预定时间段。8.根据权利要求1所述的装置，其中，在所述第一模式下接收到的信息的量大于在所述第二模式下接收到的信息的量。9.根据权利要求8所述的装置，其中，所述信息的量与所接收到的图像数据的帧速率或图像分辨率关联。10.根据权利要求1所述的装置，其中，所述处理器还被配置为：接收所述身体部位的在预定时间段上的一系列深度图；以及基于所接收到的一系列深度图，检测至少一个身体部位的运动的方向或速度。11.根据权利要求1所述的装置，其中，所生成的消息被寻址到所述设备、所述设备的操作系统、或所述设备的处理器上运行的一个或更多个应用。12.根据权利要求1所述的装置，其中，所述处理器还被配置为：检测第一身体部位和第二身体部位；比较所述第一身体部位和所述第二身体部位之...

【专利技术属性】
技术研发人员：I·卡茨，N·伊斯拉埃尔，T·阿纳维，S·格罗菲特，I·巴尔犹瑟夫，
申请(专利权)人：视力移动技术有限公司，
类型：发明
国别省市：以色列,IL