当前位置: 首页 > 专利查询>苹果公司专利>正文

自主车辆的基于手势的控制制造技术

技术编号:20881807 阅读:24 留言:0更新日期:2019-04-17 13:10
检测到用于发起与车辆的乘员的基于手势的交互会话的触发条件。显示器填充有针对与车辆相关联的操作的一个或多个选项的表示。至少部分地基于对由乘员生成的一个或多个信号例如手势的分析,来选择特定选项用于具体实施。提供该特定选项已被选择的指示,并且发起对应于该特定选项的操作。

【技术实现步骤摘要】
【国外来华专利技术】自主车辆的基于手势的控制
本公开整体涉及用于使用手势和乘员生成的其他信号来控制自主或部分自主车辆的运动的系统和算法。
技术介绍
能够感知其环境并且在很少或没有来自乘员的持续输入的情况下导航到目的地的机动车辆因此被称为“自主”或“自动驾驶”车辆,是研究和开发的日益重点。考虑到在现实世界环境中通常可用于车辆轨迹的多种选择,关于选择车辆轨迹的乘员输入或指导(不需要传统的转向、制动、加速等)对于此类车辆的运动控制部件可能是非常有价值的。然而,提供针对此类指导的直观且易于使用的界面可能呈现非常重要的挑战。
技术实现思路
描述了用于自主或半自主车辆的基于手势的控制的方法和装置的各种实施方案。在至少一些实施方案中,方法可包括一个或多个计算设备,其检测到已经满足用于发起关于车辆乘员的基于手势的交互会话的触发条件。在一些实施方案中,检测到已经满足触发条件本身可包括分析或匹配由个人在交互区(乘员附近的三维区,其边界可以定制)内做出的特定手势或身体姿势。在其他实施方案中可以使用发起交互会话的其他模式,诸如使用有声命令,并且在一些实施方案中可以使用不同模态(例如,语音、手势、注视方向等)的信号的组合。该方法还可包括识别与车辆相关联的操作的一个或多个选项,其可是参与会话的乘员感兴趣的。可在不同的实施方案中识别各种各样的操作的选项,包括例如通过另一车辆、使车辆加速、使车辆减速、停放车辆、改变车辆移动的方向,或者生成在车辆外部可检测到的信号。可至少部分地基于对从车辆的外部环境收集的信号的分析来识别至少一些选项-例如,使用一个或多个相机或其他传感器。例如,基于车辆的位置和外部环境的视图,将车辆停放在特定建筑物(如餐厅或零售店)附近、将车辆转向另一条道路、进入或离开高速公路入口等等的选项可被识别。该方法可包括用至少一些选项的相应表示来填充显示器。在一些情况下,可基于例如上下文信息(诸如一天中的时间、车辆的各种部件诸如汽油箱或电池的状态等)、个人简档或者乘员的喜好等为所识别的选项分配相应的兴趣得分或相关性得分。从所识别的多个选项中,最初可至少显示子集的表示(例如基于得分所选择的);如果第一子集不包括乘员希望实施的选项,则可显示附加选项。至少部分地基于对乘员所做出的特定手势的分析(例如,交互区内的轻扫手势,或交互区内的手部的一些其他类型的位移),和/或来自该交互区的一些其他信号,来自乘员的一些其他信号,可选择一个或多个选项的特定选项用于具体实施。可提供所选择的特定选项的指示(例如,通过在显示器上突出显示该选项的表示),并且可发起对应于特定选项的操作。在一些实施方案中,在向乘员指示该选择之后,在发起相应操作之前可能需要确认或批准所选选项的另一手势或信号。在不同的实施方案中可使用各种显示器,诸如结合在车辆内或附接到车辆的抬头显示器、三维显示器、可由乘员佩戴的可穿戴设备(诸如增强现实头戴式耳机或眼镜)的显示器、电视屏幕或便携式计算设备的显示器。在一些实施方案中,即使在交互会话未进行的时间段期间,也可识别与车辆相关联的操作的选项。在一些此类实施方案中,除非已经开始交互会话,否则可在显示器上提供选项的灰色或不再强调表示;一旦会话正在进行,可显示选项的增强表示而不是不再强调的表示。已经选择特定选项的指示可包括,例如,以下项中的一者或多者:在显示器上突出显示特定选项的表示、提供音频消息,或显示文本串。在各种实施方案中,可使用附加手势或信号明确地终止交互会话。当会话不在进行中时,在各种实施方案中可能不执行对乘员生成的至少一些信号的跟踪和/或分析。在一些实施方案中,选项表示在显示器上的相对定位可至少部分地基于外部环境中对应实体的相对空间位置。例如,如果在道路左侧的百货商店停车是为车辆识别的一个选项,并且在道路右侧的加油站停车是另一种选择,则百货商店选项的表示可放置在显示器上加油站选项表示的左侧。根据一些实施方案,系统可包括一个或多个传感器设备和一个或多个交互管理设备。交互管理设备可至少部分地基于在一个或多个传感器设备处收集的数据来检测已经满足触发条件以用于发起关于车辆的乘员的基于手势的交互会话。可识别对应于与车辆相关联的操作的一组选项,诸如对车辆轨迹的若干可能的改变。可通过显示器向乘员提供至少一些选项的表示。至少部分地基于对使用在一个或多个传感器设备处收集的数据来检测的乘员所做出的特定手势的分析,可选择一个或多个选项的特定选项用于具体实施。可向乘员提供已经选择了特定选项的指示,并且可发起与特定选项相对应的操作。根据另一实施方案,非暂态计算机可访问存储介质可存储程序指令,该程序指令在一个或多个处理器上执行时检测到已经满足触发条件以发起关于车辆乘员的基于手势的交互会话。可识别对应于与车辆相关联的操作的一个或多个选项。可用至少一些选项的表示来填充显示。至少部分地基于对从乘员获得的特定手势或一些其他信号的分析,可选择其中一个选项用于具体实施。可向乘员提供选择的指示,并且可发起对应于特定选项的操作。附图说明图1示出了根据至少一些实施方案的示例系统环境,其中诸如自主车辆的轨迹变化的操作可至少部分地通过手势来引导。图2示出了根据至少一些实施方案的包括多个传感器的示例性车辆环境,所述多个传感器可收集可被分析以响应来自车辆乘员的手势或其他信号的数据。图3a和图3b示出了根据至少一些实施方案的可用于从针对车辆的移动显示的选项中进行选择的手势的示例。图4a、图4b和图4c示出了根据至少一些实施方案的可用于发起和终止交互会话的手势的示例。图5示出了根据至少一些实施方案的交互元数据条目的示例内容。图6示出了根据至少一些实施方案的示例场景,其中车辆操作的选项可以相对于彼此排名。图7示出了根据至少一些实施方案的示例时间线,该时间线示出了即使交互会话未在进行中也可识别车辆操作的选项的时间段。图8示出了根据至少一些实施方案的交互管理设备的示例子组件,其分析多模态信号以显示和选择一个或多个个人感兴趣的操作的选项。图9是示出根据至少一些实施方案的可在实现基于手势的显示和车辆操作选项的选择的系统处执行的操作的各方面的流程图。图10示出了根据至少一些实施方案的示例场景,其中可在建筑物的房间内执行基于手势的显示和操作选择。图11是示出可在至少一些实施方案中使用的示例计算设备的框图。尽管这里通过举例的方式针对若干实施方案和说明性附图描述了实施方案,但是本领域技术人员将认识到,实施方案不限于所描述的实施方案或附图。应当理解,附图和对其的详细描述不旨在将实施方案限制为所公开的特定形式,而相反,本专利技术旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的,并不旨在用于限制说明书或权利要求书的范围。如在整个本专利申请中所使用的那样,以允许的意义(即,意味着具有可能性)而非强制的意义(即,意味着必须)使用字词“可”。类似地,字词“包括”意味着包括但不限于。当在权利要求中使用时,术语“或”用作包含性的而不是排他性的或。例如,短语“x,y或z中的至少一者”表示x,y和z中的任何一者,以及它们的任何组合。具体实施方式图1示出了根据至少一些实施方案的示例系统环境,其中诸如自主车辆的轨迹变化的操作可至少部分地通过手势来引导。如图所示,系统100可包括几种类型的信号检本文档来自技高网...

【技术保护点】
1.一种方法,包括:在一个或多个计算设备处执行:检测用于发起关于车辆的乘员的基于手势的交互会话的触发条件已被满足;用针对与所述车辆相关联的操作的一个或多个选项的相应表示来填充显示器,其中所述一个或多个选项中的至少一个选项至少部分地基于对从所述车辆的外部环境获得的一个或多个信号的分析;至少部分地基于对由所述乘员做出的特定手势的分析来选择用于实现对应操作的所述一个或多个选项中的特定选项;提供所述特定选项已被选择的指示;以及使得对应于所述特定选项的操作被发起。

【技术特征摘要】
【国外来华专利技术】2016.09.21 US 62/397,805;2017.09.19 US 15/709,3891.一种方法,包括:在一个或多个计算设备处执行:检测用于发起关于车辆的乘员的基于手势的交互会话的触发条件已被满足;用针对与所述车辆相关联的操作的一个或多个选项的相应表示来填充显示器,其中所述一个或多个选项中的至少一个选项至少部分地基于对从所述车辆的外部环境获得的一个或多个信号的分析;至少部分地基于对由所述乘员做出的特定手势的分析来选择用于实现对应操作的所述一个或多个选项中的特定选项;提供所述特定选项已被选择的指示;以及使得对应于所述特定选项的操作被发起。2.根据权利要求1所述的方法,其中所述检测所述触发条件已被满足包括确定以下项中的一者或多者:(a)所述乘员的肢体的至少一部分已进入交互区或(b)所述乘员的肢体的至少一部分已在交互区内保持阈值时间间隔。3.根据权利要求1所述的方法,其中所述检测所述触发条件已被满足包括检测以下项中的一者或多者:(a)语音命令,(b)注视方向,或(c)所述乘员的身体移动。4.根据权利要求1所述的方法,其中所述显示器包括以下项中的一者或多者:(a)结合在所述车辆内或附接到所述车辆的抬头显示器,(b)三维显示器,(c)正由所述乘员穿戴的可穿戴设备的显示器或(d)便携式计算设备的显示器。5.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行:在检测所述触发条件已被满足之前,识别所述一个或多个选项中的至少第一选项;以及在检测所述触发条件已被满足之前,经由所述显示器至少提供所述第一选项的不强调的表示;以及在检测所述触发条件已被满足之后,在所述显示器上提供所述第一选项的增强表示。6.根据权利要求1所述的方法,其中所述特定手势的所述分析包括识别所述乘员的手部相对于所述手部的初始位置的位移的方向。7.根据权利要求1所述的方法,其中所述提供所述特定选项已被选择的所述指示包括以下项中的一者或多者:(a)在所述显示器上突出显示所述特定选项的表示,(b)提供音频消息,或(c)显示文本字符串。8.根据权利要求1所述的方法,其中对应于所选择的选项的所述操作包括以下项中的一者:(a)经过另一车辆,(b)使所述车辆加速,(c)使所述车辆减速,(d)停放所述车辆,(e)改变所述车辆移动的方向,或(f)生成能够在所述车辆外部检测到的信号。9.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行:响应于检测到用于终止所述基于手势的交互会话的触发条件已被满足,停止对由所述乘员生成的一个或多个信号的分析。10.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行:在所述车辆的外部环境内识别多个实体,包括第一实体和第二实体;相对于所述第一实体,生成针对与所述车辆相关联的操作的第一选项;以及相对于所述第二实体,生成针对与所述车辆相关联的不同操作的第二选项;以及其中所述填充所述显示器包括:至少部分地基于在所述外部环境中所述第一实体相对于所述第二实体的相对空间位置来使用所述显示器相对于所述第二选项的第二表示定位所述第一选项的第一表示。11.一种系统,包括:一个或多个传感器;和一个或多个交互管理设备;其中所述一个或多个交互管理设备被配置为:至少部分地基于在所述一个或多个传感器处收集的数据来检测用于发起关于车辆的乘...

【专利技术属性】
技术研发人员:S·M·赫兹K·巴尔克NC·李
申请(专利权)人:苹果公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1