运载工具的多模态用户接口制造技术

本文描述的一些实施例涉及用于汽车的多模态用户接口。多模态用户接口可以诸如通过在汽车的挡风玻璃上投影信息等在挡风玻璃上显示信息，并且可以经由多个模态接受来自用户的输入，多个模态可以包括语音接口以及其它接口。其它接口可以包括允许用户通过指示角度来提供几何输入的接口。在一些实施例中，用户可以使用多个不同的输入模态来定义要进行的任务。例如，用户可以经由语音接口提供描述用户请求进行的任务的语音输入，并且可以经由一个或多个其它接口提供与该任务相关的几何参数。多模态用户接口可以根据输入来确定任务和几何参数。

【技术实现步骤摘要】
【国外来华专利技术】运载工具的多模态用户接口
本文描述的一些实施例涉及经由多种模态接受输入的多模态用户接口。在一些实施例中，多模态用户接口可以是汽车的接口，诸如允许用户在汽车的挡风玻璃上显示信息和/或与在汽车的挡风玻璃上显示的信息交互的用户接口等。在一些实施例中，多模态用户接口可以经由描述要进行的任务的一个输入模态(例如，语音)来接收输入，并且还经由一个或多个其它模态来接收该任务的一个或多个参数的输入。在这样的参数是几何参数(诸如方向参数等)的情况下，可以从用于检测由用户指示的角度(诸如从用户正指向的角度和/或用户正观看的角度)等的模态接收输入。
技术介绍
可以经由汽车的一个或多个用户接口向汽车的驾驶员和乘客显示信息。例如，可以在汽车的仪表板上的一个或多个仪表上显示指示与汽车的状态有关的信息(诸如与汽车的速度、剩余燃料量或发动机状态有关的信息等)的仪表。作为另一示例，可以经由接口显示与汽车的环境控制有关的信息，或者可以经由接口显示与汽车的音频系统有关的信息。在包括导航系统的汽车中，可以经由接口显示导航信息。
技术实现思路
在一个实施例中，提供一种操作汽车的多模态用户接口的方法。所述方法包括：从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务，所述任务与所述汽车的挡风玻璃上的信息的显示相关；从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及根据所述任务来更新所述汽车的挡风玻璃上的信息的显示。在另一实施例中，提供至少一个计算机可读存储介质，其用计算机可执行指令编码，所述计算机可执行指令在由计算机执行时使得所述计算机执行操作汽车的多模态用户接口的方法。所述方法包括：从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务；从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及根据所述任务来控制信息的输出。在另一实施例中，提供一种设备，包括：至少一个处理器；以及至少一个计算机可读存储介质，其用计算机可执行指令编码，所述计算机可执行指令在由计算机执行时使得所述计算机执行操作运载工具的多模态用户接口的方法。所述方法包括：从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务；从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及根据所述至少一个几何参数来进行所述任务。以上是由所附权利要求书限定的本专利技术的非限制性总结。附图说明附图不旨在按比例绘制。在附图中，各种附图中示出的各个相同或几乎相同的组件由相同的数字表示。为了清楚起见，可能没有在每个图上标注每个组件。在图中：图1描绘了一些实施例可以操作的多模态用户接口的示例；图2是多模态接口系统的示例的一些说明性组件的概述；图3是可以在一些实施例中实现以根据由用户提供的多模态输入来进行任务的处理的流程图；图4A和4B是可以在一些实施例中实现以识别由用户提供的非语音输入指示的位置的处理的流程图；图5是可以在一些实施例中实现以确定用户使用哪个模态提供非语音输入的处理的流程图；图6A和6B是可以在一些实施例中实现以识别与语音输入中包括的歧义相对应的非语音输入的处理的流程图；图7是可以在一些实施例中实现以从用户接收多个位置的非语音输入(诸如指示形状等)的处理的流程图；图8是可以在一些实施例中实现以从用户接收大小或其它尺寸的非语音输入的处理的流程图；图9是可以在一些实施例中实现以生成用于多模态接口的增强现实(AR)显示的处理的流程图；图10是可以在一些实施例中实现以在运载工具的操作过程中生成驾驶员的注视位置的热图的处理的流程图；以及图11是一些实施例可以操作的计算装置的一些示例性组件的框图。具体实施方式本文描述的一些实施例涉及用于汽车的多模态用户接口。多模态用户接口可以在汽车的挡风玻璃上显示信息，诸如通过在挡风玻璃上投影信息等，并且可以经由多个模态接受来自用户的输入，多模态用户接口可以包括语音接口以及其它接口。其它接口可以包括允许用户诸如通过指示位置等来提供几何输入的接口。例如，其它接口可以包括用于监视用户的注视并确定用户每次观看的角度的注视检测接口，其中该角度在用户想要指示的位置的方向上。作为另一示例，其它接口可以包括用于监视用户的手势并确定用户每次做出手势的角度的手势识别接口，其中该角度在用户想要指示的位置的方向上。在一些实施例中，用户可以使用经由多种不同输入模态提供的输入来定义要进行的任务。例如，用户可以经由语音接口提供描述用户正请求进行的任务的语音输入，并且可以经由一个或多个其它接口提供与该任务有关的几何参数。多模态用户接口可根据输入来确定任务和几何参数并进行该任务，这可以包括根据该任务更新挡风玻璃上的信息的显示。在一些实施例中，任务可以涉及挡风玻璃上的信息显示，诸如将所显示的信息从一个位置移动到另一位置或请求在一个位置处新显示信息。在一些这样的情况下，用户可以经由语音接口提供对信息的移动的请求或对信息的新显示的请求，并且可以经由注视检测接口和/或手势识别接口提供要显示信息的位置。在一些其它实施例中，任务可以涉及在汽车的环境中获得与汽车外部的对象有关的信息。在一些这样的情况下，用户可以经由语音接口提供对与环境中的对象有关的信息的请求，并且可以通过观看环境中的对象或做手势来利用经由注视检测接口和/或手势识别接口提供的输入来指示对象。在一些这样的实施例中，用户可以通过在特定方向上观看或做手势来经由注视检测接口和/或手势识别接口提供这样的位置，该特定方向可以由非语音接口作为输入角度来接收。多模态用户接口可以结合诸如三维模型等的模型来分析角度，以确定模型中的沿着用户所指示的角度的线将与对象相交处的点。模型可以是例如汽车的模型，并且对象可以是汽车的挡风玻璃，使得用户可以通过朝挡风玻璃上的位置观看或做手势来指示挡风玻璃上的位置。作为另一示例，模型可以是汽车在接收到语音输入的至少一部分的时间所行驶的环境的模型，并且对象可以是环境中的对象，使得用户可以通过朝向环境中的对象观看或做手势来识别该对象。本专利技术人已认识并理解，汽车的传统用户接口与可能对该汽车或其它汽车的驾驶员或乘客造成伤害或损坏该汽车或其它财产的潜在汽车碰撞的不可接受的大风险相关联。这种碰撞可能在汽车的驾驶员由于传统用户接口的操作而分散注意力时发生，并且在操作传统用户接口的同时，较少注意到驾驶汽车。本专利技术人还认识并理解，如果用于汽车的用户接口对于用户而言更简单地操作，这将是有利的。例如，如果用户接口允许操作该接口的驾驶员将他或她的眼睛从道路上移开比传统用户接口更短的时间，则可以降低碰撞的风险。作为另一示例，如果用户接口允许驾驶员在查看用户接口中的信息的同时将他或她的眼睛保持在道路上，则可以降低碰撞的风险。作为另一示例，如果驾驶员不需要操作用户接口的物理按钮或开关来提供输入，而是可以用他或她的发音和其它输入模态提本文档来自技高网...

【技术保护点】
1.一种操作汽车的多模态用户接口的方法，所述方法包括：/n从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务，所述任务与所述汽车的挡风玻璃上的信息的显示相关；/n从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及/n根据所述任务来更新所述汽车的挡风玻璃上的信息的显示。/n

【技术特征摘要】
【国外来华专利技术】20190107 US 16/241,7671.一种操作汽车的多模态用户接口的方法，所述方法包括：
从经由所述多模态用户接口的语音接口所提供的语音输入来确定用户正在请求进行的任务，所述任务与所述汽车的挡风玻璃上的信息的显示相关；
从所述多模态用户接口的至少一个其它输入模态来确定与所述任务相关的至少一个几何参数；以及
根据所述任务来更新所述汽车的挡风玻璃上的信息的显示。


2.根据权利要求1所述的方法，其中，从所述至少一个其它输入模态来确定所述至少一个几何参数包括至少部分地基于经由所述至少一个其它输入模态从用户接收的输入所指示的角度来确定位置。


3.根据权利要求2所述的方法，其中：
所述至少一个其它输入模态包括注视检测；
经由所述至少一个其它输入模态从用户接收的输入包括用户的注视，并且输入所指示的角度是使用注视检测所检测到的用户的注视的角度；以及
至少部分地基于所述角度来确定所述位置包括至少部分地基于用户的注视的角度来确定所述位置。


4.根据权利要求2所述的方法，其中：
所述至少一个其它输入模态包括手势识别；
经由所述至少一个其它输入模态从用户接收的输入包括用户的手势，并且输入所指示的角度是使用手势识别所检测到的用户的手势的角度；以及
至少部分地基于所述角度来确定所述位置包括至少部分地基于用户做手势的角度来确定所述位置。


5.根据权利要求2所述的方法，其中，至少部分地基于所述角度来确定所述位置包括：
使用模型来确定所述模型中的沿着所述角度的线将与所述模型中的对象相交处的点；以及
根据所述模型中的所述线将与所述对象相交处的点来确定所述位置。


6.根据权利要求5所述的方法，其中：
所述模型是所述汽车的三维模型；
所述模型中的对象是所述汽车的挡风玻璃；以及
所述模型中的所述线将与所述对象相交处的点是所述挡风玻璃上的点。


7.根据权利要求5所述的方法，其中：
所述模型是所述汽车在与所述语音输入的至少一部分相对应的时间正在行驶的环境的三维模型；
所述模型中的对象与所述环境中的对象相对应；以及
所述模型中的所述线将与所述对象相交处的点与所述环境中的对象上的点相对应。


8.根据权利要求2所述的方法，其中：
至少部分地基于所述角度来确定所述位置包括基于沿着所述角度的线与所述汽车的所述挡风玻璃的交点来确定所述挡风玻璃上的挡风玻璃位置；以及
更新所述汽车的所述挡风玻璃上的信息的显示包括更新所述挡风玻璃位置处的信息的显示。


9.根据权利要求8所述的方法，其中，更新所述挡风玻璃位置处的信息的显示包括将所述多模态用户接口中的信息的显示从所述挡风玻璃上的先前位置移动到从所述角度所确定的所述挡风玻璃位置。


10.根据权利要求8所述的方法，其中：
与所述挡风玻璃上的信息的显示相关的任务是在所述挡风玻璃上显示在用户提供所述语音输入时未在所述挡风玻璃上显示的所请求信息的请求；以及
更新所述挡风玻璃位置处的信息的显示包括将所请求信息显示...

【专利技术属性】
技术研发人员：穆罕默德·M·莫尼里，N·伦克，
申请(专利权)人：塞伦妮经营公司，
类型：发明
国别省市：美国;US