【技术实现步骤摘要】
使用多模态信号分析进行命令处理
[0001]本申请是申请日为2017年8月15日、申请号为201780050117.2、题为“使用多模态信号分析进行命令处理”的专利技术专利申请的分案申请。
[0002]本公开整体涉及被设计用于检测和响应自然人类移动和会话查询的系统,并且更具体地涉及被设计用于识别个体所关注的实体并对其采取动作的系统,识别方法是利用从若干类型信号(诸如,姿态和注视方向)的组合得到的可能不精确的提示。
技术介绍
[0003]若干系统(包括一些计算机游戏系统)已经实现检测特定类型的人类姿态或移动的技术。然而,在许多情况下,这些系统中对移动和语音的解释通常限于非常特定的领域(诸如,正在播放的特定游戏,或需要握在手中的特定输入设备的移动)和位置(例如,与系统交互的个体可能必须位于单个房间中的特定相机角度范围内)。尽管一些虚拟现实系统可使得用户能够沉浸在选定环境中,但可在此类系统内使用自然人类行为以用于一般目的的程度也受到最大的限制。
技术实现思路
[0004]本专利技术描述了用于使用多模态信号分析来处理个人的(例如,以自然语言表达的)命令和查询的方法和装置的各种实施方案。在至少一些实施方案中,该方法可包括在至少特定时间间隔期间获取与第一信号模态(例如,个体注视的方向)相对应的第一组信号。该方法还可包括获取与不同信号模态(诸如,手指向姿态或头部移动诸如点头)相对应的第二组信号。在一些实施方案中,获取的数据组中的一者或两者可包括定时信息,例如,数据组中可指出作出各种姿态或注视方向保持稳定一段 ...
【技术保护点】
【技术特征摘要】
1.一种用于计算的方法,包括:在一个或多个计算设备处,执行以下操作:在至少第一时间间隔期间使用多个传感器设备中的一个或多个传感器设备从个体获取指示第一信号模态和第一方向的第一数据组,其中第一数据组至少包括指示注视的第一信号和指示姿态的第二信号;在至少第二时间间隔期间使用传感器设备中的一个或多个从所述个体获取指示第二信号模态的第二数据组,所述第二时间间隔至少部分地与所述第一时间间隔重叠;响应于命令至少部分地基于对所述第一数据组和所述第二数据组的分析,识别所述个体所关注的一个或多个候选对象,其中所述命令不决定性地识别所述命令指向的所关注的特定对象,其中所述分析包括确定所述姿态指向角度范围内并且所述注视指向所述姿态的所述角度范围内的注视方向,并且其中至少部分地基于所述姿态的所述角度范围和所述注视方向的组合来识别所关注的所述一个或多个候选对象;以及使得操作被执行,所述操作包括经由一个或多个相机中的至少一个捕获所关注的所述一个或多个候选对象中的第一选定候选对象的照片或视频。2.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行以下操作:将所述第一数据组的至少子组存储在缓冲器中,其中所述子组对应于与所述第一信号模态相关联的缓冲间隔,并且其中所述分析包括检查所述缓冲器的内容。3.根据权利要求1所述的方法,其中所述第一数据组或所述第二数据组中的至少一个数据组包括指示以下各项中的一者或多者的信号:手指向姿态、头部取向或移动、躯干取向或移动、使用除手之外的身体部位作出的姿态、面部表情、一个或多个语音标记或无意识的生理反应。4.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行以下操作:响应于不决定性地识别所述命令指向的所关注的特定对象的所述命令,将第二数据组的表示传输至一个或多个远程计算资源以执行分析,以及在所述一个或多个计算设备处接收在所述一个或多个远程计算资源处执行的所述分析的结果,其中,所述识别包括至少部分地基于所述姿态的所述角度范围和所述注视方向的组合以及至少部分地基于在所述一个或多个远程计算资源处执行的分析的结果来识别所述个体所关注的所述一个或多个候选对象;以及/或者其中,所述一个或多个传感器设备包括以下中的一者或多者:便携式设备、惯性传感器、超声信号检测器、雷达信号检测器、非相机光学传感器或EMG肌电图传感器,其中所述便携式设备包括可穿戴设备或智能电话。5.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行以下操作:至少部分地基于对以下各项的分析来确定所述命令:(a)第二数据组的一个或多个语音信号;(b)经由触摸屏界面接收的一个或多个信号;或(c)以手语表达的一个或多个信号。6.根据权利要求1所述的方法,其中与所关注的所述第一选定候选对象相关联的所述操作包括以下各项中的一者或多者:(a)经由图形显示或自动语音指示所述第一选定候选对象的名称;(b)翻译与所述第一选定候选对象相对应的一个或多个字词或符号;或(c)发
起车辆的停放。7.根据权利要求1所述的方法,还包括由所述一个或多个计算设备执行以下操作:确定所述命令包括所关注的对象的非精确指示符,其中所述非精确指示符包括以下各项中的一者或多者:(a)指示代词;或(b)相对地点的副词。8.一种用于计算的系统,包括:一个或多个传感器设备;和一个或多个命令处理设备;其中所述一个或多个传感器设备被配置为:在至少第一时间间隔的部分期间从个体收集指示第一信号模态和第一方向的第一数据组,其中第一数据组至少包括指示注视的第一信号和指示姿态的第二信号;在至少第二时间间隔期间从所述个体收集指示第二信号模态的第二数据组,所述第二时间间隔至少部分地与所述第一时间间隔重叠;并且其中所述一个或多个命令处理设备被配置为:响应于确定已发出命令,至少部分地基于对所述第一数据组和所述第二数据组的分析,识别所述个体所关注的一个或多个候选对象,其中所述命令不决定性地识别所述命令指向的所关注的特定对象,其中所述分析包括确定所述姿态指向角度范围内并且所述注视指向所述姿态的所述角度范围内的注视方向,并且其中至少部分地基于所述姿态的所述角度范围和所述注视方向的组合来识别所关注的所述一个或多个候选对象;以...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。