交通工具数据关联设备及其方法技术

本发明专利技术涉及交通工具数据关联设备及其方法。一种交通工具数据关联设备，包括：内部音频/图像数据分析器，被配置成用于接收表示来自交通工具内部的音频或来自交通工具内部的图像中的至少一者的第一数据；在第一数据内标识表示音频指示符或图像指示符的第二数据，其中音频指示符是与交通工具外部对象的重要性相关联的人类语音，并且其中图像指示符是与交通工具外部对象的重要性相关联的交通工具内部的人类的动作；外部图像分析器，被配置成用于接收表示交通工具外部附近区域的图像的第三数据；在第三数据内标识与音频指示符或视频指示符中的至少一者相对应的对象；以及对象数据生成器，被配置成用于生成与该对象相对应的数据。数据。数据。

【技术实现步骤摘要】
交通工具数据关联设备及其方法


[0001]本公开的各个方面涉及来自图像数据的语音识别和基于语音的对象识别。

技术介绍

[0002]自主交通工具和部分自主交通工具通常依赖于多个传感器来检测与交通工具周围环境有关的信息，并基于该信息来做出驾驶决策。此类传感器可能包括例如多个相机、一个或多个光检测与测距(LIDAR)系统、一个或多个无线电检测与测距(Radar)系统、麦克风、加速计和/或位置传感器。由于这些传感器生成大量的数据，因此可能需要自主交通工具对这些大量的数据进行解析以用于其驾驶操作。
[0003]处理这些数据的一个特定挑战是在相关传感器数据与不相关传感器数据之间进行辨别的能力。人工神经网络(ANN)被越来越多地用于处理传感器数据和达成驾驶决策。人工神经网络可能特别适于该项任务，因为人工神经网络可以被配置成用于接收和快速解析大量的数据。
[0004]然而，成功实现用于此类传感器数据的解析的ANN需要大量的训练。一个特别具有挑战性的任务是教导ANN在相关的传感器数据与不相关的传感器数据之间进行区分。换言之，虽然人类驾驶员可能能够相对容易地区分相关的视觉或听觉信息，但ANN在没有附加训练的情况下可能无法做到这一点。
附图说明
[0005]在附图中，贯穿不同的视图，相同的附图标记一般指代相同部分。这些附图不一定是按比例的，而是一般着重于说明本公开的示例性原理。在下列描述中，参照下列附图描述本公开的各个示例性方面，在附图中：图1示出根据本公开的各个方面的示例性自主交通工具；图2示出根据本公开的各个方面的交通工具的安全性系统的各种示例性电子组件；图3描绘了配置有多个传感器的示例性交通工具；图4描绘了根据本公开的一方面的交通工具内部400；图5描绘了基于人类语音的对象标注算法；图6描绘了注视被用来标识对象的示例；图7描绘了根据本公开的一方面的眼睛注视检测器；图8示出了根据本公开的一方面的镜向注视的计算；图9描绘了手部姿势检测器，该手部姿势检测器可以被配置成用于检测一个或多个手部姿势或手部位置；图10描绘了根据本公开的一方面的数据合成器和标注器；图11描绘了根据本公开的一方面的数据存储设备；图12描绘了根据本公开的一方面的交通工具数据关系设备；以及
图13描绘了交通工具数据关联的方法。
具体实施方式
[0006]下列具体实施方式引用附图，这些附图通过说明的方式示出示例性细节以及本公开可在其中实施的各方面。
[0007]在本申请中使用词“示例性”来意指“充当示例、实例或说明”。在本申请中被描述为“示例性”的任何方面或设计不一定被解释为相对于其它方面或设计为优选的或有优势的。
[0008]贯穿附图，应注意，除非另有说明，否则相同的附图标记用于描绘相同或相似的要素、特征和结构。
[0009]短语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如，一个、两个、三个、四个、[...]等)。关于一组要素的短语“至少一个”在本文中可用于意指来自由要素组成的组的至少一个要素。例如，关于一组要素的短语
“……
中的至少一个”在本文中可用于意指以下各项中的选择：所列要素中的一个、多个的所列要素中的一个要素、多个个体所列要素、或多个的数个个体所列要素。
[0010]说明书和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此，任何明确地援引上述词语来指代某个数量的要素的短语(例如，“复数个[要素]”、“多个[要素]”)明确地指代多于一个的所述要素。例如，短语“多个(a plurality)”可被理解为包括大于或等于二的数量(例如，两个、三个、四个、五个、[...]等)。
[0011]说明书中和权利要求书中的短语“(
……
的)组”、“(
……
的)集”、“(
……
的)集合”、“(
……
的)系列”、“(
……
的)序列”、“(
……
的)分组”等(如果存在)指代等于或大于一的量，即一个或多个。术语“适当的子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集，说明性地，指代集合的包含比该集合少的元素的子集。
[0012]如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息，例如，作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地，术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而，术语“数据”不限于上述示例，并且可采取各种形式并表示如本领域中理解的任何信息。
[0013]例如，如本文中所使用的术语“处理器”或“控制器”可被理解为允许处置数据的任何种类的技术实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地，如本文中所使用的处理器或控制器可被理解为任何种类的电路，例如任何种类的模拟或数字电路。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等、或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理器、控制器或逻辑电路。应理解，本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能的单个实体等等，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能的两个(或更多个)分开的实体等等。
[0014]如本文中所使用，“存储器”被理解为数据或信息可以被存储在其中以供检取的计算机可读介质(例如，非暂态计算机可读介质)。对本文中所包括的“存储器”的引用可因此被理解为是指易失性或非易失性存储器，包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱、3D XPoint
TM
等等、或其任何组合。在本文中，寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也可由术语存储器包含。术语“软件”是指任何类型的可执行指令，包括固件。
[0015]除非明确地指定，否则术语“发射”涵盖直接(点对点)和间接(经由一个或多个中间点)的发射两者。相似地，术语“接收”涵盖直接和间接的接收两者。此外，术语“发射”、“接收”、“传递”和其他相似术语涵盖物理传输(例如，对无线电信号的传输)和逻辑传输(例如，通过逻辑软件级连接对数字数据的传输)两者。例如，处理器或控制器可通过与另一处理器或控制器的软件级连接以无线电信号的形式对数据进行发射或接收，其中，物理发射和接收由诸如RF收发机和天线之类的无线电层组件处置，并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或两者，即，在传入方向和传出方向中的一个方向或这两个方向上的单向或双向传输。术语“计算”涵盖经由数学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通工具数据关联设备，包括：内部音频/图像数据分析器，被配置成用于：在表示来自所述交通工具内的音频或图像中的至少一者的第一数据内进行标识，标识表示音频指示符或图像指示符的第二数据，其中所述音频指示符是人类语音，并且其中所述图像指示符表示所述交通工具内的人类的动作；外部图像分析器，被配置成用于：在表示所述交通工具外部附近区域的图像的第三数据内标识与所述音频指示符或所述图像指示符中的至少一者相对应的对象；以及对象数据生成器，被配置成用于生成对象数据以对所述第三数据进行分类。2.如权利要求1所述的交通工具数据关联设备，其特征在于，所述对象数据生成器被配置成用于基于所述第三数据在训练可训练的模型时的相关性来对所述第三数据进行分类。3.如权利要求1或2中任一项所述的交通工具数据关联设备，其特征在于，所述对象数据包括以下各项中的至少一项：对象的身份、对象的动作或对象的优先级。4.如权利要求1或2中任一项所述的交通工具数据关联设备，其特征在于，所述内部音频/图像数据分析器标识第二数据包括所述内部音频/图像数据分析器标识所述音频内的一个或多个关键字。5.如权利要求4所述的交通工具数据关联设备，其特征在于，所述内部音频/图像数据分析器被配置成用于将表示所述一个或多个关键字的数据发送到所述外部图像分析器，并且所述外部图像分析器被配置成用于基于所述对象与所述一个或多个关键字之间的关系来标识所述对象。6.如权利要求4所述的交通工具数据关联设备，其特征在于，所述外部图像分析器被配置成用于使用至少两个关键字来迭代地标识所述对象。7.如权利要求1或2中任一项所述的交通工具数据关联设备，其特征在于，所述内部音频/图像数据分析器标识第二数据包括所述内部音频/图像数据分析器标识所述图像内的人类姿势，并且其中所述人类姿势是以下各项中的至少一项：指向某个方向、做出注意姿势、做出否定性姿势、做出停车姿势或其任何组合。8.如权利要求7所述的交通工具数据关联设备，其特征在于，所述内部音频/图像数据分析器被配置成用于将表示所述人类姿势的数据发送到所述外部图像分析器，并且所述外部图像分析器被配置成用于将指向性动作映射到所述第三数据并用于基于所述指向性动作与所述对象之间的映射关系来标识所述对象。9.如权利要求1或2中任一项所述的交通工具数据关联设备，其特征在于，所述内部音频/图像数据分析器标识第二数据包括所述内部音频/图像数据分析器标识所述图像内的人类注视方向。10.如权利要求9所述的交通工具数据关联设备，其特征在于，所述内部音频/图像数据分析器被配置成用于将表示所述注视方向的数据发送到所述外部图像分析器，并且所述外部图像分析器被配置成用于至少部分地基于所述对象与所述注视方向之间的关系来标识所述对象。11.如权利要求9所述的交通工具数据关联设备，其特征在于，所述内部音频/图像数据
分析器被配置成用于将表示所述注视方向的数据发送到所述外部图像分析器，并且所述外部图像分析器被配置成用于将所述注视方向映射到所述第三数据并用于基于所述注视方向与所述对象之间的映射关系来标识所述对象。12.如权利要求1或2中任一项所述的交通工具数据关联设备，其特征在于，所述外部图像分析器被配置成用于基于以下各项中的至少两项来标识所述对象：一个或多个关键字、一个或多个姿势、或注视方向。13.如权利要求1或2中任一项所述的交通工具数据关联设备，进一步包括：交通工具传感器数据分析器...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：