操作员接管预测制造技术

根据一个方面，与操作员接管预测相关联的系统、方法和/或技术可以包括接收运载工具正行进通过的操作环境的双通道系列图像。第一系列图像可以由对应于分类对象的标记表示。第二系列图像可以表示为凝视热图或眼睛跟踪热图。另外，可以执行以下项：通过三维(3D)卷积神经网络(CNN)馈送经编码的图像系列以产生第一输出；接收在时间上对应于第一系列图像和第二系列图像的多组信息；通过处理层馈送多组信息以产生附加输出；级联第一输出和附加输出以产生级联输出；以及通过附加处理层馈送级联输出以生成操作员接管预测。生成操作员接管预测。生成操作员接管预测。

【技术实现步骤摘要】
操作员接管预测
[0001]相关申请的交叉引用
[0002]本申请要求于2021年9月28日提交的名称为“操作员接管预测(OPERATOR TAKE
‑
OVER PREDICTION)”的美国临时专利申请序列号63/249457(代理人案卷号HRA
‑
51437)的权益；上述申请的全文以引用方式并入本文。

技术介绍

[0003]人类凝视可以被视为有用的行为信息。然而，例如，凝视信息可能由于噪声而难以解释。现有模型不能根据需要对凝视属性进行建模。另外，凝视信息可能是嘈杂的或难以解释的。由于传感器的成本问题，在感测过程中可能会出现困难。凝视信息也可以是随机的。

技术实现思路

[0004]根据一个方面，用于操作员接管预测的系统可以包括一组传感器、处理器和存储器。该组传感器可以接收运载工具正行进通过的操作环境的双通道系列图像。该双通道系列图像可以与第一系列图像和第二系列图像相关联。第一系列图像可以由对应于一个或多个分类对象的一个或多个标记表示。第二系列图像可以表示为凝视热图或眼睛跟踪热图。处理器可以通过三维(3D)卷积神经网络(CNN)馈送经编码的图像系列以产生第一输出。处理器可以接收在时间上对应于第一系列图像和第二系列图像的一组或多组信息。处理器可以通过一个或多个处理层馈送一组或多组信息以产生附加输出。处理器可以级联第一输出和附加输出以产生级联输出。处理器可以通过一个或多个附加处理层馈送级联输出以生成操作员接管预测。一个或多个运载工具系统可以基于操作员接管预测来实现动作。
[0005]在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的控制器局域网(CAN)总线信息。在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的操作员的生理信息。在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的导航信息。在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具正行进通过的操作环境的天气信息。
[0006]在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的操作员的凝视信息。凝视信息可以包括凝视位置平均值和凝视位置标准偏差值。凝视信息可以包括与针对一个或多个分类对象中的分类对象的中心凝视区域相关联的对象类别向量。
[0007]处理层中的一个或多个处理层可以为致密层。处理层中的一个或多个处理层可以为嵌入层。
[0008]根据一个方面，用于操作员接管预测的计算机实现的方法可以包括接收运载工具正行进通过的操作环境的双通道系列图像。该双通道系列图像可以与第一系列图像和第二系列图像相关联。第一系列图像可以由对应于分类对象的一个或多个标记表示。第二系列图像可以表示为凝视热图或眼睛跟踪热图。用于操作员接管预测的计算机实现的方法可以
包括：通过三维(3D)卷积神经网络(CNN)馈送经编码的图像系列以产生第一输出；接收在时间上对应于第一系列图像和第二系列图像的一组或多组信息；通过一个或多个处理层馈送一组或多组信息以产生附加输出；级联第一输出和附加输出以产生级联输出；以及通过一个或多个附加处理层馈送级联输出以生成操作员接管预测。
[0009]在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的控制器局域网(CAN)总线信息。在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的操作员的生理信息。在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的导航信息。在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具正行进通过的操作环境的天气信息。
[0010]处理层中的一个或多个处理层可以为致密层或嵌入层。
[0011]根据一个方面，用于操作员接管预测的计算机实现的方法可以包括：接收运载工具正行进通过的操作环境的第一系列图像；对第一系列图像执行语义分割以对第一系列图像的像素进行分类并将其与一个或多个标记相关联；以及接收运载工具正行进通过的操作环境的第二系列图像。第二系列图像可以表示为凝视热图或眼睛跟踪热图。第二系列图像可以在时间上对应于第一系列图像。用于操作员接管预测的计算机实现的方法可以包括：将第一系列图像和第二系列图像编码为双通道系列图像；通过三维(3D)卷积神经网络(CNN)馈送经编码的图像系列以产生第一输出；接收在时间上对应于第一系列图像和第二系列图像的一组或多组信息；通过一个或多个处理层馈送一组或多组信息以产生附加输出；级联第一输出和附加输出以产生级联输出；以及通过一个或多个附加处理层馈送级联输出以生成操作员接管预测。
[0012]在时间上对应于第一系列图像和第二系列图像的一组或多组信息可以包括来自运载工具的操作员的凝视信息。凝视信息可以包括凝视位置平均值和凝视位置标准偏差值。凝视信息可以包括与针对一个或多个分类对象中的分类对象的中心凝视区域相关联的对象类别向量。
附图说明
[0013]图1A至图1C是根据一个方面的与操作员接管预测相关联的示例性图像。
[0014]图2是根据一个方面的用于操作员接管预测的系统的示例性部件图。
[0015]图3是根据一个方面的用于操作员接管预测的系统的示例性部件图。
[0016]图4是根据一个方面的用于操作员接管预测的系统的示例性部件图。
[0017]图5是根据一个方面的用于操作员接管预测的系统的示例性部件图。
[0018]图6是根据一个方面的用于操作员接管预测的系统的示例性部件图。
[0019]图7是根据一个方面的用于操作员接管预测的方法或计算机实现的方法的示例性流程图。
[0020]图8是根据一个方面的示例性计算机可读介质或计算机可读装置的图示，该计算机可读介质或计算机可读装置包括被配置为体现本文阐述的规定中的一个或多个规定的处理器可执行指令。
[0021]图9是根据一个方面的示例性计算环境的图示，本文阐述的规定中的一个或多个
规定在该计算环境中实现。
具体实施方式
[0022]以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于具体实施的部件的各种示例和/或形式。这些示例并非旨在进行限制。此外，本领域的普通技术人员将会知道，本文讨论的部件可以组合、省略或与其他部件组织或组织成不同架构。
[0023]如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位流或可被接收、传输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
[0024]如本文所用的“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM(只读存储器)、PROM(可编程只读存储器)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于操作员接管预测的系统，所述系统包括：一组传感器，所述一组传感器接收运载工具正行进通过的操作环境的双通道系列图像，其中所述双通道系列图像与第一系列图像和第二系列图像相关联，其中所述第一系列图像由对应于一个或多个分类对象的一个或多个标记表示，其中所述第二系列图像表示为凝视热图或眼睛跟踪热图；处理器，所述处理器通过三维(3D)卷积神经网络(CNN)馈送经编码的图像系列以产生第一输出；其中所述处理器接收在时间上对应于所述第一系列图像和所述第二系列图像的一组或多组信息；其中所述处理器通过一个或多个处理层馈送所述一组或多组信息以产生附加输出；其中所述处理器级联所述第一输出和所述附加输出以产生级联输出；并且其中所述处理器通过一个或多个附加处理层馈送所述级联输出以生成操作员接管预测；和一个或多个运载工具系统，所述一个或多个运载工具系统基于所述操作员接管预测来实现动作。2.根据权利要求1所述的用于操作员接管预测的系统，其中在时间上对应于所述第一系列图像和所述第二系列图像的所述一组或多组信息包括来自所述运载工具的控制器局域网(CAN)总线信息。3.根据权利要求1所述的用于操作员接管预测的系统，其中在时间上对应于所述第一系列图像和所述第二系列图像的所述一组或多组信息包括来自所述运载工具的操作员的生理信息。4.根据权利要求1所述的用于操作员接管预测的系统，其中在时间上对应于所述第一系列图像和所述第二系列图像的所述一组或多组信息包括来自所述运载工具的导航信息。5.根据权利要求1所述的用于操作员接管预测的系统，其中在时间上对应于所述第一系列图像和所述第二系列图像的所述一组或多组信息包括来自所述运载工具正行进通过的所述操作环境的天气信息。6.根据权利要求1所述的用于操作员接管预测的系统，其中所述处理层中的一个或多个处理层为致密层。7.根据权利要求1所述的用于操作员接管预测的系统，其中所述处理层中的一个或多个处理层为嵌入层。8.根据权利要求1所述的用于操作员接管预测的系统，其中在时间上对应于所述第一系列图像和所述第二系列图像的所述一组或多组信息包括来自所述运载工具的操作员的凝视信息。9.根据权利要求8所述的用于操作员接管预测的系统，其中所述凝视信息包括凝视位置平均值和凝视位置标准偏差值。10.根据权利要求8所述的用于操作员接管预测的系统，其中所述凝视信息包括与针对所述一个或多个分类对象中的分类对象的中心凝视区域相关联的对象类别向量。11.一种用于操作员接管预测的计算机实现的方法，所述方法包括：接收运载工具正行进通过的操作环境的双通道系列图像，其中所述双通道系列图像与
第一系列图像和第二系列图像相关联，其中所述第一系列图像由对应于分类对象的一个或多个标记表示，其中所述第二系列图像表示为凝视热图或眼睛跟踪热图；通过三维(3D)卷积神经网络...

【专利技术属性】
技术研发人员：邱宇宁，三须辉久，K，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：