利用时间递归网络进行在线动作检测的系统和方法技术方案

本发明专利技术题为“利用时间递归网络进行在线动作检测的系统和方法”。本发明专利技术公开了一种利用时间递归网络进行在线动作检测的系统和方法，该系统和方法包括接收基于车辆摄像系统所捕获的至少一个图像的图像数据。该系统和方法还包括：分析图像数据以确定多个图像帧，以及输出如在当前图像帧期间确定的至少一个目标导向型动作。该系统和方法还包括基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。

System and method of online action detection using time recurrent network

【技术实现步骤摘要】
利用时间递归网络进行在线动作检测的系统和方法
技术介绍
大多数自主驾驶系统在提供自主驾驶功能时都会考虑传感器数据。传感器数据考虑实时车辆操作期间车辆可能面临的对象、路面和障碍物。然而，这些系统不提供在提供自主驾驶功能时考虑驾驶员的逻辑、专注行为和因果反应的车辆操作。在许多情况下，独立标注者必须评估从延长时间段收集的传感器数据以采集信息来确定车辆的高级别态势理解和车辆的周围环境。因此，此类系统不能有效地解决与较高级别态势理解相关联的许多挑战，该较高级别态势理解可能是提供在时间敏感交通情景中驾驶车辆时有效地适应动态驾驶环境内的各种情景的智能自动驾驶系统所必需的。
技术实现思路
根据一个方面，一种利用时间递归网络进行在线动作检测的计算机实现的方法，该计算机实现的方法包括接收基于车辆摄像系统所捕获的至少一个图像的图像数据。该计算机实现的方法还包括分析图像数据以确定多个图像帧。多个图像帧包括当前图像帧和至少一个过去图像帧。该计算机实现的方法另外包括输出如在当前图像帧期间确定的至少一个目标导向型动作。至少一个目标导向型动作基于当前图像帧、至少一个过去图像帧和至少一个预测动作。该计算机实现的方法还包括基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。根据另一个方面，一种利用时间递归网络进行在线动作检测的系统，该系统包括存储指令的存储器，该指令在由处理器执行时引起处理器接收基于车辆摄像系统所捕获的至少一个图像的图像数据。指令还引起处理器分析图像数据以确定多个图像帧。多个图像帧包括当前图像帧和至少一个过去图像帧。指令另外引起处理器输出如在当前图像帧期间确定的至少一个目标导向型动作。至少一个目标导向型动作基于当前图像帧、至少一个过去图像帧和至少一个预测动作。指令还引起处理器基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。根据再一个方面，一种存储由计算机执行时的指令的非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括处理器执行方法，该方法包括接收基于车辆摄像系统所捕获的至少一个图像的图像数据。该方法还包括分析图像数据以确定多个图像帧。多个图像帧包括当前图像帧和至少一个过去图像帧。该方法另外包括输出如在当前图像帧期间确定的至少一个目标导向型动作。至少一个目标导向型动作基于当前图像帧、至少一个过去图像帧和至少一个预测动作。该方法还包括基于包括至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。附图说明图1是根据本公开的一个示例性实施方案的用于实现利用时间递归网络进行在线动作检测的系统和方法的示例性操作环境的示意图；图2是根据本公开的一个示例性实施方案的场景的说明性示例，该场景包括在车辆即将在交通路口右转以及在交通路口停止时可发生的多个示例性行为事件；图3是根据本公开的一个示例性实施方案的时间递归网络对一个或多个目标导向型动作的识别的说明性示例；图4是根据本公开的一个示例性实施方案的自然驾驶行为数据集的所示示例；图5是根据本公开的一个示例性实施方案的使用时间递归网络进行在线动作检测以确定一个或多个目标导向型动作并对其进行分类的方法的过程流程图；图6是根据本公开的一个示例性实施方案的用于确定刺激驱动型动作、原因和吸引注意力的交通对象的方法的过程流程图；图7是根据本公开的一个示例性实施方案的用于基于自然驾驶行为数据集来控制车辆使之自主地驾驶的方法的过程流程图；并且图8是根据本公开的一个示例性实施方案的利用时间递归网络进行在线动作检测的方法的过程流程图。具体实施方式以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并可用于实施方式的各种部件示例和/或形式。这些示例不是限制性的。如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算机之间的其他计算机部件。总线可以在计算机部件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线还可以是使用诸如面向媒体的系统传送(MOST)、控制器局域网(CAN)、本地互连网络(LIN)等等协议来将在车辆内的部件互连的车辆总线。如本文所用，“计算机通信”是指在两个或更多个计算设备(例如，计算机、个人数字助理、蜂窝电话、网络设备)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(HTTP)传输等。计算机通信可以跨例如无线系统(例如，IEEE802.11)、以太网系统(例如，IEEE802.3)、令牌环系统(例如，IEEE802.5)、局域网(LAN)、广域网(WAN)、点对点系统、电路交换系统、分组交换系统等等发生。如本文所用，“盘”可以是例如磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存存储器卡和/或记忆棒。此外，盘可以是CD-ROM(压缩盘ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)和/或数字视频ROM驱动器(DVDROM)。盘可以存储控制或分配计算设备的资源的操作系统。如本文所用，“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除PROM)和EEPROM(电可擦除PROM)。易失性存储器可以包括例如RAM(随机存取存储器)、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)和直接RAM总线RAM(DRRAM)。存储器可以存储控制或分配计算设备的资源的操作系统。如本文所用，“模块”包括但不限于存储指令的非暂态计算机可读介质、在机器上执行的指令、在机器上执行的硬件、固件、软件、和/或每一者的组合以执行一个或多个功能或一个或多个动作和/或引起另一个模块、方法和/或系统执行功能或动作。模块还可包括逻辑、软件控制微处理器、离散逻辑电路、模拟电路、数字电路、编程逻辑设备、含有执行指令的存储器设备、逻辑门、门组合和/或其他电路部件。多个模块可组合成一个模块，并且单个模块可分布在多个模块之间。“可操作的连接件”或使实体“可操作地连接”的连接件是可发送和/或接收信号、物理通信和/或逻辑通信的连接件。可操作的连接件可以包括无线接口、物理接口、数据接口和/或电接口。如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括可被接收、传输和/或检测的数字信号、数据信号、计算机指令、处理器指令、消息、位、位流或其他手段。一般来讲，处理器可以是多种不同处理器，该多种不同处理器包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。如本文所用，“车辆”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动车辆。术语“车辆”包括但不限于：汽车、卡车、厢式货车、小型货车、SUV、摩托车、滑板车、船只、本文档来自技高网...

【技术保护点】
1.一种利用时间递归网络进行在线动作检测的计算机实现的方法，包括：/n接收基于车辆摄像系统所捕获的至少一个图像的图像数据；/n分析所述图像数据以确定多个图像帧，其中所述多个图像帧包括当前图像帧和至少一个过去图像帧；/n输出如在所述当前图像帧期间确定的至少一个目标导向型动作，其中所述至少一个目标导向型动作基于所述当前图像帧、所述至少一个过去图像帧和至少一个预测动作；以及/n基于包括所述至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。/n

【技术特征摘要】
20181012 US 16/159,1941.一种利用时间递归网络进行在线动作检测的计算机实现的方法，包括：
接收基于车辆摄像系统所捕获的至少一个图像的图像数据；
分析所述图像数据以确定多个图像帧，其中所述多个图像帧包括当前图像帧和至少一个过去图像帧；
输出如在所述当前图像帧期间确定的至少一个目标导向型动作，其中所述至少一个目标导向型动作基于所述当前图像帧、所述至少一个过去图像帧和至少一个预测动作；以及
基于包括所述至少一个目标导向型动作的自然驾驶行为数据集来控制车辆使之自主地驾驶。


2.根据权利要求1所述的计算机实现的方法，其中分析所述图像数据以确定所述多个图像帧包括对所述图像数据进行下采样，其中所述下采样的图像数据被转换为所述多个图像帧。


3.根据权利要求1所述的计算机实现的方法，其中分析所述图像数据以确定多个图像帧包括对所述当前图像帧和所述至少一个过去图像帧执行特征提取。


4.根据权利要求3所述的计算机实现的方法，其中从所述当前图像帧和所述至少一个过去图像帧提取至少一个特征向量，所述至少一个特征向量与所述当前图像帧和所述至少一个过去图像帧内的至少一个时空特征相关联。


5.根据权利要求3所述的计算机实现的方法，其中输出所述至少一个目标导向型动作包括解码以基于预测在最近未来时间点发生的特征表示来输出所述至少一个预测动作。


6.根据权利要求5所述的计算机实现的方法，其中所述至少一个预测动作的未来表示通过基于从所述当前图像帧和所述至少一个过去图像帧提取的所述特征向量对隐藏状态进行平均池化来获得，其中基于所述至少一个预测动作的所述未来表示来输出所述至少一个预测动作。


7.根据权利要求6所述的计算机实现的方法，其中输出所述至少一个目标导向型动作包括所述时间递归网络的编码器对为所述当前图像帧、与所述预测动作的所述未来表示相关联的未来特征、和所述至少一个过去图像帧进行提取的至少一个特征向量进行级联。


8.根据权利要求7所述的计算机实现的方法，其中输出所述至少一个目标导向型动作包括基于所述时间递归网络的所述编码器完成的所述级联来输出在当前帧期间确定的至少一个动作，其中评估驾驶场景以确定在所述车辆的周围环境内不存在任何外部刺激的情况下进行的至少一个驾驶员动作。


9.根据权利要求1所述的计算机实现的方法，还包括基于评估至少一个行为事件和所述图像数据来对至少一个刺激驱动型动作进行分类，其中外部刺激被确定为所述至少一个行为事件的原因，其中控制所述车辆使之自主地驾驶是基于包括所述至少一个刺激驱动型动作的所述自然驾驶行为数据集。


10.一种利用时间递归网络进行在线动作检测的系统，包括：
存储指令的存储器，所述指令在由处理器执行时引起所述
处理器：
接收基于车辆摄像系统所捕获的至少一个图像的图像数据；
分析所述图像数据以确定多个图像帧，其中所述多个图像帧包括当前图像帧和至少一个过去图像帧；
输出如在所述当前图像帧期间确定的至少一个目标导向型动作，其中所述至少一个目标导向型动作基...

【专利技术属性】
技术研发人员：陈怡婷，徐铭泽，高明菲，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：日本;JP