使用深度时空学习的自主操作制造技术

一种执行车辆的自主操作的系统和方法，包括从对应的一个或多个传感器获取针对时间实例t的一个或多个图像帧。处理一个或多个图像帧，包括执行卷积处理以得到多维矩阵xt。所述方法包括对多维矩阵xt进行操作以获得输出ht。所述操作包括使用针对先前时间实例t‑1的操作的输出ht‑1。所述方法还包括，对输出ht进行后处理，以得到一个或多个控制信号，从而影响车辆的操作。

Autonomous operation using deep space-time learning

A system and method for performing autonomous operation of a vehicle include acquiring one or more image frames for time instance t from one or more corresponding sensors. Processing one or more image frames, including performing convolution processing to obtain a multidimensional matrix xt. The method includes operating the multidimensional matrix XT to obtain the output ht. The operation includes using the output ht_1 of the operation for the previous time instance t_1. The method also includes post-processing the output HT to obtain one or more control signals, thereby affecting the operation of the vehicle.

【技术实现步骤摘要】
使用深度时空学习的自主操作引言本专利技术涉及使用深度时空学习的自主操作。自主车辆系统可以强化例如制动、转向、停车，或者甚至是端到端驾驶之类的驾驶任务或将其自动化。这些自主车辆系统中的许多依赖于分层架构，所述分层架构涉及获得传感器数据、融合来自不同传感器的传感器数据、确定环境条件、规划，以及最终发出进行所规划的动作的命令。神经网络已经用于直接基于传感器输入而发出命令。这些神经网络通常是深度神经网络，其具有隐藏的层，例如用于处理成组的图像。这些神经网络在逐帧的基础上运行，使得在考虑空间处理但不考虑时间处理的情况下发出命令。因此，期望提供使用深度时空学习的自主操作。
技术实现思路
在一个示例性实施例中，一种执行车辆的自主操作的方法包括从对应的一个或多个传感器获取针对时间实例t的一个或多个图像帧，并且处理一个或多个图像帧，该处理包括执行卷积处理，以得到多维矩阵xt。该方法还包括对多维矩阵xt进行操作以获得输出ht，其中该操作包括使用针对先前时间实例t-1的操作的输出ht-1，并且对输出ht进行后处理，以得到一个或多个控制信号，从而影响车辆的操作。除了在此描述的一个或多个特征之外，处理一个或多个图像本文档来自技高网...

【技术保护点】
1.一种执行车辆的自主操作的方法，所述方法包括：从对应的一个或多个传感器获取针对时间实例t的一个或多个图像帧；处理所述一个或多个图像帧，所述处理包括执行卷积处理，以得到多维矩阵xt；对所述多维矩阵xt进行操作以获得输出ht，其中所述操作包括使用针对先前时间实例t‑1的操作的输出ht‑1；并且对所述输出ht进行后处理，以得到一个或多个控制信号，从而影响所述车辆的操作。

【技术特征摘要】
2017.08.14 US 15/6761251.一种执行车辆的自主操作的方法，所述方法包括：从对应的一个或多个传感器获取针对时间实例t的一个或多个图像帧；处理所述一个或多个图像帧，所述处理包括执行卷积处理，以得到多维矩阵xt；对所述多维矩阵xt进行操作以获得输出ht，其中所述操作包括使用针对先前时间实例t-1的操作的输出ht-1；并且对所述输出ht进行后处理，以得到一个或多个控制信号，从而影响所述车辆的操作。2.根据权利要求1所述的方法，其中，所述处理一个或多个图像帧包括在执行卷积处理之前对所述一个或多个图像帧中的每一个进行归一化，所述执行卷积处理包括通过N个核矩阵执行N次连续卷积，其中初始时所述核矩阵具有随机值和预定义的尺寸和维度。3.根据权利要求1所述的方法，其中，使用针对所述先前时间实例t-1的操作的输出ht-1对所述多维矩阵xt进行操作包括使用权重来执行非线性函数的计算，在训练模式中将所述一个或多个控制信号分别与一个或多个实际控制信号进行比较，基于所述比较来优化权重。4.根据权利要求1所述的方法，其中，所述对所述输出ht进行后处理以得到一个或多个控制信号包括将所述输出ht转换为单维向量，并将所述单维向量映射到所述一个或多个控制信号。5.根据权利要求1所述的方法，还包括将所述一个或多个控制信号提供给所述车辆的车辆控制系统，将所述一个或多个控制信号提供给所述车辆的自主转向系统，作为转向、油门水平、变速或制动信号。6.一种用于执行车辆的自主操作的系统，所述系统包括：一个或多个传感器...

【专利技术属性】
技术研发人员：P·帕拉尼萨梅，U·P·穆达里戈，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US