用于生成控制指令的方法和装置制造方法及图纸

本申请实施例公开了用于生成控制指令的方法和装置。该方法的一具体实施方式包括获取无人驾驶汽车的多个摄像头拍摄的多个图像序列；将多个图像序列分别输入至预先训练的控制指令生成模型，得到多个控制指令序列；对多个控制指令序列进行融合，得到目标控制指令序列。该实施方式降低了生成目标控制指令序列的计算量，提高了目标控制指令序列的生成效率，缩短了目标控制指令序列的生成时长，从而有助于实现对无人驾驶汽车的实时控制。

【技术实现步骤摘要】
用于生成控制指令的方法和装置
本申请实施例涉及无人驾驶
，具体涉及用于生成控制指令的方法和装置。
技术介绍
无人驾驶汽车是一种新型的智能汽车，主要通过控制装置(即，车载智能大脑)对汽车中各个部分进行精准的控制与计算分析，并最终通过ECU(ElectronicControlUnit，电子控制单元)发出指令来分别控制无人驾驶汽车中的不同设备，从而实现汽车的全自动运行，达到汽车无人驾驶的目的。为了达到汽车无人驾驶的目的，需要预先获取无人驾驶汽车的行驶环境数据，并基于行驶环境数据生成控制指令，以实现根据控制指令对无人驾驶汽车的行驶过程的控制。目前，常用的控制指令生成方式主要包括以下两种。其一，根据无人驾驶汽车的单个摄像头拍摄的单个图像序列生成控制指令序列。其二，首先将无人驾驶汽车的多个摄像头拍摄多个图像序列进行融合重建，然后根据融合重建后的图像序列生成控制指令序列。
技术实现思路
本申请实施例提出了用于生成控制指令的方法和装置。第一方面，本申请实施例提供了一种用于生成控制指令的方法，包括：获取无人驾驶汽车的多个摄像头拍摄的多个图像序列；将多个图像序列分别输入至预先训练的控制指令生成模型，得到多个控制指令序列；对多个控制指令序列进行融合，得到目标控制指令序列。在一些实施例中，控制指令生成模型包括卷积神经网络和长短期记忆网络。在一些实施例中，将多个图像序列分别输入至预先训练的控制指令生成模型，得到多个控制指令序列，包括：将图像序列输入至卷积神经网络，得到图像序列的特征向量序列；将特征向量序列输入至长短期记忆网络，得到控制指令序列。在一些实施例中，控制指令生成模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本集合中的训练样本包括样本图像序列和对应的样本控制指令序列；对于训练样本集合中的训练样本，将该训练样本中的样本图像序列作为输入，将该训练样本中的样本控制指令序列作为输出，训练得到控制指令生成模型。在一些实施例中，对多个控制指令序列进行融合，得到目标控制指令序列，包括：对多个控制指令序列进行时间滤波和/或空间滤波，得到目标控制指令序列。在一些实施例中，对多个控制指令序列进行时间滤波和/或空间滤波，得到目标控制指令序列，包括：对于多个控制指令序列中每个时间点的多个控制指令，对该时间点的多个控制指令进行数量统计和/或类别权重分析，以及基于该时间点的多个控制指令对应的统计分析结果对该时间点的多个控制指令进行时间滤波，得到该时间点的目标控制指令。在一些实施例中，对多个控制指令序列进行时间滤波和/或空间滤波，得到目标控制指令序列，还包括：对于多个控制指令序列中的控制指令序列，对该控制指令序列中的控制指令进行数量统计和/或类别权重分析，以及基于该控制指令序列对应的统计分析结果对该控制指令序列进行空间滤波，得到该控制指令序列对应的目标控制指令序列。第二方面，本申请实施例提供了一种用于生成控制指令的装置，包括：图像获取单元，被配置成获取无人驾驶汽车的多个摄像头拍摄的多个图像序列；指令生成单元，被配置成将多个图像序列分别输入至预先训练的控制指令生成模型，得到多个控制指令序列；指令融合单元，被配置成对多个控制指令序列进行融合，得到目标控制指令序列。在一些实施例中，控制指令生成模型包括卷积神经网络和长短期记忆网络。在一些实施例中，指令生成单元包括：特征生成子单元，被配置成将图像序列输入至卷积神经网络，得到图像序列的特征向量序列；指令生成子单元，被配置成将特征向量序列输入至长短期记忆网络，得到控制指令序列。在一些实施例中，控制指令生成模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本集合中的训练样本包括样本图像序列和对应的样本控制指令序列；对于训练样本集合中的训练样本，将该训练样本中的样本图像序列作为输入，将该训练样本中的样本控制指令序列作为输出，训练得到控制指令生成模型。在一些实施例中，指令融合单元包括：指令滤波子单元，被配置成对多个控制指令序列进行时间滤波和/或空间滤波，得到目标控制指令序列。在一些实施例中，指令滤波子单元包括：时间滤波模块，被配置成对于多个控制指令序列中每个时间点的多个控制指令，对该时间点的多个控制指令进行数量统计和/或类别权重分析，以及基于该时间点的多个控制指令对应的统计分析结果对该时间点的多个控制指令进行时间滤波，得到该时间点的目标控制指令。在一些实施例中，指令滤波子单元还包括：空间滤波模块，被配置成对于多个控制指令序列中的控制指令序列，对该控制指令序列中的控制指令进行数量统计和/或类别权重分析，以及基于该控制指令序列对应的统计分析结果对该控制指令序列进行空间滤波，得到该控制指令序列对应的目标控制指令序列。第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。本申请实施例提供的用于生成控制指令的方法和装置，首先获取无人驾驶汽车的多个摄像头拍摄的多个图像序列；然后将多个图像序列分别输入至预先训练的控制指令生成模型，以得到多个控制指令序列；最后对多个控制指令序列进行融合，以得到目标控制指令序列。与现有技术中基于单个摄像头拍摄的单个图像序列生成控制指令序列的方式相比，多个摄像头拍摄多个图像序列，多个图像序列具有信息冗余，基于多个摄像头拍摄的多个图像序列生成目标控制指令序列，提高了生成的目标控制指令序列的安全性。与现有技术中基于融合重建后的图像序列生成控制指令序列的方式相比，避免了对多个摄像头拍摄的多个图像序列进行融合重建的巨大计算量，仅对生成的多个控制指令序列进行融合，降低了生成目标控制指令序列的计算量，提高了目标控制指令序列的生成效率，缩短了目标控制指令序列的生成时长，从而有助于实现对无人驾驶汽车的实时控制。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构；图2是根据本申请的用于生成控制指令的方法的一个实施例的流程图；图3是图2所提供的用于生成控制指令的方法的一个应用场景的示意图；图4是根据本申请的用于生成控制指令的方法的又一个实施例的流程图；图5是根据本申请的用于生成控制指令的装置的一个实施例的结构示意图；图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的用于生成控制指令的方法或用于生成控制指令的装置的实施例的示例性系统架构100。如图1所示，系统架构100中可以包括摄像头101、102、103，网络104和服务器105。网络1本文档来自技高网...

【技术保护点】
1.一种用于生成控制指令的方法，包括：获取无人驾驶汽车的多个摄像头拍摄的多个图像序列；将所述多个图像序列分别输入至预先训练的控制指令生成模型，得到所述多个控制指令序列；对所述多个控制指令序列进行融合，得到目标控制指令序列。

【技术特征摘要】
1.一种用于生成控制指令的方法，包括：获取无人驾驶汽车的多个摄像头拍摄的多个图像序列；将所述多个图像序列分别输入至预先训练的控制指令生成模型，得到所述多个控制指令序列；对所述多个控制指令序列进行融合，得到目标控制指令序列。2.根据权利要求1所述的方法，其中，所述控制指令生成模型包括卷积神经网络和长短期记忆网络。3.根据权利要求2所述的方法，其中，所述将所述多个图像序列分别输入至预先训练的控制指令生成模型，得到所述多个控制指令序列，包括：将所述图像序列输入至所述卷积神经网络，得到所述图像序列的特征向量序列；将所述特征向量序列输入至所述长短期记忆网络，得到所述控制指令序列。4.根据权利要求1-3之一所述的方法，其中，所述控制指令生成模型通过如下步骤训练得到：获取训练样本集合，其中，所述训练样本集合中的训练样本包括样本图像序列和对应的样本控制指令序列；对于所述训练样本集合中的训练样本，将该训练样本中的样本图像序列作为输入，将该训练样本中的样本控制指令序列作为输出，训练得到所述控制指令生成模型。5.根据权利要求1所述的方法，其中，所述对所述多个控制指令序列进行融合，得到目标控制指令序列，包括：对所述多个控制指令序列进行时间滤波和/或空间滤波，得到目标控制指令序列。6.根据权利要求5所述的方法，其中，所述对所述多个控制指令序列进行时间滤波和/或空间滤波，得到目标控制指令序列，包括：对于所述多个控制指令序列中每个时间点的多个控制指令，对该时间点的多个控制指令进行数量统计和/或类别权重分析，以及基于该时间点的多个控制指令对应的统计分析结果对该时间点的多个控制指令进行时间滤波，得到该时间点的目标控制指令。7.根据权利要求5或6所述的方法，其中，所述对所述多个控制指令序列进行时间滤波和/或空间滤波，得到目标控制指令序列，还包括：对于所述多个控制指令序列中的控制指令序列，对该控制指令序列中的控制指令进行数量统计和/或类别权重分析，以及基于该控制指令序列对应的统计分析结果对该控制指令序列进行空间滤波，得到该控制指令序列对应的目标控制指令序列。8.一种用于生成控制指令的装置，包括：图像获取单元，被配置成获取无人驾驶汽车的多个摄像头拍摄的多个图像序列；指令生成单元，被配置成将所述...

【专利技术属性】
技术研发人员：杨树，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11