一种基于FPGA的加速自动驾驶视觉感知的方法及装置制造方法及图纸

本发明专利技术公开了一种基于FPGA的加速自动驾驶视觉感知的方法及装置，在自动驾驶系统通过摄像头获取周围信息的过程中，通过FPGA实现神经网络的方法来实现图像目标识别加速的作用，将包含有目标信息的数据传输给ECU，由ECU综合各部分信息后做出行车控制。本发明专利技术的一种基于FPGA的加速自动驾驶视觉感知的方法及装置和现有技术相比，在摄像头的数据信息传递给ECU之前，已经对图像做了识别和分类处理，方便ECU做出判断，进而增加自动驾驶汽车视觉感知的实时性，有效地加速自动驾驶在视觉感知方面的处理速度，有助于自动驾驶系统快速做出反应。

【技术实现步骤摘要】
一种基于FPGA的加速自动驾驶视觉感知的方法及装置
本专利技术涉及基于FPGA加速神经网络推理的
，具体地说是一种基于FPGA的加速自动驾驶视觉感知的方法及装置。
技术介绍
自动驾驶是指汽车能够在某些具有关键安全性的控制功能方面（如转向、油门或制动）无需驾驶员直接操作即可自动完成控制动作。根据自动驾驶的拟人化实现思路，流程可以分为感知—认知—决策—控制—执行五部分，其中感知过程是由传感器发挥着类似于人体感官的感知作用，认知阶段则是依据感知信息完成处理融合的过程，形成全局整体的理解，据此自动驾驶系统通过算法得出决策结果，传递给控制系统生成执行指令，完成驾驶动作。相对于其它传感器，摄像头的价格相对低廉，有着识别车道线、车辆等物体的基础能力，在汽车高级辅助驾驶市场已被规模使用。依据不同的图像检测原理，可分为单目摄像头和双目摄像头，根据芯片类型又可分为CCD摄像头和CMOS摄像头，等等。在明确表示以自动驾驶为着力方向的视觉方案供应商中，目前大多仍集中将产品应用于辅助驾驶环节。自动驾驶所需的计算机视觉技术远超出ADAS，摄像头需要对汽车周边所有影响驾驶的物体进行感知识别，对算法依赖度极高。在自动驾驶的视觉识别领域，目前主要采用监督式的深度学习算法，需要使用标注好的数据训练AI，使其检测识别物体。知名的计算机视觉识别数据库ImageNet已将图像识别精度提升到95%以上，超出人类识别图片水平，这说明使用深度学习算法来进行目标识别和检测已经可以在自动驾驶中发挥有效的作用。深度学习的算法在应用中的门槛主要表现在实时性和功耗问题，传统的CPU和GPU都具有很高的功耗，不适合在车载系统中使用。
技术实现思路
本专利技术的技术任务是提供一种基于FPGA的加速自动驾驶视觉感知的方法及装置。本专利技术的技术任务是按以下方式实现的：一种基于FPGA的加速自动驾驶视觉感知的方法，在自动驾驶系统通过摄像头获取周围信息的过程中，通过FPGA实现神经网络的方法来实现图像目标识别加速的作用，将包含有目标信息的数据传输给ECU，由ECU综合各部分信息后做出行车控制。所述的FPGA接收摄像头的图像数据，并对接收的图像数据做格式处理，并通过神经网络进行推理。所述的并对接收的图像数据做格式处理，包括，对图像数据做识别和分类处理。该方法的步骤如下：步骤1）将已经训练好的用于图像目标识别的神经网络模型通过FPGA的可编程逻辑设计实现，加载到FLASH内；步骤2）系统启动时，通过FLASH加载程序，FPGA对输入图像处理后输出目标识别的结果；步骤3）车载摄像头将采集到的视频图像数据直接传输给FPGA，FPGA内部逻辑对视频图像数据做简单的视频格式处理，以满足神经网络的输入要求；步骤4）FPGA的神经网络模型输出分类结果，传输给ECU，由ECU综合各部分信息后做出行车控制。所述的步骤2）中FPGA内部运行的是深度学习的加速模型，对输入图像处理后输出目标识别的结果。所述的步骤4）FPGA的神经网络模型输出分类结果，包含视野内的红绿灯、行人、行车的信息。一种基于FPGA的加速自动驾驶视觉感知的装置，包括FPGA、FLASH、ECU、摄像头及外部存储器；所述的FPGA负责对接收的图像数据做格式处理，并通过神经网络进行推理；所述的FLASH用于加载神经网络模型；所述的ECU负责综合各部分信息后做出行车控制。所述的摄像头负责采集车辆行驶中的视频图像数据并直接传输给FPGA。所述的FPGA内部运行的是深度学习的加速模型。本专利技术的一种基于FPGA的加速自动驾驶视觉感知的方法及装置和现有技术相比，在摄像头的数据信息传递给ECU之前，已经对图像做了识别和分类处理，方便ECU做出判断，进而增加自动驾驶汽车视觉感知的实时性，有效地加速自动驾驶在视觉感知方面的处理速度，有助于自动驾驶系统快速做出反应。附图说明附图1为一种基于FPGA的加速自动驾驶视觉感知装置的架构示意图。具体实施方式实施例1：配置设备：一种基于FPGA的加速自动驾驶视觉感知的装置，包括FPGA、FLASH、ECU、摄像头及外部存储器；所述的FPGA内部运行的是深度学习的加速模型，负责对接收的图像数据做格式处理，并通过神经网络进行推理；所述的FLASH用于加载神经网络模型；所述的ECU负责综合各部分信息后做出行车控制。所述的摄像头负责采集车辆行驶中的视频图像数据并直接传输给FPGA。操作方法：一种基于FPGA的加速自动驾驶视觉感知的方法，在自动驾驶系统通过摄像头获取周围信息的过程中，通过FPGA实现神经网络的方法来实现图像目标识别加速的作用，所述的FPGA接收摄像头的图像数据，并对接收的图像数据做格式处理，包括，对图像数据做识别和分类处理，并通过神经网络进行推理；将包含有目标信息的数据传输给ECU，由ECU综合各部分信息后做出行车控制。该方法的步骤如下：步骤1）将已经训练好的用于图像目标识别的神经网络模型通过FPGA的可编程逻辑设计实现，加载到FLASH内；步骤2）系统启动时，通过FLASH加载程序，FPGA内部运行的是深度学习的加速模型，对输入图像处理后输出目标识别的结果；步骤3）车载摄像头将采集到的视频图像数据直接传输给FPGA，FPGA内部逻辑对视频图像数据做简单的视频格式处理，以满足神经网络的输入要求；步骤4）FPGA的神经网络模型输出分类结果，包含视野内的红绿灯、行人、行车的信息，传输给ECU，由ECU综合各部分信息后做出行车控制。名词解释：ECU：车载电脑。FPGA：（Field－ProgrammableGateArray），即现场可编程门阵列。FLASH：固态存储器与动画编辑器。通过上面具体实施方式，所述
的技术人员可容易的实现本专利技术。但是应当理解，本专利技术并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述
的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。本文档来自技高网...

【技术保护点】
一种基于FPGA的加速自动驾驶视觉感知的方法，其特征在于，在自动驾驶系统通过摄像头获取周围信息的过程中，通过FPGA实现神经网络的方法来实现图像目标识别加速的作用，将包含有目标信息的数据传输给ECU，由ECU综合各部分信息后做出行车控制。

【技术特征摘要】
1.一种基于FPGA的加速自动驾驶视觉感知的方法，其特征在于，在自动驾驶系统通过摄像头获取周围信息的过程中，通过FPGA实现神经网络的方法来实现图像目标识别加速的作用，将包含有目标信息的数据传输给ECU，由ECU综合各部分信息后做出行车控制。2.根据权利要求1所述的方法，其特征在于，所述的FPGA接收摄像头的图像数据，并对接收的图像数据做格式处理，并通过神经网络进行推理。3.根据权利要求2所述的方法，其特征在于，所述的并对接收的图像数据做格式处理，包括，对图像数据做识别和分类处理。4.根据权利要求1所述的方法，其特征在于，该方法的步骤如下：步骤1）将已经训练好的用于图像目标识别的神经网络模型通过FPGA的可编程逻辑设计实现，加载到FLASH内；步骤2）系统启动时，通过FLASH加载程序，FPGA对输入图像处理后输出目标识别的结果；步骤3）车载摄像头将采集到的视频图像数据直接传输给FPGA，FPGA内部逻辑对视频图像数据做简单的视频格式处理，...

【专利技术属性】
技术研发人员：周玉山，段成德，于治楼，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37