基于智能加速卡的地面无人平台自主导航系统设计方法技术方案

本发明专利技术涉及一种基于智能加速卡的地面无人平台自主导航系统设计方法，属于地面无人平台环境感知领域。本发明专利技术的自主导航系统包括目标识别算法、可视化模块、相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块，其中，目标识别算法、可视化模块运行于寒武纪智能加速卡MLU100中，相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块运行于自主导航计算机上。本发明专利技术以地面无人平台的自主避障为牵引，对通用目标检测算法YOLOv3进行适应性改造，实现了算法在国产智能芯片上的部署和移植。最后，通过图像和点云的融合策略，完成了二维图像位置向三维空间位置的映射，实现目标检测，以此完成相应的自主导航任务。以此完成相应的自主导航任务。以此完成相应的自主导航任务。

【技术实现步骤摘要】
基于智能加速卡的地面无人平台自主导航系统设计方法


[0001]本专利技术属于地面无人平台环境感知领域，具体涉及一种基于智能加速卡的地面无人平台自主导航系统设计方法。

技术介绍

[0002]地面无人平台在实际作战场景中，能够利用自身的环境感知设备，如激光雷达、相机、毫米波雷达和红外相机等，感知敌我双方的装甲车辆或士兵目标，以此进行自主导航行驶。准确高效地识别感兴趣目标的位置是地面无人平台自主导航系统能力提升的关键。Grishick首次将卷积神经网络用于目标检测，代替传统手工设计的描述子提取目标特征，提升了目标检测的速率和精度。随后，国外学者又提出YOLO系列、SSD系列模型，能够同时兼顾目标检测的速度和精度，达到了实时性检测需求。
[0003]地面无人的环境感知能力除了依赖目标检测算法的提升外，也需要具备强大并行运算能力的硬件支撑。英伟达公司的边缘计算设备Xavier的计算能力能够达到30TOPS，典型运行状态下的功率为30W；特斯拉公司的计算设备的计算能力能够达到144TOPS，典型运行状态下的功率为72W，主要用于提升量产车型的环境感知能力。
[0004]为了满足地面无人平台恶劣的工作环境，必须对边缘计算设备进行物理封装，以满足冲击振动、高低温、天候和电磁干扰等相关要求。目前边缘计算设备为了提高计算能力，功率也相应增加，而地面无人平台内部紧凑布局不利于封装后的边缘计算设备散热，相应地抑制了算力的进一步提升。同时，针对地面无人平台关键技术的逐步突破，开展装备型号研制是未来的发展趋势。为此，本专利技术以装备的国产化需求为牵引和驱动，开展国产智能加速卡的研究和目标识别算法适配性移植和部署，实现目标识别算法与自主导航系统软件的系统集成，提供一种低功耗、高算力的自主导航系统集成方案。

技术实现思路

[0005](一)要解决的技术问题
[0006]本专利技术要解决的技术问题是如何提供一种基于智能加速卡的地面无人平台自主导航系统设计方法，以解决国产智能加速卡的研究和目标识别算法适配性移植和部署问题。
[0007](二)技术方案
[0008]为了解决上述技术问题，本专利技术提出一种基于智能加速卡的地面无人平台自主导航系统部署方法，该方法包括如下步骤：
[0009]S11、选择寒武纪智能加速卡MLU100作为通用处理器的外接设备，通过PCIe总线完成自主导航计算机上的处理器和加速卡之间的信息交互，实现加速卡的系统集成；
[0010]S12、UNREAL半实物仿真和物理环境下采集装甲车辆图像，通过OpenCV开源库对原始数据进行增加；
[0011]S13、利用Labelme工具对图像中的装甲车辆进行标注，根据装甲车辆在图像中的
项目位置和装甲车类别制作JSON文件，形成自制装甲车辆数据集；VOC2007、VOC2012图像检测公开数据集与自制装甲车辆数据集进行结合，形成多类样本数据库，构成YOLOv3识别模型的训练与测试数据，其中的80％用于训练，20％用于测试；
[0012]S14、在通用服务器上部署基于残差神经网络改进的Darknet53框架下的YOLOv3识别算法，并对上述数据集进行迭代训练，初始学习率设为0.001，遗忘因子设为0.9，迭代次数设为50000，训练过程中通过平均准确率自适应调整训练参数，使用多尺度训练、多标签分类方法得到最终的目标识别模型；
[0013]S15、通过工具darknet2caffe
‑
yolov3.py将通用服务器Darknet框架下的目标识别模型转为Caffe架构下的模型；
[0014]S16、调整生成的YOLOv3模型文件；首先修改输入层，设置输出图片为[13416416]，新增RGB三通道均值和标准差为[0000.00392]；再修改上采样层，先将两个采样层的类型“Upsample”修改为“Interp”，再分别将采样层尺寸参数“upsample_param”{scale:2}修改为“interp_param”{height:26width:26}和{height:52width:52}；然后修改卷积“convolution”层，将“num_output”的值修改为3
×
(类别数目21+5)＝78；最后修改yolov3参数层，将识别类别修改为21，实现模型适配工作；
[0015]S17、国产智能计算加速卡MLU100采用多核处理架构，采用数据并行和模型并行的方式运行；
[0016]S18、通过离线模型转换工具将Caffe框架下训练出来的.caffemodel模型进行转换，将基本算子、融合算子、MLU核版本、权重、输入/输出数据尺寸、参数信息、模型版本和MLU指令集成到模型中,使得目标检测算法彻底脱离机器学习库和深度学习框架运行,直接调用寒武纪智能加速卡的底层并行计算库；
[0017]S19、开发应用程序，包括前处理、后处理、推理三部分；前处理部分负责采集场景中的图片帧并将其转化为预设尺寸；推理部分负责加载YOLOv3算法离线模型，并分配输入、输出数据内存,以及绑定加速卡设备和环境变量，最后通过CNRT(Cambricon Neuware Runtime Library)和驱动交给MLU100智能加速卡进行推理识别，后处理负责将推理的结果进行显示，结果为目标检测的边界框。
[0018]一种基于智能加速卡的地面无人平台自主导航系统目标识别与定位方法，该自主导航系统包括目标识别算法、可视化模块、相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块，该方法包括如下步骤：
[0019]S21、将目标识别算法、可视化模块部署于于寒武纪智能加速卡MLU100中，相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块部署于自主导航计算机上，自主导航系统的各模块采用Dnet的进程间通信方式；
[0020]S22、设计集成方案硬件接口，包括各种传感器、通信设备和自主导航计算机，网络交换机负责自主导航计算机、网口传感器、视频处理设备以及通信设备之间的数据交换；
[0021]S23、设计集成方案软件接口，整个软件架构采用分层结构，自底向上分别是操作系统层、通信中间件层和应用层；
[0022]S24、设计相机/激光雷达融合模块，国产智能加速卡负责目标检测，通过Dnet中间件将输出的目标边界框的像素坐标发送到自主导航计算机的相机/激光雷达融合模块；自主导航计算机的相机/激光雷达融合模块负责将激光雷达采集的点云数据进行聚类；
[0023]S25、通过激光雷达和相机标定，获得相机点云数据到图像坐标系的转换矩阵；以此将聚类后的目标点云中心点坐标投影到相机采集的图像帧，即将三维空间坐标转换为二维像素坐标；
[0024]S26、相机/激光雷达融合模块根据国产智能加速卡识别的像素坐标和投影后的点云坐标，计算两者的欧式距离,以最近距离判断投影后的点云坐标和图像识别坐标的映射关系，进而提取场景中目标的三维位置。
[0025]一种基于智能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，该方法包括如下步骤：S11、选择寒武纪智能加速卡MLU100作为通用处理器的外接设备，通过PCIe总线完成自主导航计算机上的处理器和加速卡之间的信息交互，实现加速卡的系统集成；S12、UNREAL半实物仿真和物理环境下采集装甲车辆图像，通过OpenCV开源库对原始数据进行增加；S13、利用Labelme工具对图像中的装甲车辆进行标注，根据装甲车辆在图像中的项目位置和装甲车类别制作JSON文件，形成自制装甲车辆数据集；VOC2007、VOC2012图像检测公开数据集与自制装甲车辆数据集进行结合，形成多类样本数据库，构成YOLOv3识别模型的训练与测试数据，其中的80％用于训练，20％用于测试；S14、在通用服务器上部署基于残差神经网络改进的Darknet53框架下的YOLOv3识别算法，并对上述数据集进行迭代训练，初始学习率设为0.001，遗忘因子设为0.9，迭代次数设为50000，训练过程中通过平均准确率自适应调整训练参数，使用多尺度训练、多标签分类方法得到最终的目标识别模型；S15、通过工具darknet2caffe
‑
yolov3.py将通用服务器Darknet框架下的目标识别模型转为Caffe架构下的模型；S16、调整生成的YOLOv3模型文件；首先修改输入层，设置输出图片为[13416416]，新增RGB三通道均值和标准差为[0000.00392]；再修改上采样层，先将两个采样层的类型“Upsample”修改为“Interp”，再分别将采样层尺寸参数“upsample_param”{scale:2}修改为“interp_param”{height:26width:26}和{height:52width:52}；然后修改卷积“convolution”层，将“num_output”的值修改为3
×
(类别数目21+5)＝78；最后修改yolov3参数层，将识别类别修改为21，实现模型适配工作；S17、国产智能计算加速卡MLU100采用多核处理架构，采用数据并行和模型并行的方式运行；S18、通过离线模型转换工具将Caffe框架下训练出来的.caffemodel模型进行转换，将基本算子、融合算子、MLU核版本、权重、输入/输出数据尺寸、参数信息、模型版本和MLU指令集成到模型中,使得目标检测算法彻底脱离机器学习库和深度学习框架运行,直接调用寒武纪智能加速卡的底层并行计算库；S19、开发应用程序，包括前处理、后处理、推理三部分；前处理部分负责采集场景中的图片帧并将其转化为预设尺寸；推理部分负责加载YOLOv3算法离线模型，并分配输入、输出数据内存,以及绑定加速卡设备和环境变量，最后通过CNRT(Cambricon Neuware Runtime Library)和驱动交给MLU100智能加速卡进行推理识别，后处理负责将推理的结果进行显示，结果为目标检测的边界框。2.如权利要求1所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S12中，通过OpenCV开源库实施剪切、平移、旋转、镜像、调整亮度和增加噪声对原始数据进行增加，动态生成5000余张装甲车辆图像。3.如权利要求1所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S13中，形成人、鸟、猫、牛、狗、马、羊、飞机、自行车、船、公共汽车、汽车、摩托车、火车、瓶子、椅子、餐桌、盆栽、沙发、显示器、装甲车共21类样本数据库。
4.如权利要求1所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S17中，针对目标检测的实时性要求，设置最大模型并行度，对YOLOv3模型进行分割，以便启动多个运算核计算不同的输入数据，完成模型在不同的核上的并行运算。5.一种基于智能加速卡的地面无人平台自主导航系统目标识别与定位方法，其特征在于，该自主导航系统包括目标识别算法、可视化模块、相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块，该方法包括如下步骤：S21、将目标识别算法、可视化模块部署于于寒武纪智能加速卡MLU100中，相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块部署于自主导航计算机上，自主导航系统的各模块采用Dnet的进程间通信方式；S22、设计集成方案硬件接口，包括各种传感器、通信设备和自主导航计算机，网络交换机负责自主导航计算机、网口传感器、视频处理设备以及通信设备之间的数据交换；S23、设计集成方案软件接口，整个软件架构采用分层结构，自底向上分别是操作系统层、通信中间件层和应用层；S24、设计...

【专利技术属性】
技术研发人员：安旭阳，项燊，白晨青，苏治宝，李兆冬，杨婷婷，余雪玮，宋威龙，韩乐，
申请(专利权)人：中国北方车辆研究所，
类型：发明
国别省市：