一种城市遥感嵌入式多目标检测定位方法和系统技术方案

本发明专利技术公开了一种城市遥感嵌入式多目标检测定位方法，获取输入图像后，由特定结构的高速缓冲控制器直接与GPU进行数据交换，经特征提取、特征融合获取三尺度特征图，再将检测头中的目标检测结果与多传感器信息多线程计算，定位目标并由GStreamer管道接收器元件将融合定位结果输出。本发明专利技术还公开了实现所述方法的系统。本发明专利技术提供了一种城市遥感目标检测与定位任务在嵌入式设备中实现的完整解决方案，具备计算量小、检测精度高、灵活性强的特点。点。点。

【技术实现步骤摘要】
一种城市遥感嵌入式多目标检测定位方法和系统


[0001]本专利技术涉及遥感和计算机视觉
，尤其涉及一种城市遥感嵌入式多目标检测与定位方法和系统。

技术介绍

[0002]计算机视觉已经广泛应用在各类场景，实现对设备、环境、人员等信息的感知、分析和决策能力。目标检测作为计算机视觉的一种应用形态，可以自动化地实现对图像或长时视频中目标的检测和识别，减少人工干预的需要，提高安全性和保障性。随着城市化进程的加速，城市的规模和数量不断增长，目标检测技术在城市地物信息准确提取和分析、城市环境状况监测和自然灾害应对等方面都有着重要的意义。依靠嵌入式目标检测技术不仅可以快速、准确地提取城市地物信息，为城市规划和管理提供有效的数据支撑，而且能够在灾害发生后快速获取受灾地区的信息，为灾后救援和重建提供数据支持。
[0003]得益于嵌入式硬件设备和深度学习网络的快速发展，目标检测任务已经可以在部分嵌入式设备运行，但其准确率和实时性难以得到保障，仍然面临着许多问题。首先是嵌入式系统的硬件资源相对有限，因此需要针对硬件资源进行优化，提高嵌入式目标检测算法的运行效率。其次是嵌入式目标检测任务通常需要在实时性要求较高的场景下进行，如交通安全、安防监控等，因此需要对算法进行实时性优化，确保算法能够在较短的时间内完成目标检测和识别任务。再者嵌入式目标检测任务需要在复杂多变的环境中进行，如无人机遥感目标检测过程存在着光照、天气、物体角度多变的情况，需要模型具备良好的鲁棒性。最后，为了实现实时性，嵌入式目标检测算法的复杂度通常较低，因此需要在保证检测效果的前提下，尽可能降低算法的复杂度。因此，研究如何更好的发挥嵌入式设备的隐私性、应用场景广泛和节约成本等优势，使嵌入式目标检测任务的执行变得更加高效、实时、鲁棒，是非常有意义的。

技术实现思路

[0004]本申请提出一种城市遥感嵌入式多目标检测与定位方法和系统，增强嵌入式检测系统模块键耦合性，解决遥感目标检测存在漏检、错检、实时性差的问题。
[0005]一方面，本申请实施例提出一种城市遥感嵌入式多目标检测定位方法，具体步骤如下：
[0006]获取图像数据，并完成标注、清洗和划分，进行数据分析和离线数据增强，取得数据集；
[0007]搭建深度学习网络，包括结构重参数化特征提取网络和有效残差路径聚合网络；
[0008]利用所述数据集对所述深度学习网络进行超参数调整和服务器训练，直到网络参数不再收敛或训练时长达到预设轮数，获取预训练权重；
[0009]将原始网络中的激活函数替换为可训练的截断式激活函数，加载预训练权重对网络进行微调并保留最终的网络结构文件和权重参数文件；
[0010]在嵌入式设备中配置目标检测逻辑，进行多传感器集成，并获取多传感器融合信息，将网络结构文件和权重参数文件部署其中；
[0011]搭建GStreamer多媒体管道，将所述目标检测逻辑和传感器模块作为元件连接至管道；
[0012]嵌入式设备实时获取视频流和姿态信息，开辟多线程，将多传感器融合信息输出至目标检测逻辑；
[0013]推理过程根据CPU、GPU和深度学习硬件加速器多线程调度方式，图像数据由高速缓冲控制器直接传输至GPU执行预测并输出定位结果。
[0014]优选地，所述目标检测逻辑使用深度学习网络、并行计算库和深度学习硬件加速器，包括以下步骤：
[0015]设定编译配置参数；
[0016]模型权重使用TensorRT进行饱和量化，经过构造器生成序列化模型；
[0017]推理阶段，推理算法加载序列化量化模型，使用并行计算库以并调用深度学习硬件加速器对模型进行加速。
[0018]优选地，所述高速缓冲控制器，包含cache数据存储器结构，GPU与二级高速缓存控制器直接进行数据交换，CacheSRAM采用组件直接相连，组内全相连的四路组相联的映射结构，每个存储单元就是一个Cache块，每个Cache块包含8个小Cache快，每个小Cache块为4个字节且每个小Cache块都有读写使能信号；根据使能信号可实现对每个小Cache块的读写操作，提高CacheSRAM的利用率。
[0019]优选地，所述多线程调度方式，对嵌入式设备多核CPU、GPU和DLA进行调度，使得一个线程完成GPU的计算后，第二个线程立即开始图形计算任务。
[0020]优选地，所述多传感器集成，包括姿态传感器和GPS模块，通过特定编解码协议进行数据集成，姿态传感器集成陀螺仪、加速度计和地磁传感器。
[0021]优选地，所述多传感器融合信息，GPS模块和姿态传感器通过UART串口连接嵌入式设备，根据设定编解码逻辑将集成数据二进制结果输出至目标检测逻辑，在推理过程中与检测头特征图信息开辟多线程进行融合计算，而不是等待检测头输出结果后再串行地去读取多传感器融合信息。
[0022]优选地，所述可训练的截断式激活函数，其特征在于设定可训练参数α，限制ReLu激活函数x轴正半轴[α,+∞)范围取值为α，(
‑
∞,0)范围取值为1/α，减少非饱和量化过程离群点。
[0023]优选地，所述结构重参数化特征提取网络，包含残差多支路结构，推理过程对模块结构进行重参数化，仅通过3
×
3卷积进行特征提取。
[0024]优选地，所述有效残差路径聚合网络，包含CSP残差结构，使用通道注意力模块对多层级残差信息进行自适应调整，赋予包含有效信息的通道更大权重，增强特征融合能力。
[0025]另一方面，本申请还提出一种城市遥感嵌入式多目标检测与定位系统，用于实现本申请任意一项实施例所述方法，包括：
[0026]服务器端，用于深度学习网络训练，得到预训练权重并进行截断式激活量化，获取网络结构文件和权重参数文件；
[0027]嵌入式端，包括传感器模块、目标检测逻辑和嵌入式设备，其中传感器模块和目标
检测逻辑作为元件挂载于GStreamer管道；
[0028]所述传感器模块，用于实时获取视频流和姿态信息并输出至目标检测逻辑；
[0029]所述目标检测逻辑，用于执行预测并输出定位结果；
[0030]所述嵌入式设备，包含CPU、GPU和高速缓冲控制器，所述高速缓冲控制器用于执行多线程调度方式。
[0031]本申请提供的技术方案带来的有益效果至少包括：
[0032]城市遥感场景下的目标存在尺度多样性和视角多样性，针对现有通用目标检测方法的不足和系统的限制，本专利技术提出了一种复杂背景下的基于嵌入式设备的多目标实时检测系统，该系统具备高效率、高灵活性和易实现的特点；系统检测过程基于GStreamer管道设计，包括目标检测逻辑和多传感器集成，各个模块高度集成，同时设计算法对多目标、小目标图像关键特征进行增强，实现城市遥感背景下多尺度目标的全面、准确检测。
附图说明
[0033]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市遥感嵌入式多目标检测定位方法，其特征在于，具体步骤如下：获取图像数据，并完成标注、清洗和划分，进行数据分析和离线数据增强，取得数据集；搭建深度学习网络，包括结构重参数化特征提取网络和有效残差路径聚合网络；利用所述数据集对所述深度学习网络进行超参数调整和服务器训练，直到网络参数不再收敛或训练时长达到预设轮数，获取预训练权重；将原始网络中的激活函数替换为可训练的截断式激活函数，加载预训练权重对网络进行微调并保留最终的网络结构文件和权重参数文件；在嵌入式设备中配置目标检测逻辑，进行多传感器集成，并获取多传感器融合信息，将网络结构文件和权重参数文件部署其中；搭建GStreamer多媒体管道，将所述目标检测逻辑和传感器模块作为元件连接至管道；嵌入式设备实时获取视频流和姿态信息，开辟多线程，将多传感器融合信息输出至目标检测逻辑；推理过程根据CPU、GPU和深度学习硬件加速器多线程调度方式，图像数据由高速缓冲控制器直接传输至GPU执行预测并输出定位结果。2.如权利要求1所述城市遥感嵌入式多目标检测定位方法，所述目标检测逻辑使用深度学习网络模型、并行计算库和深度学习硬件加速器，其特征在于：设定编译配置参数；模型权重使用TensorRT进行饱和量化，经过构造器生成序列化模型；推理阶段，推理算法加载序列化量化模型，使用并行计算库以并调用深度学习硬件加速器对模型进行加速。3.如权利要求1所述城市遥感嵌入式多目标检测定位方法，其特征在于，所述高速缓冲控制器，包含cache数据存储器结构，GPU与二级高速缓存控制器直接进行数据交换，CacheSRAM采用组件直接相连，组内全相连的四路组相联的映射结构，每个存储单元就是一个Cache块，每个Cache块包含8个小Cache快，每个小Cache块为4个字节且每个小Cache块都有读写使能信号；根据使能信号可实现对每个小Cache块的读写操作，提高CacheSRAM的利用率。4.如权利要求1所述城市遥感嵌入式多目标检测定位方法，其特征在于，所述多线程调度方式，对嵌入式设备多核CPU、GPU和DLA进行调度，使得一个线程完成GPU的计算后，第二个线程立...

【专利技术属性】
技术研发人员：蓝金辉，宋云广，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：