基于FPGA异构深度学习的光学遥感图像目标检测方法技术

本发明专利技术提出了一种基于FPGA异构深度学习的光学遥感图像目标检测方法，主要解决现有技术中光学遥感图像目标检测中误检率高、鲁棒性差、功耗高的问题。实现步骤为：构建遥感图像训练数据集；构建基于多尺度特征交叉融合的目标检测网络；利用训练数据集训练该目标检测网络，得到目标权重；对该目标检测网络依次进行高级语言描述和编译，得到SOF可执行文件；在FPGA上运行上述得到的可执行文件，得到检测结果。本发明专利技术构建的网络，使用颜色空间转换和多尺度特征交叉融合，改善了因外界光线环境变化及目标小造成的误检和漏检，且选用FPGA作为加速平台，降低了网络运行功耗，可应用于对光学遥感图像不同区域内的飞机与舰船的地物识别。

Object detection method of optical remote sensing image based on FPGA heterogeneous deep learning

The invention proposes an optical remote sensing image target detection method based on FPGA heterogeneous depth learning, which mainly solves the problems of high error detection rate, poor robustness and high power consumption in the existing technology of optical remote sensing image target detection. The implementation steps are as follows: building training data set of remote sensing image; building target detection network based on multi-scale feature cross fusion; using training data set to train the target detection network and get the target weight; describing and compiling the target detection network in high-level language in turn to get the sof executable file; running the above executable file on FPGA to get the detection result \u3002 The network constructed by the invention uses color space conversion and multi-scale feature cross fusion to improve the false detection and missed detection caused by the change of external light environment and small target, and uses FPGA as the acceleration platform to reduce the network operation power consumption, which can be applied to the ground object recognition of aircraft and ships in different areas of optical remote sensing image.

【技术实现步骤摘要】
基于FPGA异构深度学习的光学遥感图像目标检测方法
本专利技术属于图像处理
，更进一步涉及一种光学遥感图像目标检测方法，可应用于对光学遥感图像的不同区域内的飞机与舰船的地物识别。
技术介绍
目标检测技术是计算机视觉领域的核心问题之一，遥感图像目标检测是以遥感卫星捕捉到的影像为数据源，采用图像处理技术对影像中感兴趣目标进行定位和分类。遥感图像目标检测是遥感应用技术中重要的一环，在军用和民用上都发挥重要的作用。在军事方面，光学遥感数据分析与处理方便收集情报和侦察，进而调整作战计划、军事部署；在民用方面，可以用于灾情监测、农业估产调查、土地利用规划、城市交通监测等诸多应用。现阶段的光学遥感技术，已经达到了高分辨率、大幅宽、高速以及多谱段探测的水平，导致获取的光学遥感数据量不断增大；高效的遥感图像处理方式在如此庞大的数据量中变得至关重要。目前，普遍使用的有光学遥感图像和红外遥感图像两种，其中光学遥感图像的目标检测方法大多是基于通用GPU的，基于该嵌入式平台目标检测算法实现起来比较容易，但是具有高功耗的缺点。而FPGA因并行程度高、工作资源功耗低、吞吐量较高等优点成为了众多高性能应用的最佳选择；而且后期还可以根据任务需求对FPGA上逻辑资源和存储资源进行灵活升级。但FPGA传统的开发方法存在门槛高、周期长等众多不足；加之目标检测算法过程相对比较复杂，当在嵌入式硬件平台上实现时，需要消耗大量的存储、计算单元，这就对硬件平台提出了较高的要求。专利文献“一种遥感影像小目标检测方法”(专利申请号：CN201811533900.7，公开号：CN109800637A)中提出了一种遥感影像小目标检测方法。该方法就是基于通用的GPU平台，其实现方案是：首先，对获取到的遥感影像通过深度神经网络进行特征提取；利用特征图提取建议候选框，特征图仅提取大目标建议候选框；将特征图或者原始影像划分为若干个小的区域，然后将每个小区域对应的原始影像放大后重新通过深度神经网络进行特征提取得到若干个新的特征图；对得到的特征图提取小目标的建议候选框；对提取出来的大目标建议候选框和小目标建议候选框进行汇总，然后进行分类，判断每个建议候选框属于哪个类别；对每个建议候选框进行边框回归；将提取出来的建议候选框经过非极大值抑制后，统一在原始影像上输出坐标点。该专利技术构建的网络，对光学遥感图像小目标检测准确率有明显提高。但是，该方法仍然存在的不足之处是，第一，基于“two-stage”的目标检测算法框架，检测网络利用RPN提取到的proposal信息对候选框位置进行预测和物体类别识别，流程复杂，检测速度慢，无法达到光学遥感图像中自动、准确、快速地识别出目标的目的；第二，该网络在RGB颜色空间处理遥感图像，易受海浪、海面杂波以及外界天气条件影响，算法的鲁棒性较差。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的缺陷，提出一种基于FPGA异构深度学习的光学遥感图像目标检测方法，以降低目标检测的运行功耗，提高目标检测的实时性、精度和鲁棒性。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)对原始的光学遥感图像在HSV颜色空间进行特征剔除的预处理；(2)构建训练数据集：(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅含有陆地飞机和水中舰船的光学遥感图像进行标注，并以每个飞机和舰船的目标中心为切割中心点，切割出大小为320×320×3的图像数据块，并保存到本地；(2b)对保存到本地的图像数据块进行数据增强预处理，得到训练数据集；(3)构建基于多尺度特征交叉融合的目标检测网络：(3a)构建用于提取图像特征的基础卷积模块；(3b)构建多尺度特征交叉融合层；(3c)使用基础卷积模块和多尺度特征交叉融合层搭建基于多尺度特征交叉融合的目标检测网络；(4)在通用GPU平台上，使用训练数据集对基于多尺度特征交叉融合的目标检测网络进行训练，并将训练好网络的.weights格式权重转换为.bin格式；(5)对(3)构建的目标检测网络依次进行高级语言描述和编译，得到SOF可执行文件；(6)基于FPGA板卡对超大遥感图像进行检测：(6a)将(4)得到的.bin格式的权重存入FPGA板卡内存的指定位置；(6b)将(5)得到的SOF文件通过JTAG接口下载到FPGA板卡的SRAM中；(6c)对待检测的超大遥感图像进行特征剔除的预处理；(6d)用窗口大小为300×300×3，且步长为260×260×3的滑窗，对预处理后的待检测超大遥感图像数据进行切割，得到多个大小为300×300×3的图像数据块，并保存每一个图像数据块对应的划窗步数；(6e)主机端通过C语言和OpenCl语言混合编程的方式，将上述得到的多个大小为300×300×3的图像数据依次映射到FPGA板卡的内存缓存区；(6f)在FPGA上运行基于多尺度特征交叉融合的目标检测网络，对内存缓冲区中大小为300×300×3的图像数据块进行检测，得到中间处理结果；(6g)主机端通过C语言和OpenCl语言混合编程的方式，从FPGA板卡的内存缓冲区读取中间处理结果；(6h)保留中间处理结果中所有得分高于0.24的目标类别的候选框，丢弃其余候选框；(6i)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。本专利技术与现有技术相比，具有以下优点：第一，本专利技术将待检测的遥感图像从RGB颜色空间转换到HSV颜色空间，并剔除了易受光线影响的V向量，对遥感图像中的光线明暗不一，物体反射等现象都具有很好的鲁棒性，有效地避免了光学遥感图像在拍摄时的角度和外界天气条件造成的同一类目标的类间差异性引起的网络误检；第二，本专利技术由于在网络中使用了不同特征层进行特征融合，克服了现有技术中对光学遥感图像中的小目标的检测与分类准确率低的问题，将网络中不同尺度的特征图进行交叉融合，即将浅层特征通过“平均池化”进行下采样，将深层特征通过“双线性插值”进行上采样，使得网络得到的特征既有全局信息又有局部信息，且用深层的全局特征进行分类，用浅层的局部特征回归，因而从整体上提高了光学遥感图像尤其小目标，如小型飞机与舰船的目标检测与分类准确率。第三，本专利技术由于采用行程度高、工作资源功耗低、吞吐量较高的FPGA作为高性能加速平台，所以，搭建的遥感图像目标检测网络相较GPU平台的相同网络具有更高“能耗比”，即网络的检测精度相同，目标检测的运行功耗更低，且检测速度也不慢。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1是本专利技术实现总流程图；图2是本专利技术实施例中构建的遥感图像目标检测网本文档来自技高网...

【技术保护点】
1.一种基于FPGA异构深度学习的光学遥感图像目标检测方法，其特征在于，包括如下：/n(1)对原始的光学遥感图像在HSV颜色空间进行特征剔除的预处理；/n(2)构建训练数据集：/n(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅含有陆地飞机和水中舰船的光学遥感图像进行标注，并以每个飞机和舰船的目标中心为切割中心点，切割出大小为320×320×3的图像数据块，并保存到本地；/n(2b)对保存到本地的图像数据块进行数据增强预处理，得到训练数据集；/n(3)构建基于多尺度特征交叉融合的目标检测网络：/n(3a)构建用于提取图像特征的基础卷积模块；/n(3b)构建多尺度特征交叉融合层；/n(3c)使用基础卷积模块和多尺度特征交叉融合层搭建基于多尺度特征交叉融合的目标检测网络；/n(4)在通用GPU平台上，使用训练数据集对基于多尺度特征交叉融合的目标检测网络进行训练，并将训练好网络的.weights格式权重转换为.bin格式；/n(5)对(3)构建的目标检测网络依次进行高级语言描述和编译，得到SOF可执行文件；/n(6)基于FPGA板卡对超大遥感图像进行检测：/n(6a)将(4)得到的.bin格式的权重存入FPGA板卡内存的指定位置；/n(6b)将(5)得到的SOF文件通过JTAG接口下载到FPGA板卡的SRAM中；/n(6c)对待检测的超大遥感图像进行特征剔除的预处理；/n(6d)用窗口大小为300×300×3，且步长为260×260×3的滑窗，对预处理后的待检测超大遥感图像数据进行切割，得到多个大小为300×300×3的图像数据块，并保存每一个图像数据块对应的划窗步数；/n(6e)主机端通过C语言和OpenCl语言混合编程的方式，将上述得到的多个大小为300×300×3的图像数据依次映射到FPGA板卡的内存缓存区；/n(6f)在FPGA上运行基于多尺度特征交叉融合的目标检测网络，对内存缓冲区中大小为300×300×3的图像数据块进行检测，得到中间处理结果；/n(6g)主机端通过C语言和OpenCl语言混合编程的方式，从FPGA板卡的内存缓冲区读取中间处理结果；/n(6h)保留中间处理结果中所有得分高于0.24的目标类别的候选框，丢弃其余候选框；/n(6i)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。/n...

【技术特征摘要】
1.一种基于FPGA异构深度学习的光学遥感图像目标检测方法，其特征在于，包括如下：
(1)对原始的光学遥感图像在HSV颜色空间进行特征剔除的预处理；
(2)构建训练数据集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅含有陆地飞机和水中舰船的光学遥感图像进行标注，并以每个飞机和舰船的目标中心为切割中心点，切割出大小为320×320×3的图像数据块，并保存到本地；
(2b)对保存到本地的图像数据块进行数据增强预处理，得到训练数据集；
(3)构建基于多尺度特征交叉融合的目标检测网络：
(3a)构建用于提取图像特征的基础卷积模块；
(3b)构建多尺度特征交叉融合层；
(3c)使用基础卷积模块和多尺度特征交叉融合层搭建基于多尺度特征交叉融合的目标检测网络；
(4)在通用GPU平台上，使用训练数据集对基于多尺度特征交叉融合的目标检测网络进行训练，并将训练好网络的.weights格式权重转换为.bin格式；
(5)对(3)构建的目标检测网络依次进行高级语言描述和编译，得到SOF可执行文件；
(6)基于FPGA板卡对超大遥感图像进行检测：
(6a)将(4)得到的.bin格式的权重存入FPGA板卡内存的指定位置；
(6b)将(5)得到的SOF文件通过JTAG接口下载到FPGA板卡的SRAM中；
(6c)对待检测的超大遥感图像进行特征剔除的预处理；
(6d)用窗口大小为300×300×3，且步长为260×260×3的滑窗，对预处理后的待检测超大遥感图像数据进行切割，得到多个大小为300×300×3的图像数据块，并保存每一个图像数据块对应的划窗步数；
(6e)主机端通过C语言和OpenCl语言混合编程的方式，将上述得到的多个大小为300×300×3的图像数据依次映射到FPGA板卡的内存缓存区；
(6f)在FPGA上运行基于多尺度特征交叉融合的目标检测网络，对内存缓冲区中大小为300×300×3的图像数据块进行检测，得到中间处理结果；
(6g)主机端通过C语言和OpenCl语言混合编程的方式，从FPGA板卡的内存缓冲区读取中间处理结果；
(6h)保留中间处理结果中所有得分高于0.24的目标类别的候选框，丢弃其余候选框；
(6i)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。


2.根据权利要求1所述的方法，其特征在于，(1)中对原始的光学遥感图像在HSV颜色空间进行特征剔除的预处理，其实现如下：
(1a)按照下面所示公式，将原始的光学遥感图像从RGB颜色空间转换到HSV颜色空间；
V＝max(R,G,B)






其中，R、G、B为遥感图像RGB颜色空间的三个参数，H、S、V为遥感图像在HSV颜色空间的三个参数。
(1b)舍弃HSV颜色空间图像数据中对光线敏感的V分量，保留对光线不敏感的H分量和S分量。


3.根据权利要求1所述的方法，其特征在于，(3a)中构建用于提取图像特征的基础卷积模块，其结构参数如下：
(3a1)模块结构：输入层→第一卷积层→第一最大池化层→第二卷积层→第二最大池化层→第三卷积层→第四卷积层→第五卷积层→第六卷积层→第一特征图→第三最大池化层→第七卷积层→第八卷积层→第九卷积层→第十卷积层→第二特征图→第四最大池化层→第十一卷积层→第十二卷积层→第十三卷积层→第十四卷积层→第三个特征图；
(3a2)各层参数如下：
输入层，其特征图映射图总数为3；
第一卷积层，其特征映射图的总数设置为64个，卷积核的大小设为7×7，划窗步长为2；
第一最大池化层，其特征映射图的尺寸设置为2×2，划窗步长为2；
第二卷积层，其特征映射图的总数设置为192个，卷积核的尺度设置为3×3，划窗步长为1；
第二最大池化层，其特征映射图的尺寸设置为2×2，划窗步长为2；
第三卷积层，其特征映射图的总数设置为128个，卷积核的尺度设置为1×1，划窗步长为1；
第四卷积层，其特征映射图的总数设置为256个，卷积核的尺度设置为3×3，划窗步长为1；
第五卷积层，其特征映射图的总数设置为256个，卷积核的尺度设置为1×1，划窗步长为1；
第六卷积层，其特征映射图的总数设置为512个，卷积核的尺度设置为3×3，划窗步长为1；该层的输出记为“第一特征图”；
第三最大池化层，其特征映射图的尺寸设置为2×2，划窗步长为2；

【专利技术属性】
技术研发人员：焦李成，刘芳，樊龙飞，苏蓓，孙璆琛，屈嵘，李玲玲，唐旭，冯志玺，杨淑媛，侯彪，田小林，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61