一种基于FPGA和深度学习的毫米波成像危险物品检测方法技术

本发明专利技术公开了一种基于FPGA和深度学习的毫米波成像危险物品检测方法，获取毫米波成像图片，标识出图片中的危险物品；构建检测危险物品的深度学习网络模型，利用标注好的毫米波成像图片进行模型训练，得到训练好的检测模型；将训练好的检测模型加载到FPGA平台的检测系统中；使用FPGA检测待测的毫米波图像；利用训练好的检测模型对采集的待测的毫米波图像进行检测；如果待测的图像中含有危险物品，则标记危险物品类别，进行报警，同时标记危险物品的不规则轮廓位置坐标。基于FPGA平台利用Mask R‑CNN物体检测框架训练出来的深度神经网络模型进行实时异物检测；相对于专用集成电路芯片有更好的功能可定制性优势。

A Method of Detecting Dangerous Goods with Millimeter Wave Imaging Based on FPGA and Deep Learning

The invention discloses a millimeter wave imaging dangerous goods detection method based on FPGA and depth learning, which obtains millimeter wave imaging pictures and identifies dangerous goods in pictures; builds a depth learning network model for detecting dangerous goods, trains the model by using the marked millimeter wave imaging pictures, and gets the trained detection model; and loads the trained detection model into the FPGA. In the detection system of the platform, we use the FPGA to detect the millimeter-wave image to be tested, use the trained detection model to detect the millimeter-wave image to be tested, if there are dangerous goods in the image to be tested, then mark the category of dangerous goods, alarm, and mark the irregular contour coordinates of dangerous goods. Based on the platform of FPGA, the deep neural network model trained by Mask R_CNN object detection framework is used to detect foreign bodies in real time. Compared with ASIC chip, it has better customizability.

【技术实现步骤摘要】
一种基于FPGA和深度学习的毫米波成像危险物品检测方法
本专利技术涉及一种毫米波成像危险物品检测技术，尤其涉及的是一种基于FPGA和深度学习的毫米波成像危险物品检测方法。
技术介绍
毫米波泛指频率位于红外和微波之间，在26.5-300GHz波段内的电磁波，它处于宏观电子学向微观光子学的过渡阶段。与微波相比，毫米波拥有更高的带宽特性和分辨能力；与光波相比，毫米波拥有更高的能量转换效率，可以透过一定物质的表面成像；与X射线相比，其电子能量较低，不会对人体组织造成伤害。主动式毫米波成像利用毫米波发射器件对被检人员及携带的物品进行照射，然后用接收天线收集反射或者散射的回波信号，并由信号处理系统进行成像。目前，公共安检口岸如机场、码头、地铁站、火车站等的主要安检设备有X射线人体检查仪和金属探测门等，前者透视能力强但辐射剂量大，会对人体造成极大的伤害；后者主要探测入检人员身上携带的金属物件，对其他危险物品没有响应。使用主动毫米波成像检查仪可以透过衣物对人体直接检查，检测内容不仅包括金属还包括任何会吸收毫米波的物件如毒品、爆炸物以及陶瓷刀等危险物品。目前基于毫米波成像的安检系统一方面通过检测员的人眼识别危险品，一方面通过架设高性能服务器，利用服务器中的高性能CPU和GPU运行图像识别算法来识别危险品。通过检测员的人眼识别危险品的辨别方法一方面对安检人员的要求较高，安检人员的素质和工作状态直接影响危险物品的检出率；另一方面检测速度较慢，在客流量较大的海关、地铁等场所应用时，显现出很大的不足。依靠CPU和GPU运行图像识别算法来检测危险物品，一方面由于性能不足，无法满足实时检测的要求；另一方面架设服务器需要额外的场地空间，给安检设备的结构设计和现场部署造成麻烦。使用图像检测来检测毫米波图像中的危险物品，可以实现自动识别，降低了人为因素的影响，提高了检测的速度。传统的图像检测方法依靠被检查物的位置特征、面积特征、颜色特征、形状特征等来实现检测，准确度较差。深度学习神经网络模模仿人类大脑的层次感知系统，通过多层网络学习到本质特征，准确度高于传统的图像检测方法。而且，传统检测方法随着数据量增大检测性能会趋于饱和，深度学习的方法则不同，当数据越来越多时，检测性能会越来越好。
技术实现思路
本专利技术所要解决的技术问题在于：现有技术无法精准提取危险物品的不规则外形轮廓，提供了一种基于FPGA和深度学习的毫米波成像危险物品检测方法。本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：(1)获取毫米波成像图片，标识出图片中的危险物品；(2)构建检测危险物品的深度学习网络模型，利用标注好的毫米波成像图片进行模型训练，得到训练好的检测模型；(3)将训练好的检测模型加载到FPGA平台的检测系统中；(4)使用FPGA检测待测的毫米波图像；(5)利用训练好的检测模型对采集的待测的毫米波图像进行检测；(6)如果待测的图像中含有危险物品，则标记危险物品类别，进行报警，同时标记危险物品的不规则轮廓位置坐标。所述步骤(2)包括以下步骤：(21)标注出每张含有危险物品的图像上的危险物品的轮廓，将标注好的图像作为深度学习网络的输入；(22)对每张图像利用卷积神经网络CNN进行特征提取，卷积神经网络包括5层卷积层和3层最大池化层，得到特征图；(23)根据区域建议网络RPN生成特征图的候选区域；(24)对候选区域利用ROIAlign提取出固定尺寸的特征图；(25)对特征图利用全连接层FC进行分类和得到包围盒；(26)对特征图利用Mask分支生成掩码，最终得到危险物品在图像上所占的像素；(27)根据图像中的危险物品标注，对特征图中的包围盒进行目标检测过程的边框回归操作，得到检测物体在图像中的位置和置信度，并相应调整异物检测模型。所述步骤(21)中，使用图像语义分割标注工具labelme进行标注。将每一张图像里的所有危险物品的轮廓分别标注出来，作为深度学习网络的输入。所述步骤(22)中，所述卷积神经网络对输入的图像数据做归一化处理，将图像大小调整为224*224，对每张图像利用8层卷积神经网络做特征提取：第一层为卷积层，初始化一张224*224大小的图像，经过大小为11*11、步长为2的卷积滤波器之后，生成110*110*32，进入下一层；第二层为最大池化层，大小为3*3、步长为2，得到55*55*32的输出，进入第三层；第三层为卷积层，卷积核为5*5，步长为2，得到26*26*86的输出；第四层为最大池化层，大小为3*3、步长为2，得到13*13*32的输出；第五层为卷积层，卷积核大小为3*3、步长为1，得到13*13*128的输出；第六层为卷积层，和第五层的卷积核大小和步长相同，得到13*13*128的输出；第七层为卷积层，和第五层的卷积核大小和步长相同，得到13*13*128的输出；第八层为最大池化层，大小为3*3、步长为2，得到13*13*128的特征图。所述步骤(23)中，区域建议网络RPN采用anchor机制，原始图像经过卷积神经网络生成的特征图上，每个点都对应原图上的9个anchor，经过区域建议网络RPN生成这9个anchor的四个坐标的回归和目标的概率值。所述步骤(24)中，ROIAlign的流程为，遍历每一个候选区域，将候选区域分割成k*k个单元，候选区域的浮点数边界和每个单元的边界都不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。所述步骤(26)中，生成掩码的Mask分支是一个全卷积网络FCN，输入为ROIAlign生成的固定大小的特征图，输出为它们的掩码，Mask分支包括4个卷积层，最后生成大小28*28*80的二值掩码图。所述步骤(27)中，FPGA在初始化完成后，加载训练好的深度学习网络模型参数；当待检测人员进入毫米波检测区域时，毫米波成像设备对人体反射的毫米波进行成像，并进行实时数据采集，每幅图像的尺寸大小为200*512像素；FPGA将图像数据作为输入，传递给FPGA中的深度学习程序框架，利用已加载的网络模型参数进行危险物品检测；如果当前处理的图像中存在危险物品，则标记危险物品的类别，开始报警，同时得到图像中掩码值为1的区域，用以标识危险物品的位置坐标；如果不存在危险物品，则继续处理下一幅图像。本专利技术相比现有技术具有以下优点：本专利技术是基于FPGA平台利用MaskR-CNN物体检测框架训练出来的深度神经网络模型进行实时异物检测；基于MaskR-CNN物体检测框架训练出来的深度神经网络模型相较于传统的检测算法，更加精确；相较于其它模型训练出的深度神经网络可以准确的提取出危险物品的不规则外形轮廓，而不仅仅是物品的包围盒。基于FPGA平台相对于传统的CPU有更好的并发性和更快的处理速度；相对于传统的GPU有更细的并发操作粒度和并发执行效率；相对于专用集成电路芯片有更好的功能可定制性优势。附图说明图1是MaskR-CNN深度学习网络模型的结构框图；图2是本专利技术的流程图。具体实施方式下面对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。如图1和图2所示，本实施例包括离线模型训本文档来自技高网...

【技术保护点】
1.一种基于FPGA和深度学习的毫米波成像危险物品检测方法，其特征在于，包括以下步骤：(1)获取毫米波成像图片，标识出图片中的危险物品；(2)构建检测危险物品的深度学习网络模型，利用标注好的毫米波成像图片进行模型训练，得到训练好的检测模型；(3)将训练好的检测模型加载到FPGA平台的检测系统中；(4)使用FPGA检测待测的毫米波图像；(5)利用训练好的检测模型对采集的待测的毫米波图像进行检测；(6)如果待测的图像中含有危险物品，则标记危险物品类别，进行报警，同时标记危险物品的不规则轮廓位置坐标。

【技术特征摘要】
1.一种基于FPGA和深度学习的毫米波成像危险物品检测方法，其特征在于，包括以下步骤：(1)获取毫米波成像图片，标识出图片中的危险物品；(2)构建检测危险物品的深度学习网络模型，利用标注好的毫米波成像图片进行模型训练，得到训练好的检测模型；(3)将训练好的检测模型加载到FPGA平台的检测系统中；(4)使用FPGA检测待测的毫米波图像；(5)利用训练好的检测模型对采集的待测的毫米波图像进行检测；(6)如果待测的图像中含有危险物品，则标记危险物品类别，进行报警，同时标记危险物品的不规则轮廓位置坐标。2.根据权利要求1所述的一种基于FPGA和深度学习的毫米波成像危险物品检测方法，其特征在于，所述步骤(2)包括以下步骤：(21)标注出每张含有危险物品的图像上的危险物品的轮廓，将标注好的图像作为深度学习网络的输入；(22)对每张图像利用卷积神经网络CNN进行特征提取，卷积神经网络包括5层卷积层和3层最大池化层，得到特征图；(23)根据区域建议网络RPN生成特征图的候选区域；(24)对候选区域利用ROIAlign提取出固定尺寸的特征图；(25)对特征图利用全连接层FC进行分类和得到包围盒；(26)对特征图利用Mask分支生成掩码，最终得到危险物品在图像上所占的像素；(27)根据图像中的危险物品标注，对特征图中的包围盒进行目标检测过程的边框回归操作，得到检测物体在图像中的位置和置信度，并相应调整异物检测模型。3.根据权利要求2所述的一种基于FPGA和深度学习的毫米波成像危险物品检测方法，其特征在于，所述步骤(21)中，使用图像语义分割标注工具labelme进行标注。4.根据权利要求3所述的一种基于FPGA和深度学习的毫米波成像危险物品检测方法，其特征在于，所述步骤(22)中，所述卷积神经网络对输入的图像数据做归一化处理，将图像大小调整为224*224，对每张图像利用8层卷积神经网络做特征提取：第一层为卷积层，初始化一张224*224大小的图像，经过大小为11*11、步长为2的卷积滤波器之后，生成110*110*32，进入下一层；第二层为最大池化层，大小为3*3、步长为2，得到55*55*32的输出，进入第三层；第三层为卷积层，卷积核为5*5，步长为2，得到26*26*86的输...

【专利技术属性】
技术研发人员：刘晓光，余开，张月皓，
申请(专利权)人：博微太赫兹信息科技有限公司，
类型：发明
国别省市：安徽,34