一种面向计算资源局限平台部署的实时目标检测的方法技术

本发明专利技术公开了一种面向计算资源局限平台部署的实时目标检测的方法，属于深度学习和图像处理领域。本发明专利技术通过对YOLO‑v3‑tiny神经网络进行改进，Tinier‑YOLO保留了YOLO‑v3‑tiny的前五个卷积层和池化层以及2个不同尺度的预测，引入了SqueezeNet中的Fire模块、1*1瓶颈层和Dense连接，使得该结构可以在嵌入式AI平台上实时运行。本发明专利技术的Tinier‑YOLO的模型尺寸仅为7.9MB，本发明专利技术的实时性能与YOLO‑v3‑tiny相比提高了21.8％，与YOLO‑v2‑tiny相比提高了70.8％；准确度与YOLO‑v3‑tiny相比提高了10.1％，与YOLO‑v2‑tiny相比提高了近18.2％。本发明专利技术的Tinier‑YOLO能够实现在计算资源有限的平台上仍然可以进行实时检测的目的，且效果更好。

A Real-time Target Detection Method for Computing Resource Limited Platform Deployment

【技术实现步骤摘要】
一种面向计算资源局限平台部署的实时目标检测的方法
本专利技术涉及一种面向计算资源局限平台部署的实时目标检测的方法，属于深度学习和图像处理领域。
技术介绍
物体检测是许多新兴领域的重要任务，如机器人导航，自动驾驶等。在这些复杂场景中，基于深度学习方法的对象检测方法比传统方法具有更大的优势，基于深度学习的目标检测算法不断兴起，如R-CNN、SPPNet、fast-R-CNN、faster-R-CNN、R-FCN和FPN。虽然这些物体检测算法达到了前所未有的准确度，但检测速度并不快，远远不能满足在低计算能力设备上的实时性的要求。同时，深度学习模型大小通常占用大量存储空间并且需要强大的GPU计算能力，然而在大多数的实际应用场景中，无法在设备上放置功能强大的GPU工作站。因此，需要寻找一种同时具有出色的实时性能和更小的模型尺寸的物体检测算法。YOLO是具有实时性能和高精度的最快的物体检测方法之一，YouOnlyLookOnce(YOLO)自引入以来一直在不断优化，YOLO-V1有两个全连接层和24个卷积层，其规模达到1GB，占用存储空间非常大，对运行平台的性能要求非常高。在此基础上，YOLO-V2删除完全连接的图层并使用锚框来预测边界框，YOLO-V3利用残差结构进一步加深网络层，实现精度的突破，与此同时，YOLO的tiny版本占用的存储空间更少，Tiny-YOLO-V3只有34MB，达到了前所未有的轻量级，但移动终端的存储容量仍然不小。但是，目前所有版本的YOLO都无法在嵌入式和移动设备上实现实时性能。YOLO仍然需要在轻量级和实时性方面进行大量改进。根据YOLO的发展趋势和当前的实际应用场景，减少模型参数、减少存储空间和提高精度是当前的发展趋势。如何实现YOLO在嵌入式和移动设备上实现实时和精确的性能，实现多个物体的实时监测，仍是一个重大的挑战。Highway和ResNet结构中均提出了一种数据旁路(skip-layer)的技术来使得信号可以在输入层和输出层之间高速流通，核心思想都是创建了一个跨层连接来连通网路中前后层，之后由康奈尔大学、清华大学、FacebookFAIR实验室合著的《DenselyConnectedConvolutionalNetworks》对其进行了详细的阐述，为了最大化网络中所有层之间的信息流，作者将网络中的所有层两两都进行了连接，使得网络中每一层都接受它前面所有层的特征作为输入。由于网络中存在着大量密集的连接，作者将这种网络结构称为Dense连接。Dense连接具有能够减轻梯度弥散的问题，使模型不容易过拟合；能够增强特征在各个层之间的流动，大大减少参数个数，提高了训练效率等优点。SqueezeNet是在利用现有的基于卷积神经网络(ConvolutionalNeuralNetworks，CNN)模型并以有损的方式压缩的一种小型模型的网络结构。利用少量的参数训练网络模型，实现模型的压缩。它采用FireModle模型结构，分为压缩部分和扩展部分，利用压缩部分和扩展部分相连接形成一种Fire模块中组织卷积过滤器。通常的SqueezeNet开始于一个独立的卷积层(conv1)，然后是8个Fire模块，最后是一个最终的转换层(conv10)。
技术实现思路
为了解决上述问题，本专利技术提供了一种可用于多目标实时检测的方法，本专利技术方法能够在嵌入式设备如JetsonTX1、JetsonTX2和移动设备上运行进行目标检测，准确率和实时性均高于YOLO的tiny版本。具体的，本专利技术的技术方案为：一种基于图像处理的目标检测的方法，所述方法包括以下步骤：(1)在含有GPU的平台部署Tinier-YOLO，通过摄像头采集画面；(2)Tinier-YOLO读取摄像头采集到的图像；(3)Tinier-YOLO检测识别目标信息；(4)将目标检测的结果信息实时输出到设备屏幕或摄像头自带的屏幕上；其中，所述Tinier-YOLO为改进的YOLO-v3-tiny网络结构：保留YOLO-v3-tiny网络结构的前五个卷积层和池化层的交替运算，其后依次连接五个SqueezeNet中的Fire模块，输出至第一个直通层，之后所述直通层连接第六个SqueezeNet中的Fire模块，并使用Dense连接将五个Fire模块的输出特征图和第六个Fire模块的输入相连，第六个Fire模块的数据输出至第二个直通层和一个1*1瓶颈层，之后的数据再经过上采样层放大图像得到特征图大小为26*26的第三个直通层，之后再依次连接第七个和第八个SqueezeNet中的Fire模块进行数据压缩，之后数据输出至1*1瓶颈层，连接输出端，输出的特征图大小为26*26，此外，第一个直通层和第三个直通层分别与第五个卷积层连接，获取第五个卷积层的输出特征；第六个SqueezeNet中的Fire模块处也连接有输出端，输出的特征图大小为13*13；重新训练网络，即可得到Tinier-YOLO。在本专利技术的一种实施方式中，所述直通层是自YOLO-v2算法中引入的。在本专利技术的一种实施方式中，所述使用Dense连接将五个Fire模块的输出特征图和第六个Fire模块的输入相连是指：第一个到第五个Fire模块的输出同时作为第六个Fire模块的输入。在本专利技术的一种实施方式中，所述第三个直通层将放大后的图像与第五个卷积层的特征图的输出进行了特征融合。在本专利技术的一种实施方式中，所述画面为图片或者视频中的画面。在本专利技术的一种实施方式中，所述目标为人、移动物体或者静止物体。在本专利技术的一种实施方式中，所述目标优选为人或移动物体。在本专利技术的一种实施方式中，所述移动物体为交通工具或动物。在本专利技术的一种实施方式中，所述交通工具为飞机、船舶、火车、公共汽车、汽车、摩托车或自行车等。在本专利技术的一种实施方式中，所述动物为猫、狗、羊、马、牛、鸟等。在本专利技术的一种实施方式中，所述含有GPU的平台为任一存储空间不小于10MB的设备，例如JetsonTX1、JetsonTX2、iPone、华为等智能手机；尤其的，本专利技术方法能够适用于计算资源局限的平台，即具有GPU处理性能的嵌入式平台或移动设备。在本专利技术的一种实施方式中，所述具有GPU处理性能的嵌入式平台为JetsonTX1或JetsonTX2等性能相当的嵌入式设备。本专利技术还提供了一种基于图像处理的目标检测的装置，所述装置包括采集装置、计算模块和输出模块，其中，计算模块包括计算网络和硬件设备，所述图像采集模块用于采集数据，计算网络在硬件设备上运行以读取采集得到的图像并对行目标进行检测，之后将检测信息通过硬件设备或图像采集装置输出；其中，所述Tinier-YOLO为改进的YOLO-v3-tiny网络结构：保留YOLO-v3-tiny网络结构的前五个卷积层和池化层的交替运算，其后依次连接五个SqueezeNet中的Fire模块，输出至第一个直通层，之后所述直通层连接第六个SqueezeNet中的Fire模块，并使用Dense连接将五个Fire模块的输出特征图和第六个Fire模块的输入相连，第六个Fire模块的数据输出至第二个直通层和一个1*1瓶颈层，之后的数据再经过上采样层放大图像得到特征图大小为26*26的第三个直通层，之后再依次连接第七个和第八个Squeez本文档来自技高网...

【技术保护点】
1.一种面向计算资源局限平台部署的实时目标检测的方法，其特征在于，所述方法包括以下步骤：(1)在含有GPU的平台部署Tinier‑YOLO，通过摄像头采集画面；(2)Tinier‑YOLO读取摄像头采集到的图像；(3)Tinier‑YOLO检测识别目标信息；(4)将目标检测的结果信息实时输出到设备屏幕或摄像头自带的屏幕上；其中，：保留YOLO‑v3‑tiny网络结构的前五个卷积层和池化层的交替运算，其后依次连接五个SqueezeNet中的Fire模块，输出至第一个直通层，之后所述直通层连接第六个SqueezeNet中的Fire模块，并使用Dense连接将五个Fire模块的输出特征图和第六个Fire模块的输入相连，第六个Fire模块的数据输出至第二个直通层和一个1*1瓶颈层，之后的数据再经过上采样层放大图像得到特征图大小为26*26的第三个直通层，之后再依次连接第七个和第八个SqueezeNet中的Fire模块进行数据压缩，之后数据输出至1*1瓶颈层，连接输出端，输出的特征图大小为26*26，此外，第一个直通层和第三个直通层分别与第五个卷积层连接，获取第五个卷积层的输出特征；第六个SqueezeNet中的Fire模块处也连接有输出端，输出的特征图大小为13*13；重新训练网络，即可得到Tinier‑YOLO。...

【技术特征摘要】
1.一种面向计算资源局限平台部署的实时目标检测的方法，其特征在于，所述方法包括以下步骤：(1)在含有GPU的平台部署Tinier-YOLO，通过摄像头采集画面；(2)Tinier-YOLO读取摄像头采集到的图像；(3)Tinier-YOLO检测识别目标信息；(4)将目标检测的结果信息实时输出到设备屏幕或摄像头自带的屏幕上；其中，：保留YOLO-v3-tiny网络结构的前五个卷积层和池化层的交替运算，其后依次连接五个SqueezeNet中的Fire模块，输出至第一个直通层，之后所述直通层连接第六个SqueezeNet中的Fire模块，并使用Dense连接将五个Fire模块的输出特征图和第六个Fire模块的输入相连，第六个Fire模块的数据输出至第二个直通层和一个1*1瓶颈层，之后的数据再经过上采样层放大图像得到特征图大小为26*26的第三个直通层，之后再依次连接第七个和第八个SqueezeNet中的Fire模块进行数据压缩，之后数据输出至1*1瓶颈层，连接输出端，输出的特征图大小为26*26，此外，第一个直通层和第三个直通层分别与第五个卷积层连接，获取第五个卷积层的输出特征；第六个SqueezeNet中的Fire模块处也连接有输出端，输出的特征图大小为13*13；重新训练网络，即可得到Tinier-YOLO。2.根据权利要求1所述的一种面向计算资源局限平台部署的实时目标检测的方法，其特征在于，使用Dense连接将五个Fire模块的输出特征图和第六个Fire模块的输入相连是指：第一个到第五个Fire模块的输出同时作为第六个Fire模块的输入。3.根据权利要求1或2所述的一种面向计算资源局限平台部署的实时目标检测的方法，其特征在于，所述第三个直通层将放大后的图像与第五个卷积层的特征图的输出进行了特征融合。4.根据权利要求1-3任一所述的一种面向计算资源局限平台部署的实时目标检测的方法，其特征在于，所述目标为人、移动物体或者静止物体。5.根据权利要求1～4任一所述的一种面向计算资源局限平台部署的实时目标检测的方法，其特征...

【专利技术属性】
技术研发人员：方伟，任培铭，王林，孙俊，吴小俊，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32