基于嵌入式平台的实时智能目标检测方法及系统技术方案

本发明专利技术提供了一种基于嵌入式平台的实时智能目标检测方法及系统，包括：步骤S1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；步骤S2：利用抽帧的方式选取关键帧和非关键帧；步骤S3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型进行目标定位与检测，重复触发步骤S1至步骤S2，直至未能获取视频数据。本发明专利技术提出的一种将改进模型和目标跟踪相结合融合运动目标检测技术的实时追踪算法。其中，改进的帧差法对原有三帧帧差法进行改进，可以提高检测边界的精准度。高检测边界的精准度。高检测边界的精准度。

【技术实现步骤摘要】
基于嵌入式平台的实时智能目标检测方法及系统


[0001]本专利技术涉及目标检测
，具体地，涉及基于嵌入式平台的实时智能目标 检测方法及系统。

技术介绍

[0002]近年来，人工智能技术飞速发展，与此同时，机器视觉技术作为人工智能重要 的一支也在高速发展中。借助于视觉，人类能够获取认知世界的重要信息，相比于 人眼视觉的局限性，通过机器的方式，可以帮助人类获取丰富的信息，大大扩宽了 人类的视野。借助于先进的机器工具，人类可以上探明月，下窥九洋，大到无垠的 宇宙，小到一个渺小的例子。作为计算机视觉领域的重要组成部分，目标检测与跟 踪技术是难度较大且具有挑战的任务。目标检测的主要任务是在某个图像中框定出 感兴趣的目标并对目标进行识别。目标跟踪的主要任务是给定关键帧中目标的位置 以及大小，在后续帧中对目标的位置以及大小进行预测，从而实现对目标的稳定跟 踪。在现代复杂环境中，能否准确快速检测目标物体以及进行实时追踪至关重要。 同时，相较于高性能的人工智能服务器，小型嵌入式设备更符合智能终端的需求。
[0003]国内外学者对目标检测与跟踪技术均有深入的研究，专利技术了大量先进的目标检 测与跟踪算法。在目标检测领域，传统的目标检测方式分为静态目标检测以及动态 目标检测，静态目标检测，常用的目标检测算法主要分为三个步骤：区域选择、特 征提取、分类回归。具体操作为，通过多尺度的窗口在原图上进行滑窗操作提取子 图，然后利用设定好的特征提取器对这些子图进行特征提取，最后通过分类器对这 些选定的特征进行分类，从而检测出目标区域。动态目标检测是在读入一段视频时 充分利用视频图片的上下文信息，考虑前后帧图片之间的差异信息，找出图片中的 运动目标区域并加以筛选，比较经典的方法有帧间差分法、背景差分法、光流法等。
[0004]同时随着人工智能技术的发展，出现了许多基于深度学习的检测算法通常具有 更好的准确率和召回率，单步检测以Joseph Redmon等人提出的YOLO系列算法为 代表，其在速度精度之间实现了较好的平衡。两步检测以Faster R
‑
CNN网络为代表， 先生成候选区域，再提取特征进行目标检测，虽然精度较高，但计算复杂度也很高， 难以在有限算力的情况下实现实时检测。单步目标检测算法将生成候选区和检测合 二为一，直接得到最终的检测结果，使得网络结构变得简单，检测速度较FasterR
‑
CNN也有近10倍的提升，这使得深度学习目标检测算法满足实时检测条件成为 可能。
[0005]然而随着识别场景的复杂度增加，神经网络深度、参数和模型大小也随之增涨， 在实际应用时，很难通过云端实时更新数据和部署大模型，同时由于小型嵌入式设 备自身计算能力以及内存的限制，大型算法运行时间较长，无法满足实时检测的需 求。需要在控制精度损失的条件下，压缩模型大小以及加速前向推理时间。常用的 方法主要分为两类。第一类是设计能够利用计算存储高效操作的新型网络结构， MobileNet是在2017年由谷歌提出的一款专注于移动设备和嵌入式设备的轻量级 卷积神经网络，相较于传统的神经网
络，在准确率小幅降低的前提下，大大减小了 模型参数和运算量。第二类是网络剪枝，剪枝就是去除网络中一些不重要的神经元， 大大降低了计算量和权重数量，提高了网络运行效率。现在剪枝主要分两种方向：
ꢀ①
权重剪枝
②
滤波器剪枝。滤波器剪枝相对于权重剪枝有一系列优点，包括它可以 得到规则的模型，减少内存消耗，加速网络推理等。
[0006]专利文献CN102842036A(申请号：201210287888.2)公开了面向船闸视频监控 的智能多目标检测方法，利用船只前沿的图像特征，在有遮挡的情况下，在视频中 识别出多个船只，在船只未进入监控区域前，对区域进行背景建模，获得背景图像； 对视频流中的每一帧，采用背景剪除方法，通过当前帧和背景帧的差异，获得运动 目标所在区域的前景；对步骤1.b所述的前景进行逐行扫描，在每行中记录遇到的 第一个像素点的行列坐标及像素值，从而获得船只运动前沿边缘曲线；以记录的边 缘曲线形状特征及像素值属性，对边缘曲线进行简化DBSCAN聚类，从而检测出多个 船只。
[0007]在目标跟踪领域，从传统的Kalman滤波、Particle滤波、Meanshift等算法到 基于相关滤波和检测的跟踪算法，再到近年来比较热的深度学习目标跟踪算法，性 能有了极大的改善。但是当应用到实际场景中时，依然存在许多问题有待解决，如 遮挡、尺度变化、背景干扰等。虽然一些算法能够在一定程度实现目标的快速跟踪， 如CSK、MOSSE、TLD等，但是当目标受到光照、形变、遮挡等影响时，跟踪过程受 到较大干扰，导致跟踪算法的精度不高，并且鲁棒性极低，会发生跟踪器漂移、跟 踪目标丢失等问题，无法完成准确的目标跟踪。随着检测与跟踪算法的进一步研究 和探索，出现了一些精度较好并且鲁棒性较强的算法，但是这些算法无法对目标物 体进行实时定位，并且对硬件资源需求较高。

技术实现思路

[0008]针对现有技术中的缺陷，本专利技术的目的是提供一种基于嵌入式平台的实时智能目 标检测方法及系统。
[0009]根据本专利技术提供的一种基于嵌入式平台的实时智能目标检测方法，包括：
[0010]步骤S1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区 域；
[0011]步骤S2：利用抽帧的方式选取关键帧和非关键帧；
[0012]步骤S3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目 标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标 定位与检测，重复触发步骤S1至步骤S2，直至未能获取视频数据；
[0013]所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标 集合，缩小数据量；
[0014]所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡， 进行目标位置及类别的识别。
[0015]优选地，所述步骤S1采用：
[0016]步骤S1.1：利用t时刻和t
‑
1时刻两帧图片相减，获得两帧的帧差结果，并将结果 直接进行二值化处理；
[0017][0018]其中，p1(x,y)表示t时刻和t
‑
1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐 标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；
[0019]步骤S1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直 接进行二值化处理；
[0020][0021]步骤S1.3：计算相邻三帧帧差结果；
[0022][0023]其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；
[0024]步骤S1.4：获取目标上边界精确轮廓；
[0025][本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于嵌入式平台的实时智能目标检测方法，其特征在于，包括：步骤S1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；步骤S2：利用抽帧的方式选取关键帧和非关键帧；步骤S3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标定位与检测，重复触发步骤S1至步骤S2，直至未能获取视频数据；所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，缩小数据量；所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡，进行目标位置及类别的识别。2.根据权利要求1所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，所述步骤S1采用：步骤S1.1：利用t时刻和t
‑
1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理；其中，p1(x,y)表示t时刻和t
‑
1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；步骤S1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直接进行二值化处理；步骤S1.3：计算相邻三帧帧差结果；其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；步骤S1.4：获取目标上边界精确轮廓；其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同；步骤S1.5：获取目标下边界精确轮廓；步骤S1.6：获取目标的整体轮廓；
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255。3.根据权利要求1所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，所述改进的目标识别模型采用：将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的预设部分标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积；采用ASFF目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测。4.根据权利要求1所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，所述训练改进的目标识别模型采用：首先通过图像预处理技术对数据集进行增强处理适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于改进的目标识别模型预测的最优先验框，优化调整网络预测结构。5.根据权利要求1所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理；所述对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理采用：对卷积层的所有滤波器进行重要性排序，将符合预设要求的不重要的滤波器减掉；所述对卷积层的所有滤波器进行重要性排序采用：以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，则当前滤波器越重要。6.根据权利要求1所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，所述多模型目标跟踪策略采用：滤波器H
i
和μ
l
都以升序初始化，以确定多个目标跟踪模型的更新率；在每一帧，滤波器的响应和相应的质量，按更新速率μ
l
升序计算；如果一个跟踪质量超过于阈值，则假定目标成功地定位，当前滤波器更新策略开始在定位的位置使用当前学习速率计算滤波器H
current
；超过质量阈值的滤波器H
i
的μ
l
，被用于更新不会超过质量阈值的较低更新率的滤波器；具有较高更新率的滤波器，使用相应的更新率来更新。7.根据权利要求6所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，所述多模型目标跟踪策略采用：其中，表示第l个目标跟踪模型；μ
l
表示对应的目标跟踪模型的更新率；其中μ
i
＜μ
i+1
，下标i表示第i帧；H
current
表示当前的更新滤波器模板；使用MOSSE算法的评价准测作为目标跟踪模型评价指标；其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标跟踪模型；
跟踪质量定义为跟踪器的一个置信度量；当任何跟踪质量超过了预设阈值，跟踪算法就会报告当前目标的位置；找到目标位置后，通过引入学习速率μ在频域更新滤波器模板；H
i
＝(1
‑
μ)H
i
‑1+(μ)H
current
ꢀꢀꢀꢀ
(9)其中：H
current
是当前滤波器模板；H
i
和H
i
‑1分别表示相邻滤波器模板；使用傅里叶逆运算的线性变换，得到如下等式：其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量；由于H
current

【专利技术属性】
技术研发人员：林敏，郭威，张浩博，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：