一种基于无人机的智能视觉分析系统、智能视觉分析系统及方法技术方案

本发明专利技术涉及一种智能视觉分析系统，包括：视频获取模块、目标检测模块和行人跟踪计数模块；视频获取模块用于获取行人的视频数据，目标检测模块对视频数据进行行人检测，输出检测结果到行人跟踪计数模块，行人跟踪计数模块关联每一帧图像的检测结果，获得行人的轨迹信息，通过计算轨迹的数量统计人数。本发明专利技术的系统可以自动地统计出某一区域内行人的数量，大大减少人力成本，同时提高了计数的准确度和效率。本发明专利技术还涉及一种基于无人机的智能视觉分析系统、一种智能视觉分析方法。

An Intelligent Visual Analysis System, Intelligent Visual Analysis System and Method Based on UAV

【技术实现步骤摘要】
一种基于无人机的智能视觉分析系统、智能视觉分析系统及方法
本专利技术涉及计算机视觉
，具体涉及一种基于无人机的智能视觉分析系统、智能视觉分析系统及方法。
技术介绍
人流量统计是安防监控领域一项重要的任务，人流量过大极易引发踩踏等伤亡事故的发生，对某一区域进行实时的人数统计可以帮助我们及时了解该区域的人员密度，从而采取适当的措施预防各类危险事件的发生。目前，仅仅通过固定摄像头，依靠人去完成某一区域的人数统计极其耗费人力成本，并且可计数范围小，效率和精度低，远远达不到应用的要求。随着计算机视觉与无人机技术的发展，计算机视觉算法能够替代人工进行人数统计，如何利用计算机视觉算法进行人流量的统计，是目前亟待解决的问题。
技术实现思路
为解决上述现有技术中的不足，本专利技术的目的在于提供一种可用于人流量统计的智能视觉分析系统及方法。本专利技术的技术方案是这样实现的：根据本专利技术的第一方面，公开了一种智能视觉分析系统。在一些可选实施例中，一种智能视觉分析系统，包括：视频获取模块、目标检测模块和行人跟踪计数模块；视频获取模块用于获取行人的视频数据，目标检测模块对视频数据进行行人检测，输出检测结果到行人跟踪计数模块，行人跟踪计数模块关联每一帧图像的检测结果，获得行人的轨迹信息，通过计算轨迹的数量统计人数。可选地，所述目标检测模块为预先训练好的YOLOV3网络模型，用于对输入的图像进行处理，目标检测模块分别在三种不同尺度的特征图上检测目标。可选地，所述目标检测模块包括：第一个分支，输入的视频帧经过由DBL模块、res模块以及卷积层构成的第一个分支后，输出第一预测结果y1；在第一个分支基础之上，所述目标检测模块还包括第二个分支，将第一个分支的高层特征图送入一个DBL模块与一个上采样层之后与第一个分支的低层特征图相结合，随后再经过6个DBL模块与1个卷积层得到第二预测结果y2；所述目标检测模块还包括第三个分支，第三个分支采取与第二个分支相同的策略得到第三预测结果y3，即将第二个分支的高层特征图送入一个DBL模块与一个上采样层之后与第一个分支的低层特征图相结合，随后再经过6个DBL模块与1个卷积层得到第三预测结果y3。可选地，所述行人跟踪计数模块包括：特征提取模块、相似性度量模块和交并比匹配关联模块；特征提取模块用于对目标检测模块的检测结果提取外观特征，进行行人再识别；相似性度量模块根据特征提取模块提取的外观特征，使用最小欧氏距离公式完成检测结果的关联匹配；交并比匹配关联模块对未能成功匹配的检测结果以及不完整轨迹再次进行匹配。可选地，特征提取模块为预先训练好的网络模型，对输入的检测结果进行处理，输入图像经过两层卷积层、一层最大值池化层，再经过三个由密集连接层和过渡层组成的模块以及一个密集连接层，最后将特征送入全连接层，输出一个128维特征向量，并对该特征向量进行L2归一化计算得到最后的特征向量。可选地，密集连接层由多个卷积层组成，任何两层卷积层之间都有直接的连接，每一层的输入都是前面所有层输出的并集；过渡层由卷积层和池化层组成，主要用于给特征图降维；网络模型搭建完成后，对各层的参数进行初始化。可选地，相似性度量模块包括：将视频第一帧图像中所有检测结果初始化为一个轨迹集合，从第二帧图像开始，根据最小欧式距离公式计算当前检测结果与当前轨迹集合中所有轨迹的最小欧氏距离值，然后取其中的最小值，当该最小值小于预设阈值，则将当前检测结果与该轨迹相匹配，否则不匹配。可选地，相似性度量模块采用如下公式(1)中的最小欧式距离公式，计算当前检测结果与一段轨迹的最小欧氏距离值。其中，E代表欧式距离的计算，aj为当前检测结果的外观特征，Ai为一段轨迹的外观特征集合，表示属于集合Ai的单个检测结果的外观特征，i(i≥1)为轨迹的索引，j(j≥1)为检测结果的索引，k(1≤k≤50)为Ai中单个检测结果外观特征的索引。可选地，交并比匹配关联模块包括：首先使用卡尔曼滤波，根据具有不完整轨迹的目标的之前状态预测目标在当前帧的位置，计算每一个未成功匹配的检测结果与所有预测位置的交并比距离值，随后将计算得到的交并比距离值放入一个矩阵中，使用匈牙利算法根据矩阵中的值对齐预测位置与未成功匹配检测结果，进而完成上一阶段未能成功匹配的检测结果与不完整轨迹之间的关联。可选地，交并比匹配关联模块利用如下公式(2)计算每一个未成功匹配的检测结果与所有预测位置的交并比距离值。其中，Area(a)和Area(b)为进行交并比计算的两个区域。可选地，智能视觉分析系统还包括解码及传输模块，解码及传输模块对视频获取模块的视频数据进行解码，并将解码后的视频数据发送到目标检测模块。可选地，解码及传输模块将解码后的视频数据发布至某节点，目标检测模块从该节点获取视频数据。可选地，智能视觉分析系统还包括无人机和数据回传模块，无人机相机云台上挂载有所述视频获取模块，用于获取视频数据，智能视觉分析系统的处理结果通过数据回传模块返回到用户端。根据本专利技术的第二方面，公开了一种基于无人机的智能视觉分析系统。在一些可选实施例中，一种基于无人机的智能视觉分析系统，包括前文所述的智能视觉分析系统，还包括：无人机和数据回传模块，无人机相机云台上挂载有所述视频获取模块，用于获取视频数据，智能视觉分析系统的处理结果通过数据回传模块返回到用户端。根据本专利技术的第三方面，公开了一种智能视觉分析方法。在一些可选实施例中，一种智能视觉分析方法，包括以下步骤：步骤11，获取行人的视频数据；步骤12，对获取的视频数据进行行人检测；步骤13，根据步骤12的检测结果，关联每一帧图像的检测结果，获得行人的轨迹信息，通过计算轨迹的数量统计人数。可选地，所述获取视频数据的步骤11，包括：通过无人机云台搭载相机获取视频数据。可选地，所述对获取的视频数据进行行人检测的步骤12，包括：调用预先训练好的YOLOV3网络模型，用于对输入的图像进行处理，分别在三种不同尺度的特征图上检测目标。可选地，YOLOV3网络模型的训练过程包括：对图像中的行人进行标注，用标签记录行人类别信息和位置信息；将图像与标签作为训练数据送入YOLOV3网络模型中对网络进行训练，网络每次前向传播均会产生损失值，损失值反向传播后更新网络每层的参数，当损失值收敛时，则完成YOLOV3网络模型训练过程。可选地，所述步骤13，包括以下步骤：步骤131，对目标检测模块的检测结果提取外观特征；步骤132，根据提取的外观特征，使用最小欧氏距离公式完成检测结果的关联匹配；步骤133，对未能成功匹配的检测结果以及不完整轨迹再次进行匹配。可选地，所述步骤131，包括：调用预先训练好的网络模型，对输入的检测结果进行处理。可选地，所述步骤131中网络模型的训练过程包括：首先，搭建初始的网络模型，包括卷积层、池化层、密集连接层、过渡层、全连接层的排布，以及各层参数的初始化；然后，使用数据集Mars中的训练集训练网络模型的参数，网络模型每次前向传播均会产生损失值，将损失值反向传播更新网络模型每层的参数，当各层参数达到预设条件后，则可以停止训练网络模型，将网络模型各层参数进行保存得到最终的网络模型，该网络模型将用来提取行人特征；如果训练的次数达到预设的最大值依然无法达到设定条件，则对网络模型进行调整并再本文档来自技高网...

【技术保护点】
1.一种智能视觉分析系统，其特征在于，包括：视频获取模块、目标检测模块和行人跟踪计数模块；视频获取模块用于获取行人的视频数据，目标检测模块对视频数据进行行人检测，输出检测结果到行人跟踪计数模块，行人跟踪计数模块关联每一帧图像的检测结果，获得行人的轨迹信息，通过计算轨迹的数量统计人数。

【技术特征摘要】
1.一种智能视觉分析系统，其特征在于，包括：视频获取模块、目标检测模块和行人跟踪计数模块；视频获取模块用于获取行人的视频数据，目标检测模块对视频数据进行行人检测，输出检测结果到行人跟踪计数模块，行人跟踪计数模块关联每一帧图像的检测结果，获得行人的轨迹信息，通过计算轨迹的数量统计人数。2.如权利要求1所述的一种智能视觉分析系统，其特征在于，所述目标检测模块为预先训练好的YOLOV3网络模型，用于对输入的图像进行处理，目标检测模块分别在三种不同尺度的特征图上检测目标。3.如权利要求2所述的一种智能视觉分析系统，其特征在于，所述目标检测模块包括：第一个分支，输入的视频帧经过由DBL模块、res模块以及卷积层构成的第一个分支后，输出第一预测结果；所述目标检测模块还包括第二个分支，将第一个分支的高层特征图送入一个DBL模块与一个上采样层之后与第一个分支的低层特征图相结合，随后再经过6个DBL模块与1个卷积层得到第二预测结果；所述目标检测模块还包括第三个分支，将第二个分支的高层特征图送入一个DBL模块与一个上采样层之后与第一个分支的低层特征图相结合，随后再经过6个DBL模块与1个卷积层得到第三预测结果。4.如权利要求1所述的一种智能视觉分析系统，其特征在于，所述行人跟踪计数模块包括：特征提取模块、相似性度量模块和交并比匹配关联模块；特征提取模块用于对目标检测模块的检测结果提取外观特征，进行行人再识别；相似性度量模块根据特征提取模块提取的外观特征，使用最小欧氏距离公式完成检测结果的关联匹配；交并比匹配...

【专利技术属性】
技术研发人员：胥志伟，石志君，张瑜，王胜科，曹源，
申请(专利权)人：青岛伴星智能科技有限公司，
类型：发明
国别省市：山东,37