基于无人机视频的室外人流信息提取方法技术

本发明专利技术提供了一种基于无人机视频的室外人流信息提取方法，具有这样的特征，包括以下步骤：步骤S1，对视频抽帧得到图像帧；步骤S2，将图像帧输入卷积网络得到多个边界框；步骤S3，基于Shi

【技术实现步骤摘要】
基于无人机视频的室外人流信息提取方法


[0001]本专利技术涉及一种室外人流信息提取方法，具体涉及一种基于无人机视频的室外人流信息提取方法。

技术介绍

[0002]目前，无人机(Unmanned Aerial Vehicle，UAV)已经在军事、航拍等多个领域成功应用，而且具有拍摄性能持续提高、续航能力不断提升的优势。
[0003]由于固定摄像头等传统监控设备的局限性，无人机在对室外人员识别和人流流信息采集方面具有很高的应用价值。相比于传统的人流监测方法，UAV视频监测方法具有很多优势。传统的人流监测设备，例如地面摄像头、红外探头、无线探头等，通常设置在固定的地点、监测固定的局部范围，使得大范围的室外人流监测需要大规模部署该类传统监测设备，并且传统监测设备的维护在便捷性方面也远远不如UAV。然而单台UAV能够通过巡航或高空悬停的方式监测较大的室外区域，监测范围大幅超过传统人流监测方法，且易于维护，维护期间不占用道路空间。此外，UAV监测摄像头为俯视角，不存在遮挡、重叠等问题，相应的目标识别、像素距离与真实距离换算等算法应用也具有更好的效果。
[0004]但是UAV处于飞行状态时，其运动过程因大风、避障、振动等因素，存在不确定的漂移现象，这导致了UAV视频的背景(除人员以外的其他图像区域)是不断移动的，且轨迹存在抖动。此外，UAV视频在录制过程中，由于UAV飞行高度和姿态的变化，检测目标存在尺度变换和平面旋转，导致对检测目标难以精确识别。所以现有的技术还未能实现UAV在不确定性移动过程中的人员目标的精确识别、不同方向人流识别及密度和速度等参数提取。

技术实现思路

[0005]本专利技术是为了解决上述问题而进行的，目的在于提供一种基于无人机视频的室外人流信息提取方法。
[0006]本专利技术提供了一种基于无人机视频的室外人流信息提取方法，用于根据无人机拍摄的室外人流监测视频得到室外人流的人流量、人流平均速度和人流密度，具有这样的特征，包括以下步骤：步骤S1，根据室外人流监测视频的帧率，对室外人流监测视频按照相同时间间隔抽帧，得到多个图像帧；步骤S2，将图像帧输入卷积网络算法模型，通过边界框对图像帧进行人员和背景的分离，将各个人员置于边界框内，将背景置于边界框外；步骤S3，基于Shi
‑
Tomasi特征，标记图像帧的兴趣点，将边界框内的兴趣点作为人员兴趣点，将边界框外的兴趣点作为背景兴趣点；步骤S4，根据KLT光流算法追踪当前图像帧f
t
中的兴趣点和下一相邻时刻的图像帧f
t+1
中的对应的兴趣点，计算得到该兴趣点的运动矢量，根据当前图像帧f
t
中的所有兴趣点的运动矢量，计算得到当前图像帧f
t
中各个人员的人员运动矢量和背景的背景运动矢量；步骤S5，将当前图像帧f
t
的所有人员运动矢量放入笛卡尔直角坐标系，计算得到各个人员运动矢量的运动参数l
k
和θ
k
作为该人员运动矢量的人员运动参数；步骤S6，将当前图像帧f
t
的所有人员运动参数放入2维位移空间，通过聚类算法对所有人员运
动参数进行分簇，各个簇代表当前图像帧f
t
中不同的人流方向；步骤S7，根据当前图像帧f
t
的转换率r
t
、人员运动矢量和背景运动矢量，计算得到当前图像帧f
t
中的人员和背景在真实世界的移动速度；步骤S8，根据当前图像帧f
t
的边界框的数量、人员在真实世界的移动速度和转换率r
t
，计算得到当前图像帧f
t
的各个人流方向的人流量、人流平均速度和人流密度，其中，转换率r
t
根据当前图像帧f
t
中的标志性参考物的像素尺寸l
p
和对应的真实世界尺寸l
a
得到；或者根据当前图像帧f
t
的无人机高度h
t
、上一相邻时刻的图像帧f
t
‑1的无人机高度h
t
‑1和图像帧f
t
‑1的转换率r
t
‑1得到；或者根据当前图像帧f
t
中所有边界框的平均长度ω
t
、图像帧f
t
‑1中所有边界框的平均长度ω
t
‑1和图像帧f
t
‑1的转换率r
t
‑1得到。
[0007]在本专利技术提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤S2中，卷积网络算法模型为Fast R
‑
CNN或MASKR
‑
CNN或Haar级联+自定义卷积网络算法模型或YOLOv5卷积网络算法模型或SSD卷积网络算法模型。
[0008]在本专利技术提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，当卷积网络算法模型为FastR
‑
CNN时，步骤S2包括以下子步骤：步骤S2
‑
1，根据FastR
‑
CNN的RPN模块，生成图像帧的多个候选区域和对应的分类分数；步骤S2
‑
2，通过非最大抑制算法合并具有像素较多交集的候选区域；步骤S2
‑
3，对合并后的所有候选区域，按照分类分数从高到低进行排序，保留前N个候选区域作为关注区域；步骤S2
‑
4，将关注区域输入FastR
‑
CNN的RoI池化层，经由softmax层和边界框回归层共同输出，得到各个边界框的位置和大小，在图像帧中标记各个边界框。
[0009]在本专利技术提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，步骤S3包括以下子步骤：步骤S3
‑
1，将尺寸为(2ω
x
+1)
×
(2ω
y
+1)的检测窗口ω在图像帧的整个图像I滑动，计算检测窗口ω中像素点u＝(p
x
,p
y
)的二阶矩阵G；步骤S3
‑
2，将二阶矩阵G为非奇异矩阵且最小特征值λ
min
大于门限λ
th
时对应的像素点作为比较点，将3
×
3邻域内最大的最小特征值λ
min
对应的像素点标记为兴趣点；步骤S3
‑
3，将所有兴趣点按照最小特征值λ
min
从高到低排列，保留前n个兴趣点，将边界框内的兴趣点作为人员兴趣点，将边界框外的兴趣点作为背景兴趣点。
[0010]在本专利技术提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤S3
‑
1中，二阶矩阵G的公式如下：式中I
x
为p
x
对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机视频的室外人流信息提取方法，用于根据无人机拍摄的室外人流监测视频得到室外人流的人流量、人流平均速度和人流密度，其特征在于，包括以下步骤：步骤S1，根据所述室外人流监测视频的帧率，对所述室外人流监测视频按照相同时间间隔抽帧，得到多个图像帧；步骤S2，将所述图像帧输入卷积网络算法模型，通过边界框对所述图像帧进行人员和背景的分离，将各个所述人员置于边界框内，将所述背景置于边界框外；步骤S3，基于Shi
‑
Tomasi特征，标记所述图像帧的兴趣点，将所述边界框内的所述兴趣点作为人员兴趣点，将所述边界框外的所述兴趣点作为背景兴趣点；步骤S4，根据KLT光流算法追踪当前图像帧f
t
中的所述兴趣点和下一相邻时刻的图像帧f
t+1
中的对应的所述兴趣点，计算得到该所述兴趣点的运动矢量，根据所述当前图像帧f
t
中的所有所述兴趣点的运动矢量，计算得到所述当前图像帧f
t
中各个所述人员的人员运动矢量和所述背景的背景运动矢量；步骤S5，将所述当前图像帧f
t
的所有所述人员运动矢量放入笛卡尔直角坐标系，计算得到各个所述人员运动矢量的运动参数l
k
和θ
k
作为该所述人员运动矢量的人员运动参数；步骤S6，将所述当前图像帧f
t
的所有所述人员运动参数放入2维位移空间，通过聚类算法对所有所述人员运动参数进行分簇，各个所述簇代表所述当前图像帧f
t
中不同的人流方向；步骤S7，根据所述当前图像帧f
t
的转换率r
t
、所述人员运动矢量和所述背景运动矢量，计算得到所述当前图像帧f
t
中的所述人员和所述背景在真实世界的移动速度；步骤S8，根据所述当前图像帧f
t
的所述边界框的数量、所述人员在真实世界的移动速度和所述转换率r
t
，计算得到所述当前图像帧f
t
的各个所述人流方向的所述人流量、所述人流平均速度和所述人流密度，其中，所述转换率r
t
根据所述当前图像帧f
t
中的标志性参考物的像素尺寸l
p
和对应的真实世界尺寸l
a
得到；或者根据所述当前图像帧f
t
的无人机高度h
t
、上一相邻时刻的图像帧f
t
‑1的无人机高度h
t
‑1和所述图像帧f
t
‑1的转换率r
t
‑1得到；或者根据所述当前图像帧f
t
中所有所述边界框的平均长度ω
t
、所述图像帧f
t
‑1中所有所述边界框的平均长度ω
t
‑1和所述图像帧f
t
‑1的转换率r
t
‑1得到。2.根据权利要求1所述的基于无人机视频的室外人流信息提取方法，其特征在于：其中，在所述步骤S2中，所述卷积网络算法模型为Fast R
‑
CNN或MASK R
‑
CNN或Haar级联+自定义卷积网络算法模型或YOLOv5卷积网络算法模型或SSD卷积网络算法模型。3.根据权利要求2所述的基于无人机视频的室外人流信息提取方法，其特征在于：其中，当所述卷积网络算法模型为Fast R
‑
CNN时，所述步骤S2包括以下子步骤：步骤S2
‑
1，根据所述Fast R
‑
CNN的RPN模块，生成所述图像帧的多个候选区域和对应的分类分数；步骤S2
‑
2，通过非最大抑制算法合并具有像素较多交集的所述候选区域；步骤S2
‑
3，对合并后的所有所述候选区域，按照所述分类分数从高到低进行排序，保留前N个所述候选区域作为关注区域；步骤S2
‑
4，将所述关注区域输入所述Fast R
‑
CNN的RoI池化层，经由softmax层和边界
框回归层共同输出，得到各个所述边界框的位置和大小，在所述图像帧中标记各个所述边界框。4.根据权利要求1所述的基于无人机视频的室外人流信息提取方法，其特征在于：其中，所述步骤S3包括以下子步骤：步骤S3
‑
1，将尺寸为(2ω
x
+1)
×
(2ω
y
+1)的检测窗口ω在所述图像帧的整个图像I滑动，计算所述检测窗口ω中像素点u＝(p
x
，p
y
)的二阶矩阵G；步骤S3
‑
2，将所述二阶矩阵G为非奇异矩阵且最小特征值λ
min
大于门限λ
th
时对应的像素点作为比较点，将3
×
3邻域内最大的所述最小特征值λ

【专利技术属性】
技术研发人员：王森，薛小平，纪文莉，郑燕燕，张琦，马竟宵，周晨，
申请(专利权)人：同济大学，
类型：发明
国别省市：