基于多维运动摄像机的航拍视频的交通参数提取方法技术

本发明专利技术公开一种基于多维运动摄像机的航拍视频的交通参数提取方法。该方法框架包括四个步骤，首先采用时间上强大的全局运动补偿方法来补偿无人机摄相机移动并获得视频中稳定的背景。然后，应用核化相关滤波器快速准确地跟踪车辆。之后，我们使用霍夫线检测来找出视频中的参考标记，并将检测到的参考标记的实际长度映射到无人机视频中的图像长度。最后，使用先前步骤的输出估计交通流中的个体车辆速度，车头时距和车头间距等微观交通参数。将此方法应用于三个不同的航拍视频进行实验。实验结果表明，该方法在估算车速，车头时距和车头间距等交通参数均获得较高的准确率，得到了较好的估算效果。

Traffic parameter extraction method of aerial video based on multi-dimensional motion camera

The invention discloses a traffic parameter extraction method of aerial video based on a multi-dimensional motion camera. This method framework consists of four steps. Firstly, a powerful global motion compensation method in time is used to compensate the camera movement and obtain a stable background in the video. Then, the kernel correlation filter is used to track the vehicle quickly and accurately. Then, we use Hough line detection to find the reference mark in the video, and map the actual length of the reference mark detected to the image length in the UAV video. Finally, the output of the previous step is used to estimate the individual vehicle speed, headway and headway in the traffic flow. This method is applied to three different aerial videos. The experimental results show that the method has a high accuracy in the estimation of traffic parameters, such as speed, headway and headway.

【技术实现步骤摘要】
基于多维运动摄像机的航拍视频的交通参数提取方法
本专利技术属于图像处理领域，尤其涉及一种基于多维摄像机运动的航拍视频微观交通参数提取的方法。
技术介绍
获取高速公路上的交通参数对于交通状况监测，交通流量分析以及实时交通控制和管理非常重要。获取交通数据资源包括环路检测器，交通监控视频，雷达和浮动车法。上述数据收集设备通常部署在固定位置。浮动车的方法也非常耗费人力和时间。随着无人机的日益普及，无人机提供了一种以更具成本效益的方式提取交通信息的新方法。然而，从无人机视频中提取交通参数的主要挑战在于无人机摄像机可能处于多维度的移动状态，摄像机运动导致图像中相对坐标的改变，这使得难以估计精确的车辆位移。以前的研究采用了不同的方法从无人机视频中提取交通参数，但仅限于无人机做简单的横纵向水平移动和无人机从上到下或以固定的拍摄角度在鸟瞰图中拍摄的情况下适用。当无人机摄像机随着拍摄角度的变化而在其他维度上移动时，先前提出的方法可能无法正常使用。
技术实现思路
专利技术目的：本专利技术目的在于针对现有技术的不足，提供一种基于多维运动摄像机的航拍视频的交通参数提取方法，以实现对具有多维摄像机运动的航拍视频微观交通参数的准确估计。技术方案：本专利技术所述基于多维运动摄像机的航拍视频的交通参数提取方法，包括如下步骤：步骤一：使用全局运动补偿方法获得航拍视频中的稳定背景；a1、关键帧的对齐给定一组M个无人机视频关键帧，记为i∈K＝{k1，...kM}，基于关键点的关键帧凝固方法，被表述为以下优化问题：其中：pi是将第i帧的坐标转换为全局运动补偿坐标的变换参数；ei(pi)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；Θ(i)为权矩阵；在p周围采用一阶泰勒展开来线性化方程式(1)，给定初始p，目标是通过以下方程式估算Δp：其中：ΔpTΨΔp是正则化项；正常数β为设置权衡；使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解：使用链式法则，有凝固结果具有两个分量，即W＝(Wx，Wy)，其中Wx表示链路起点和终点的变形x坐标，Wy表示链路起点和终点的变形y坐标；已知ei的前半部分只包含x元素，其余只包含y元素，得到方程式(5)：其中(或)是Mi维向量，且所有元素都是1或0；对于单应性转换如方程式(6)：在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点，同样，关键帧i上所有链接的终点也会更新；a2、非关键帧的对齐对于关键帧ki和ki+1之间的非关键帧j，其对齐是方程式(1)的特殊情况，记K＝{j}，并且链路的终点即只有帧j的pi被更新，而关键帧保持不变，关键帧ki和ki+1之间的每个非关键帧是独立对齐的；对于无人机视频中的每个关键帧，量化从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐，在对齐误差很小，即为每个关键帧i创建一个可靠性图，表示为Ri，将具有和σk＝csk的高斯函数叠加在Ri上：其中：且是一个小的常数；参数n和m分别是无人机视频中的帧和关键帧的编号；对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠；步骤二：使用核化相关滤波器的方法进行车辆跟踪；b1、给定来自无人机视频的一组训练车辆模式和标签(xi，yi),…,(xm，ym)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)，车辆跟踪算子的形式为V(x)＝<t，x>+b，符号<·，·>为点积算子，用于训练车辆跟踪算子的最小化问题，如下式所示：其中：L(y，V(x))为损失函数；λ为控制正则化的数量；b2、使用函数φ(x)将输入车辆模式映射到特征空间，函数φ(x)由核g(x，x′)＝<φ(x)，φ(x′)>定义，方程式(8)的解是输入t＝∑iαiφ(xi)的线性组合，封闭形式的解如下所示：α＝(G+λI)-1y(9)其中：G为具有元素Gij＝g(xi，xj)的核矩阵，参数I为单位矩阵，y为yi的组合；用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为αi；b3、连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(p′)，由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算；计算式如下所示：C(p′)q＝F-1(F*(p′)⊙F(q))(10)其中：符号⊙是元素乘积运算；F和F-1分别表示傅里叶变换和傅里叶逆变换；符号*为复共轭运算；b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为xi，如下式表示：其中：P是置换矩阵，每次将向量循环移位一个元素；密集车辆样本xi为单个无人机视频帧x中的所有可能的转化形式；为得到方程(9)的最优解，定义带元素的向量g，表达式如下所示：其中：用gi简易的表示核矩阵G＝C(g)；b5、在所有运算被转换为傅里叶域的前提下，在向量p′上以元素方式对形式为C(p′)的矩阵实现运算，得到方程式(9)的最优解，如下式所示：其中，除法运算以元素方式实现；b6、根据等式(12)和(13)的解，核化相关滤波器算法在每个无人机视频帧中找到目标车辆，确定对分类算子V(x)具有最大响应的图像区域，其作为当前无人机视频帧中的车辆跟踪结果；步骤三：将图像长度映射成实际长度；从上述步骤，获得连续帧之间车辆运动的图像长度，使用霍夫变换来检测无人机视频中的车道分离器，作为参考标记，由于道路上车道分隔器的实际长度是固定的，并且可以从道路设计标准手册中找到，由此建立图像长度和实际长度之间的关系，从每个无人机帧中检测两个车道的边界，记为CC′段和EE'段，以及车道分离器，记为DD'段，由于倾斜的摄像机角度，在无人机视频帧中的两车道边界于某个点处相交，该交点记为点T，从点T处，获得两条线段TC'和TE'，作为新标记的车道边界，再分别在线段TC'和TE'中标记点U和V；c1、在线段UV中找到DD'投影，记为D'D”，已知了线段DD'的图像长度和实际长度，通过以下方程得到线段D'D”的实际长度：其中：lenphy(DD′)是线段DD′的实际长度，从道路设计手册中得到；lenimg(DD′)是线段DD′的图像长度；lenphy(D′D″)是线段D′D″的实际长度；lenimg(D′D″)是线段D′D″的图像长度；c2、根据线段D'D”的实际长度和像素距离，通过以下方程式得到线段UV的实际长度：其中：lenphy(UV)是线段UV的实际长度；lenimg(UV)是线段UV的图像长度；c3、对于任意给定的车辆位本文档来自技高网...

【技术保护点】
1.一种基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，包括如下步骤：/n步骤一：使用全局运动补偿方法获得航拍视频中的稳定背景；/na1、关键帧的对齐/n给定一组M个无人机视频关键帧，记为i∈K＝{k

【技术特征摘要】
1.一种基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，包括如下步骤：
步骤一：使用全局运动补偿方法获得航拍视频中的稳定背景；
a1、关键帧的对齐
给定一组M个无人机视频关键帧，记为i∈K＝{k1，...kM}，基于关键点的关键帧凝固方法，被表述为以下优化问题：



其中：
pi是将第i帧的坐标转换为全局运动补偿坐标的变换参数；ei(pi)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；Θ(i)为权矩阵；
在p周围采用一阶泰勒展开来线性化方程式(1)，给定初始p，目标是通过以下方程式估算Δp：



其中：
ΔpTΨΔp是正则化项；正常数β为设置权衡；
使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解：






使用链式法则，有凝固结果具有两个分量，即W＝(Wx，Wy)，其中Wx表示链路起点和终点的变形x坐标，Wy表示链路起点和终点的变形y坐标；已知ei的前半部分只包含x元素，其余只包含y元素，得到方程式(5)：



其中(或)是Mi维向量，且所有元素都是1或0；对于单应性转换如方程式(6)：



在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点，同样，关键帧i上所有链接的终点也会更新；
a2、非关键帧的对齐
对于关键帧ki和ki+1之间的非关键帧j，其对齐是方程式(1)的特殊情况，记K＝{j}，并且链路的终点即只有帧j的pi被更新，而关键帧保持不变，关键帧ki和ki+1之间的每个非关键帧是独立对齐的；
对于无人机视频中的每个关键帧，量化从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐，在对齐误差很小，即为每个关键帧i创建一个可靠性图，表示为Ri，将具有和σk＝csk的高斯函数叠加在Ri上：



其中：

η＞0，且是一个小的常数；参数n和m分别是无人机视频中的帧和关键帧的编号；
对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠；
步骤二：使用核化相关滤波器的方法进行车辆跟踪；
b1、给定来自无人机视频的一组训练车辆模式和标签(xi，yi),…,(xm，ym)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)，车辆跟踪算子的形式为v(x)＝<t，x>+b，符号<·，·>为点积算子，用于训练车辆跟踪算子的最小化问题，如下式所示：



其中：L(y，V(x))为损失函数；λ为控制正则化的数量；
b2、使用函数φ(x)将输入车辆模式映射到特征空间，函数φ(x)由核g(x，x′)＝<φ(x)，φ(x′)>定义，方程式(8)的解是输入t＝∑iαiφ(xi)的线性组合，封闭形式的解如下所示：
α＝(G+λI)-1y(9)
其中：G为具有元素Gij＝g(xi，xj)的核矩阵，参数I为单位矩阵，y为yi的组合；用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为αi；
b3、连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(p′)，由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算；计算式如下所示：
C(pr)q＝F-1(F*(pr)⊙F(q))(10)
其中：符号⊙是元素乘积运算；F和F-1分别表示傅里叶变换和傅里叶逆变换；符号*为复共轭运算；
b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为xi，如下式表示：



其中：P是置换矩阵，每次将向量循环移位一个元素；密集车辆样本xi为单个无人机视频帧x中的所有可能的转化形式；
为得到方程(9)的最优解，定义带元素的向量g，表达式如下所示：



其中：用gi简易的表示核矩阵G＝C(g)；
b5、在所有运算被转换为傅里叶域的前提下，在向量p′上以元素方式对形式...

【专利技术属性】
技术研发人员：李志斌，
申请(专利权)人：南京东控智能交通研究院有限公司，
类型：发明
国别省市：江苏;32