一种基于特征物体和光流法的运动相机测速方法技术

一种基于特征物体和光流法的运动相机测速方法，对单目相机的平面视频，先进行畸变矫正，再用光流法对视频中静止的特征物体进行跟踪，结合特征物体的信息，获得高速运动相机的速度。本发明专利技术提供了一种解决在普通单目镜头的平面视频中，提取运动相机的速度信息的方案，利用畸变矫正以及特征物体的信息实现远距离测高速，在与特征物体的距离不超过100m且运动速度不超过300km/h时，误差可控制在1％以内。误差可控制在1％以内。误差可控制在1％以内。

【技术实现步骤摘要】
一种基于特征物体和光流法的运动相机测速方法


[0001]本专利技术属于智能测量领域，涉及针对视频的运动相机测速方法，具体为一种基于特征物体和光流法的运动相机测速方法。

技术介绍

[0002]随着智能手机的兴起，大量的移动设备都带有摄像头可以随时录制视频，因此产生了很多可供分析的视频数据，对于这些普通单目平面视频，视觉情报分析人员往往只能通过肉眼观察的方式进行分析，制约了情报分析的效率，而从视频图像中提取视物体的速度是视觉情报分析工作的重要内容之一。
[0003]早期的物体测速主要使用雷达、激光、红外线、超声波等方式，这些测量方法对于设备的要求较高，且容易受到环境的影响，而且这些设备通常本身是静止状态，因此测速范围具有着一定的指向性，导致灵活性不足。而且有时我们感兴趣的是设备持有者的运动状态，这无法通过上述方法进行分析。近年来，计算机视觉理论与方法的长足发展，使得通过视频来对运动相机的速度进行检测成为了可能。
[0004]目前，大部分的研究工作都集中在使用双目或多目视觉系统或者特殊配置的单目视觉系统获取视觉信息，无论是单目视觉还是双目视觉系统，都需要标定相机的内外参数。并且，对于单目视觉系统，为了提高测速准确率，依赖于场景内的测速线感应装置，需要在特定的场景下，如高速公路、赛道等，才能发挥作用，且自身的速度信息无法获取。双目视觉系统可以通过双目镜头产生的深度信息获取物体移动的距离，能够通过对静止物体的相对位移距离的测量，获取自身的速度，但是存在着设备成本高，视频来源单一的问题。因此在很多情况下，视觉情报分析人员所能利用的，大多还是是普通的单目相机得到的图像或视频。
[0005]本专利技术所涉及的基于特征物体和光流法的运动相机测速方法，提供了一种解决在普通单目的平面视频中，提取运动相机的速度信息的方案，实现了在相机高速运动的情况下，精确获取相机运动的速度信息。

技术实现思路

[0006]本专利技术要解决的问题是：解决如何在普通单目的平面视频时，在较大速度范围内精确提取运动相机速度信息的问题，精确测量高速运动下相机的速度。
[0007]本专利技术的技术方案为：一种基于特征物体和光流法的运动相机测速方法，对单目相机的平面视频，先进行畸变矫正，再用光流法对视频中静止的特征物体进行跟踪，结合特征物体的信息，获得高速运动相机的速度。
[0008]作为优选方式，本专利技术包括以下步骤：
[0009]1)对于输入的视频，获取视频的帧率dt；
[0010]2)对于输入的视频提取关键帧，选出具有特征物体的相邻两帧视频帧，特征物体相机运动方向上的实际长度L
real
已知，对特征物体的关键点进行畸变矫正；再测量矫正后
特征物体的在相机运动方向上的像素长度L
pixel
，利用光流法跟踪特征物体的矫正后的关键点，获取关键点像素在水平和竖直方向上的速度u和v；
[0011]3)计算相邻帧中运动相机的速度v
p
：
[0012][0013]4)重复步骤2)和3)，取N组相邻帧，得到N组v
p
，计算N组v
p
的平均值作为运动相机的速度V
camera
。
[0014]本专利技术的有效利益是：提供了一种解决在普通单目镜头的平面视频中，提取运动相机的速度信息的方案，现有的一些方法大多关注于测量视频中运动物体的速度，而没有关注相机本身的测速，即使考虑以静止物体为前提反向推导相机速度，现有技术方案在与特征物的距离超过2m或运动速度超过100km/h时，就会产生较大误差。由于相机镜头拍摄的物体会发生畸变，且在高速运动情况下，畸变会加重，本专利技术利用畸变矫正以及特征物体的信息实现远距离测高速，在与特征物体的距离不超过100m且运动速度不超过300km/h时，误差可控制在1％以内。本专利技术方法具有良好的广泛性与实用性。
附图说明
[0015]图1为本专利技术的实施流程。
[0016]图2为光流跟踪的效果展示。
具体实施方式
[0017]本专利技术提出了一种基于特征物体和光流法的运动相机测速方法，针对单目相机的平面视频，先进行畸变矫正，再用光流法对视频中静止的特征物体进行跟踪，结合特征物体的信息，获得高速运动相机的速度。
[0018]如图1所示，说明本专利技术的实施，包括以下步骤。
[0019]1)对于输入的视频，利用OpenCV获取视频的帧率dt。
[0020]2)对于输入的视频提取关键帧，挑选出具有特征物体的相邻两帧，利用光流法跟踪特征物体的关键点，获取关键点像素在水平和竖直方向上的速度u和v：
[0021]2.1)利用OpenCV对输入的视频提取关键帧，挑选具有特征物体的相邻两帧，测得特征物体的在相机运动方向上的像素长度为L
pixel
，特征物体选择标准为：
[0022]2.1.1)物体平面与相机运动平面平行，即物体与相机运动平面的垂直距离固定。
[0023]2.1.2)相机运动方向上实际长度L
real
已知且常见的静止物体，如垃圾箱、静止的小轿车等。
[0024]2.2)在t时刻取特征物体的一个像素I(x，y，t)作为关键点，其中，x和y分别为该像素点在视频帧中的坐标，该像素点在下一帧中经历时间dt，在x和y方向上分别移动了dx和dy，因为前后帧的两像素是同一像素，因此可以得到两像素的关系为：
[0025]I(x，y，t)＝I(x+dx，y+dy，t+dt)
[0026]2.3)由于相机镜头通常存在着畸变的问题，因此需要对关键点进行畸变矫正，通过对相机标定可以获得相机内参(f
u
，f
v
，u0，v0)和畸变系数(k1,k2,k3,p1,p2)。因此对于关键点(x,y)，可以得到相机坐标系下的关键点(x
’
，y
’
)为：
[0027][0028][0029]假设r＝(x
′2+y
′2)，相机坐标系下矫正后的点(x”,y”)为：
[0030]x
″
＝x
′
*(1+k1*r+k2*r2+k3*r3)+2*p1*x
′
*y
′
+p2*(r+2*x
′2)
[0031]y
″
＝y
′
*(1+k1*r+k2*r2+k3*r3)+2*p2*x
′
*y
′
+p1*(r+2*y
′2)
[0032]矫正后的点(x
”’
,y
”’
)为：
[0033]x
″′
＝x
″
*f
u
+u0[0034]y
″′
＝y
″
*f
v
+v0[0035]其中，f
u
和f
本文档来自技高网...

【技术保护点】

【技术特征摘要】
其中，f
u
和f
v
为焦距，u0和v0为光学中心，k1为1阶径向畸变系数，k2为2阶径向畸变系数，k3为3阶径向畸变系数，p1为1阶切向畸变系数，p2为2阶切向畸变系数；得到畸变矫正后两帧中像素的关系为：I(x
″′1，y
″′1，t)＝I(x
″′2，y
″′2，t+dt)。6.根据权利要求2所述的一种基于特征物体和光流法的运动相机测...

【专利技术属性】
技术研发人员：郑睿，胡鑫雯，王浩楠，
申请(专利权)人：南京智能情资创新科技研究院有限公司，
类型：发明
国别省市：