一种通过监控视频或车载摄像头测量人或物体三维的方法技术

一种通过监控视频或车载摄像头测量人或物体三维的方法，它涉及视频监控技术领域。所述方法包括：步骤一、通过视频监控画面获得待测物体两张或两张以上的不同视角的图像；步骤二、标定摄像机，建立3D到2D的映射关系；步骤三、提取特征点，进行立体匹配并结合透视变换原理和共线方程，计算视频画面中待测物体的特征点的三维信息；步骤四、通过近景摄影测量建立特征点空间物点坐标和画面像点坐标的透视变换关系。本发明专利技术通过监控视频或车载摄像头测量人物或物体三维。

【技术实现步骤摘要】

：本专利技术涉及一种通过监控视频或车载摄像头测量人或物体三维的方法，属于视频监控

技术介绍
：目前利用监控视频进行人物空间测量的方法有三种方法：1、比例测量，即需要找定一个视频中的参考物，如桌子、门框等较容易获得长度的物体，将要测量的人(或物体)与参照物对比来得到身高(或长度)。该方法必须要求有参照物，在有些情况中不允许，也有一定误差；2、进行侦查实验，即回到视频现场找相似的人或物进行模拟，通过让视频中的效果与原视频中相似，来估计人的身高或物体的长度。该方法主观因素较强，误差也较大；3、利用透视变换获取视频画面标记点的三维测量，通过现实场景中已知的6个或以上点的三维数据，利用透视变化求画面中的标记点的三维数据。一般应用于人或物出现在规则环境中。对于不规则环境，需用三维激光扫描仪获取场景三维信息。前者规则环境的要求一般无法满足，而后者的三维激光扫描仪价格昂贵，成本高。
技术实现思路
：针对上述问题，本专利技术提供一种通过监控视频或车载摄像头测量人或物体三维的方法。本专利技术的所述方法包括如下步骤：步骤一、通过视频监控画面获得待测物体两张或两张以上的不同视角的图像；步骤二、标定摄像机，建立3D到2D的映射关系；步骤三、提取特征点，进行立体匹配并结合透视变换原理和共线方程，计算视频画面中待测物体的特征点的三维信息：将图像像点坐标与空间物点坐标通过共线方程联系起来，即：式中：aij为旋转矩阵R的元素，他们是外方位角元素ω,k,φ的函数，写成(2)式：式中：x0、y0、f称之为内方位元素，XS、YS、ZS及ω,k,Φ称之为外方位元素，内外方位元素一般有9个，其中3个内方位元素可通过对相机的鉴定获得，但一般认为是未知数，实际工作中需对(1)、(2)式进行线性变换(DLT)，其变换结果为：式中：Li(i＝1,2,…，11)为未知数；x,y为图像像点坐标；X、Y、Z为场景的空间坐标，△x、△y为物镜畸变差及底片变形差，当精度要求不高，摄像机为枪机时可以不用考虑，将式(3)整理成关于Li的线性方程如下：XL1+YL2+ZL3+L4+X(x+Δx)L9+Y(x+Δx)L10+Z(x+Δx)L11＝-(x+Δx)XL5+YL6+ZL7+L8+X(x+Δx)L9+Y(x+Δx)L10+Z(x+Δx)L11＝-(y+Δy)已知n个点的空间坐标(Xi,Yi,Zi)及其对应的图像点坐标(xi,yi)，i＝1,2,…,n。则关于2n个Li的线性方程，用矩阵形式可表示如下：式(4)可简化为ML＝U其中，M为式(4)中左端的2n×11矩阵，L为未知的11维向量，U为式(4)右端的2n维向量，且M,U均为已知向量，。当2n>11时，用最小二乘法求出上述线性方程(4)的解为：L＝(MTM)-1MTU综上，当不考虑△x、△y时，至少需6对对应点才能解出Li(i＝1,2,…，11)这11个未知数，从而建立图像像点坐标系与空间物点坐标系间的联系；步骤四、通过近景摄影测量建立特征点空间物点坐标和画面像点坐标的透视变换关系，从而获取场景中至少6个特征点的三维信息，将特征点映射到视频画面中，建立待测视频画面与空间物点的透视变换关系，通过共线方程和最小二乘法拟合等手段实现透视变换矩阵各系数的求取，然后通过透视变化矩阵可以求取待测视频画面中待测物体的任意特征点的三维信息。本专利技术的有益效果为：本专利技术运用交叉比及其公认的在投影几何特定条件下的不变性，在已知车辆的一个固定长度后，从录像直接确定车辆速度，突破性地运用了两次透视变换法，第一次运用近景摄影将现实世界的三维信息透视到视频画面中，建立待测视频画面与空间物点的透视变换关系，通过共线方程和最小二乘法拟合等手段实现透视变换矩阵各系数的求取，然后通过透视变化矩阵可以求取待测视频画面中任意特征点的三维信息(第二次透视变换)。使得本方法突破比例测量一定需要参照物和侦查实验中主观判断为主的限制，同时避免传统利用透视变换必须在规则环境中，或者在不规则环境中需要利用昂贵的三维激光扫描仪获取场景三维信息的约束。附图说明：为了易于说明，本专利技术由下述的具体实施及附图作以详细描述。图1为现实世界、相机及图像的坐标系，图2为具体实施方式一中需要判断的视频图像，图3为具体实施方式一中真实箱子图像。具体实施方式：为使本专利技术的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本专利技术。但是应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。具体实施方式一：在某疑似杀人碎尸案中，需要研判视频监控画面中箱子的高度(如图2所示)，以获取判断该箱内是否足以装下一成年女性的线索。对图2进行分析，图像中嫌疑人呈行走姿态，场景中其他参考物也难以作为比例测量的参考。待测视频画面并未处于规则的空间内，难以获取6个以上标记点的三维信息。运用本专利技术的方法，我们利用立体视觉的三维重建原理，通过获得物体两张或两张以上的不同视角的图像；标定摄像机，建立3D到2D的映射关系；提取特征点，进行立体匹配并结合透视变换原理和共线方程，计算视频画面中待测物体的特征点的三维信息：将图像像点坐标与空间物点坐标通过共线方程联系起来，即：式中：aij为旋转矩阵R的元素，他们是外方位角元素ω,k,φ的函数，写成(2)式：式中：x0、y0、f称之为内方位元素，XS、YS、ZS及ω,k,Φ称之为外方位元素，内外方位元素一般有9个，其中3个内方位元素可通过对相机的鉴定获得，但一般认为是未知数，实际工作中需对(1)、(2)式进行线性变换(DLT)，其变换结果为：式中：Li(i＝1,2,…，11)为未知数；x,y为图像像点坐标；X、Y、Z为场景的空间坐标，△x、△y为物镜畸变差及底片变形差，当精度要求不高，摄像机为枪机时可以不用考虑，将式(3)整理成关于Li的线性方程如下：XL1+YL2+ZL3+L4+X(x+Δx)L9+Y(x+Δx)L10+Z(x+Δx)L11＝-(x+Δx)XL5+YL6+ZL7+L8+X(x+Δx)L9+Y(x+Δx)L10+Z(x+Δx)L11＝-(y+Δy)已知n个点的空间坐标(Xi,Yi,Zi)及其对应的图像点坐标(xi,yi)，i＝1,2,…,n。则关于2n个Li的线性方程，用矩阵形式可表示如下：式(4)可简化为ML＝U其中，M为式(4)中左端的2n×11矩阵，L为未知的11维向量，U为式(4)右端的2n维向量，且M,U均为已知向量，。当2n>11时，用最小二乘法求出上述线性方程(4)的解为：L＝(MTM)-1MTU综上，当不考虑△x、△y时，至少需6对对应点才能解出Li(i＝1,2,…，11)这11个未知数，从而建立图像像点坐标系与空间物点坐标系间的联系；将获取的三维数据映射到待测视频画面图2中，便可通过空间测量实现图2中箱子高度的测量，测量所得箱子的高度为15.5cm。根据该测量高度，为侦查部门提供画面中嫌疑人所举箱子不能容纳一成年女性躯体的线索。案件侦破后，通过嫌疑人指认，获得视频中箱子如图3所示，箱子真实高度为16.2cm。其中步骤二通过如下方法建立3D到2D的映射关系:采用张正友相机标定算法，按如下步骤进行：1)在齐次坐标下，三本文档来自技高网...

【技术保护点】
一种通过监控视频或车载摄像头测量人或物体三维的方法，其特征在于：所述方法包括如下步骤：步骤一、通过视频监控画面获得待测物体两张或两张以上的不同视角的图像；步骤二、标定摄像机，建立3D到2D的映射关系；步骤三、提取特征点，进行立体匹配并结合透视变换原理和共线方程，计算视频画面中待测物体的特征点的三维信息：将图像像点坐标与空间物点坐标通过共线方程联系起来，即：式中：aij为旋转矩阵R的元素，他们是外方位角元素ω,k,φ的函数，写成(2)式：式中：x0、y0、f称之为内方位元素，XS、YS、ZS及ω,k,Φ称之为外方位元素，内外方位元素一般有9个，其中3个内方位元素可通过对相机的鉴定获得，但一般认为是未知数，实际工作中需对(1)、(2)式进行线性变换(DLT)，其变换结果为：式中：Li(i＝1,2,…，11)为未知数；x,y为图像像点坐标；X、Y、Z为场景的空间坐标，△x、△y为物镜畸变差及底片变形差，当精度要求不高，摄像机为枪机时可以不用考虑，将式(3)整理成关于Li的线性方程如下：XL1+YL2+ZL3+L4+X(x+△x)L9+Y(x+△x)L10+Z(x+△x)L11＝‑(x+△x)XL5+YL6+ZL7+L8+X(x+△x)L9+Y(x+△x)L10+Z(x+△x)L11＝‑(y+△y)已知n个点的空间坐标(Xi,Yi,Zi)及其对应的图像点坐标(xi,yi)，i＝1,2,…,n。则关于2n个Li的线性方程，用矩阵形式可表示如下：式(4)可简化为ML＝U其中，M为式(4)中左端的2n×11矩阵，L为未知的11维向量，U为式(4)右端的2n维向量，且M,U均为已知向量，。当2n>11时，用最小二乘法求出上述线性方程(4)的解为：L＝(MTM)‑1MTU综上，当不考虑△x、△y时，至少需6对对应点才能解出Li(i＝1,2,…，11)这11个未知数，从而建立图像像点坐标系与空间物点坐标系间的联系；步骤四、通过近景摄影测量建立特征点空间物点坐标和画面像点坐标的透视变换关系，从而获取场景中至少6个特征点的三维信息，将特征点映射到视频画面中，建立待测视频画面与空间物点的透视变换关系，通过共线方程和最小二乘法拟合等手段实现透视变换矩阵各系数的求取，然后通过透视变化矩阵可以求取待测视频画面中待测物体的任意特征点的三维信息。...

【技术特征摘要】
1.一种通过监控视频或车载摄像头测量人或物体三维的方法，其特征在于：所述方法包括如下步骤：步骤一、通过视频监控画面获得待测物体两张或两张以上的不同视角的图像；步骤二、标定摄像机，建立3D到2D的映射关系；步骤三、提取特征点，进行立体匹配并结合透视变换原理和共线方程，计算视频画面中待测物体的特征点的三维信息：将图像像点坐标与空间物点坐标通过共线方程联系起来，即：式中：aij为旋转矩阵R的元素，他们是外方位角元素ω,k,φ的函数，写成(2)式：式中：x0、y0、f称之为内方位元素，XS、YS、ZS及ω,k,Φ称之为外方位元素，内外方位元素一般有9个，其中3个内方位元素可通过对相机的鉴定获得，但一般认为是未知数，实际工作中需对(1)、(2)式进行线性变换(DLT)，其变换结果为：式中：Li(i＝1,2,…，11)为未知数；x,y为图像像点坐标；X、Y、Z为场景的空间坐标，△x、△y为物镜畸变差及底片变形差，当精度要求不高，摄像机为枪机时可以不用考虑，将式(3)整理成关于Li的线性方程如下：XL1+YL2+ZL3+L4+X(x+△x)L9+Y(x+△x)L10+Z(x+△x)L11＝-(x+△x)XL5+YL6+ZL7+L8+X(x+△x)L9+Y(x+△x)L10+Z(x+△x)L11＝-(y+△y)已知n个点的空间坐标(Xi,Yi,Zi)及其对应的图像点坐标(xi,yi)，i＝1,2,…,n。则关于2n个Li的线性方程，用矩阵形式可表示如下：式(4)可简化为ML＝U其中，M为式(4)中左端的2n×11矩阵，L为未知的11维向量，U为式(4)右端的2n维向量，且M,U均为已知向量，。当2n>11时，用最小二乘法求出上述线性方程(4)的解为：L＝(MTM)-1MTU综上，当不考虑△x、△y时，至少需6对对应点才能解出Li(i＝1,2,…，11)这11个未知数，从而建立图像像点坐标系与空间物点坐标系间的联系；步骤四、通...

【专利技术属性】
技术研发人员：廖广军，武垚欣，陈玮，
申请(专利权)人：广东警官学院，
类型：发明
国别省市：广东;44