一种基于PTZ云台相机的车辆目标三维信息获取方法技术

本发明专利技术公开了一种基于PTZ云台相机的车辆目标三维信息获取方法，在视频帧中通过深度学习的方法对车辆目标进行识别，获取车辆目标的三维包络基准点在图像坐标系下的坐标，根据坐标信息结合地平线的约束绘制出最贴合车辆目标的三维包络框，再利用标定结果计算出车辆目标的三维尺寸信息，完成车辆目标的三维信息获取。本发明专利技术可适应不同的道路交通场景，利用云台摄像机提取场景中大量车辆目标完成三维信息获取的过程。方法实现简单，通用性好，可以应用于各种道路场景下的三维信息获取，并且结果较为准确。

A Three-Dimensional Information Acquisition Method for Vehicle Target Based on PTZ Cloud Camera

【技术实现步骤摘要】
一种基于PTZ云台相机的车辆目标三维信息获取方法
本专利技术属于智能交通
，具体涉及一种基于PTZ云台相机的车辆目标三维信息获取方法。
技术介绍
车辆三维信息主要是指车辆的整体形状、尺寸和空间位置，以及各部分的局部细节信息等，以往的获取方法主要有接触测量和图像雷达等，这些方法在技术上比较成熟，但是在检测速度、精度等方面有诸多缺陷。近年来，随着电子技术和计算机技术的迅猛发展，车辆三维信息的获取大多都是基于计算机视觉理论，识别出图像上的二维特征点进而恢复出它们的三维空间位置，并对这些信息进行描述和理解，进一步得到车辆的大小尺寸、形状等感兴趣的三维信息。要实现上述功能，目标检测和摄像机标定是必不可少的两个步骤，通过目标检测可以确定车辆在图像上的具体位置，再通过标定确定三维世界坐标和二维图像坐标之间的转换关系，就可以获取车辆的三维信息。在计算机视觉领域，传统的目标检测方法有混合高斯背景建模法，该方法实时性较好，但是对于车辆之间相互遮挡或者车辆目标与背景颜色相似等情况时很容易造成误检测，而且不能很好地处理快速的光照变化和阴影问题。
技术实现思路
针对现有技术中的缺陷和不足，本专利技术提供了一种基于PTZ云台相机的车辆目标三维信息获取方法，克服现有车辆目标三维信息获取方法的通用性不强以及目标检测不准等缺陷。为达到上述目的，本专利技术采取如下的技术方案：本专利技术提供一种基于PTZ云台相机的车辆目标三维信息获取方法，该方法包括如下步骤：步骤1，PTZ云台摄像机模型和坐标系的建立：步骤1.1，建立世界坐标系、摄像机坐标系、图像坐标系和摄像机模型，其中将摄像机模型简化为针孔模型；步骤1.2，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系；步骤2，地平线的识别及标定结果的计算：步骤2.1，将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点；步骤2.2，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标；步骤2.3，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果；步骤3，车辆目标的检测：使用深度学习的方法对车辆目标进行检测，获取车辆目标三维包络基准点在图像坐标系下的坐标；步骤4，车辆目标三维包络框的绘制及三维尺寸信息的计算：步骤4.1，根据步骤3中的车辆目标三维包络基准点信息与步骤2.3中的地平线约束，绘制车辆目标三维包络框；步骤4.2，根据步骤4.1中绘制的三维包络框和步骤2.3中的标定结果计算车辆目标的三维尺寸信息。本专利技术还包括如下技术特征：可选地，所述的步骤1.2中，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系，包括：世界坐标系中的坐标：x＝[xyz1]T，图像坐标系中的坐标：p＝[αuαvα]T，α≠0；其中x，y，z为世界坐标系中的坐标在x，y，z三个轴上的值，u，v为世界坐标系中的坐标在图像坐标系中对应u，v两个轴上的值，α为图像坐标系中坐标的一个分量；从世界坐标系到图像坐标系的投影方程为：p＝KRTx其中K，R，T分别代表内参矩阵，旋转矩阵和平移矩阵；将K，R，T代入到投影方程中可得到展开的投影模型；设图像中任意一点的世界坐标为(x，y，z)，则世界坐标系的点与图像坐标系的点的投影关系为：可选地，所述的步骤2.1中，钻石空间的方法是将无穷的图像域变换到有限的菱形域的一种方法；有限的菱形域形状似钻石，因此称之为钻石空间；将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点，包括：假设图像坐标系中的直线方程为：ax+by+c＝0，其在钻石空间映射为折线组，映射关系如下：其中，a，b，c为直线一般方程的三个参数，三个参数均为常数，sgn为符号函数，下标o表示为图像坐标系。可选地，所述的步骤2.2中，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标，包括：用钻石空间的方法将无穷的图像域变换到有限的菱形域中，建立起图像空间和钻石空间的映射关系，d代表钻石空间y半轴长度，D代表钻石空间x半轴长度；利用钻石空间中点[x，y，w]d和图像空间中点[x，y，w]o互相转换的变换公式可以完成映射：[x，y，w]o→[-dDw，-dx，sgn(xy)x+y+sgn(y)dw]d[x，y，w]d→[Dy，sgn(x)dx+sgn(y)Dy-dDw，x]o其中，w为图像坐标系中坐标的一个分量，下标o为图像坐标系，下标d为钻石空间；将钻石空间中折线组的交点根据上述的变换公式变换到图像空间中，即求得准确的消失点坐标。可选地，所述的步骤2.3中，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果，包括：(1)确定地平线：引入路面延伸方向的消失点(u0，v0)，和垂直方向形成的消失点(u1，v1)，容易求得地平线的斜率地平线的直线方程如下：y＝Kh·x+bh(5)其中bh＝v0-Kh·u0；(2)计算标定结果：(2-1)相机高度h已知的情况：y轴与路面延伸方向夹角为θ，可知世界坐标系中路面延伸方向无穷远点坐标为x0＝[-tanθ100]T，垂直方向无穷远点坐标为x1＝[1tanθ00]T，由消失点原理可知，(u0，v0)及(u1，v1)为x0与x1在图像空间中的投影；将坐标代入(1)、(2)式中化简可得以下结果：令v1＝v0，对上述公式进行变换，可得到f，φ及θ的表达式：结合(6)、(7)、(8)式由两个互垂直消失点坐标可以求得f，φ，θ，由于h已知，因此完成标定过程；(2-2)相机高度h未知的情况：设道路虚线标识的物理长度为l，虚线端点物理纵坐标及像素坐标分别设为：yb和yf，vb和vf；道路物理宽度为w，与图像坐标系横坐标截距像素长度为δ；由(3)式令z＝0可以反算出物理坐标y的表示形式：物理坐标y与对应像素横坐标u无关，因此对于道路任意位置与道路方向平行的虚线l，可建立等式关系：yb＝yf+lcosθ；用两种方式将yf表达出来进行联立，求解出h：将(4)式中的条件代入，可得关于h的表达式：其中为计算方便引入中间变量τ＝(vf-v0)(vb-v0)/(vf-vb)；由上述推导可知虚线标识l可以间接表示相机高度h，结合(6)、(7)、(8)式由两个互垂直消失点坐标可以求得f，φ，θ，所有未知参数f，φ，θ及h都已求解，因此完成标定过程。所述的步骤3中，车辆目标三维包络基准点在图像坐标系下的坐标是车辆目标左下角或者右下角在图像坐标系下的坐标；通过深度学习的方法可以获取车辆目标在图像坐标系中的中心点坐标(x，y)、宽度w、高度h和类别信息，在此基础上可以计算出车辆目标检测出的二维框的四个角点坐标分别为P2d_0＝(x-w/2，y+h/2)，P2d_1＝(x+w/2，y+h/2)，P2d_2＝(x+w/2，y-h/2)，P2d_3＝(x-w/2，y-h/2)。所述步骤4.1包括如下过程：车辆目标的三维包络框模型顶点序号为0到7，序号0即车辆目标的三维包络基准点，根据车辆目标的类型，确定车辆目标初始的物理三维尺寸length，width，height，分别设定0到7号点在世界坐标系下对应的坐标，记为：PWi＝(pwxi，pwyi)本文档来自技高网...

【技术保护点】
1.一种基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，该方法包括如下步骤：步骤1，PTZ云台摄像机模型和坐标系的建立：步骤1.1，建立世界坐标系、摄像机坐标系、图像坐标系和摄像机模型，其中将摄像机模型简化为针孔模型；步骤1.2，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系；步骤2，地平线的识别及标定结果的计算：步骤2.1，将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点；步骤2.2，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标；步骤2.3，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果；步骤3，车辆目标的检测：使用深度学习的方法对车辆目标进行检测，获取车辆目标三维包络基准点在图像坐标系下的坐标；步骤4，车辆目标三维包络框的绘制及三维尺寸信息的计算：步骤4.1，根据步骤3中的车辆目标三维包络基准点信息与步骤2.3中的地平线约束，绘制车辆目标三维包络框；步骤4.2，根据步骤4.1中绘制的三维包络框和步骤2.3中的标定结果计算车辆目标的三维尺寸信息。

【技术特征摘要】
1.一种基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，该方法包括如下步骤：步骤1，PTZ云台摄像机模型和坐标系的建立：步骤1.1，建立世界坐标系、摄像机坐标系、图像坐标系和摄像机模型，其中将摄像机模型简化为针孔模型；步骤1.2，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系；步骤2，地平线的识别及标定结果的计算：步骤2.1，将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点；步骤2.2，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标；步骤2.3，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果；步骤3，车辆目标的检测：使用深度学习的方法对车辆目标进行检测，获取车辆目标三维包络基准点在图像坐标系下的坐标；步骤4，车辆目标三维包络框的绘制及三维尺寸信息的计算：步骤4.1，根据步骤3中的车辆目标三维包络基准点信息与步骤2.3中的地平线约束，绘制车辆目标三维包络框；步骤4.2，根据步骤4.1中绘制的三维包络框和步骤2.3中的标定结果计算车辆目标的三维尺寸信息。2.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤1.2中，将摄像机拍摄的图像中任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系，包括：世界坐标系中的坐标：x＝[xyz1]T，图像坐标系中的坐标：p＝[αuαvα]T，α≠0；其中x，y，z为世界坐标系中的坐标在x，y，z三个轴上的值，u，v为世界坐标系中的坐标在图像坐标系中对应u，v两个轴上的值，α为图像坐标系中坐标的一个分量；从世界坐标系到图像坐标系的投影方程为：p＝KRTx其中K，R，T分别代表内参矩阵，旋转矩阵和平移矩阵；将K，R，T代入到投影方程中可得到展开的投影模型；设图像中任意一点的世界坐标为(x，y，z)，则世界坐标系的点与图像坐标系的点的投影关系为：3.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤2.1中，钻石空间的方法是将无穷的图像域变换到有限的菱形域的一种方法；将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点，包括：假设图像坐标系中的直线方程为：ax+by+c＝0，其在钻石空间映射为折线组，映射关系如下：其中，a，b，c为直线一般方程的三个参数，三个参数均为常数，sgn为符号函数，下标o表示为图像坐标系。4.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤2.2中，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标，包括：用钻石空间的方法将无穷的图像域变换到有限的菱形域中，建立起图像空间和钻石空间的映射关系，d代表钻石空间y半轴长度，D代表钻石空间x半轴长度；利用钻石空间中点[x，y，w]d和图像空间中点[x，y，w]o互相转换的变换公式可以完成映射：[x，y，w]o→[-dDw，-dx，sgn(xy)x+y+sgn(y)dw]d[x，y，w]d→[Dy，sgn(x)dx+sgn(y)Dy-dDw，x]o其中，w为图像坐标系中坐标的一个分量，下标o为图像坐标系，下标d为钻石空间；将钻石空间中折线组的交点根据上述的变换公式变换到图像空间中，即求得准确的消失点坐标。5.如权利要求1所述的基于PTZ云台相机的车辆目标三维信息获取方法，其特征在于，所述的步骤2.3中，根据步骤2.2得到两个互相垂直的消失点坐标以确定地平线，并且计算标定结果，包括：(1)确定地平线：引入路面延伸方向的消失点(u0，v0)，和垂直方向形成的消失点(u1，v1)，容易求得地平线的斜率地平线的直线方程如下：y＝Kh·x+bh(5)其中bh＝v0-Kh·u0；(2)计算标定结果：(2-1)相机高度h已知的情况：y轴与路面延伸方向夹角为θ，可知世界坐标系中路面延伸方向无穷远点坐标为x0＝[-tanθ100]T，垂直方向无穷远点坐标为x1＝[1tanθ00]T，由消失点原理可知，(u0，v0)及(u1，v1)为x0与x1在图像空间中的投影；将坐标代入(1)、(2)式中化简可得以下结果：令v1＝v0，对上述公式进行变换，可得到f，φ及θ的表达式：结合(6)、(7)、(8)式由两个互垂直消失点坐标可以求得f，φ，θ...

【专利技术属性】
技术研发人员：王伟，唐心瑶，宋焕生，张朝阳，张文涛，戴喆，梁浩翔，云旭，侯景严，刘莅辰，贾金明，李俊彦，武非凡，雷琪，杨露，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西,61