RTK与高速相机组合的交通标志杆姿态监测装置及方法制造方法及图纸

本发明专利技术提供了GNSS‑RTK与高速相机组合的交通标志杆姿态监测装置及方法，其中，监测装置主要包括：GNSS‑RTK接收机、高速相机、接收机与相机连接圆环(相机环)，在相机环内嵌高速相机，环顶部通过双向螺栓将接收机与高速相机固连，相机环底部螺母接口连接移动载体。监测方法为：对高速相机进行标定，同步开启视频拍摄和实时RTK测量，使用自适应综合特征法对监测视频进行关键帧选取，通过坐标插值实现高速相机和RTK坐标基准统一；利用SIFT算法提取交通标志杆特征点，通过多像相对定向稳健估计方法获取相对姿态矩阵并进行交通标志杆多像视觉测量；利用SVD分解算法建立空间直线模型并计算交通标志杆倾斜角等姿态参数，最后由倾斜角预警阈值实现交通标志杆姿态监测。

【技术实现步骤摘要】
RTK与高速相机组合的交通标志杆姿态监测装置及方法
本专利技术涉及GNSS-RTK、计算机视觉和智慧交通领域，具体涉及一种结合RTK技术和计算机视觉的对交通标志杆姿态进行监测的装置及方法。
技术介绍
交通标志杆，即交通设施使用的标杆，一般交通标志杆可以分为：1、单悬式：包括单悬式单臂交通标志杆、单悬式双臂交通标志杆以及单悬式三臂交通标志杆；2、双悬式：包括双悬式单臂交通标志杆、双悬式双臂交通标志杆以及双悬式三臂交通标志杆。其在使用过程中受到地形沉降、雨雪侵蚀及人为破坏等因素影响，会导致其姿态变化，产生变形、倾斜、倒塌等，会危及市民的安全，并在一定程度上影响市民的生活。因此，交通标志杆姿态监测是目前在城市智能化管理中亟待解决的技术问题。目前的交通标志杆的监测方法主要是全站仪测量、GNSS-RTK测量、三维激光扫描仪扫描等。其中，全站仪测量是传统、直接的测量方法，需要架设测站，测量精度低、自动化弱；GNSS-RTK具备高精度、自动化和全天候连续测量能力，但站-星通视要求和点测量方式难以适用于大高差垂向交通标志杆姿态监测；三维激光扫描仪扫描是目前自动化水平、测量精度最高的技术，但其价格高昂、仪器笨重和高功耗弱点难以大范围推广。综上可知，上述单一测量方法及技术难以实现交通标志杆姿态的动态、连续、高精度监测。此外，具有成本低、测量精度高的单目视觉测量发展迅速，其应用逐渐被拓到精密测量、姿态解算等领域，但还未出现专门针对交通标志杆监测的视觉测量方法。如：专利CN106043355A，仅将摄像测量方法用于铁路检测车沉降及位姿测量；专利CN105740877A与CN105719499A则通过像片识别技术识别道路上的交通标志。鉴于此，针对较为成熟的高精度GNSS-RTK技术和正在发展的低成本、高精度的视觉测量技术的互补性，提出RTK、高速相机组合新装置和附摄站坐标信息的多像单目视觉坐标测量新方法进行交通标志杆姿态监测，可以实现交通标志杆姿态的低成本、快捷式、自动化和高精度监测。
技术实现思路
本专利技术的目的在于克服上述局限，结合GNSS测量及视觉测量技术，从而提供一种RTK与高速相机组合的交通标志杆姿态监测装置及方法，该装置和方法可以有效地提高外业工作效率和监测精度，从而实现城市交通标志杆的低成本、快捷式、高精度自动化监测。本专利技术主要分为交通标志杆姿态监测装置和交通标志杆姿态监测方法。RTK技术与高速相机组合的交通标志杆姿态监测装置，包括以下部件：GNSS接收机、相机环和高速相机；其中，相机环顶部通过双向螺栓与GNSS接收机连接，同时双向螺栓固定高速相机于相机环，相机环底部连接螺母接口，用于整个监测装置的固定，可固定于云台、对中杆上。RTK技术与高速相机组合的交通标志杆姿态监测方法(1)摄影序列像片关键帧提取：将视频高速相机拍摄监测视频分解成系列的像片后，会出现大量重叠度高的像片，将所有的像片都纳入监测中不仅影响监测计算的效率，同时也降低监测的精度，故需要选取其中关键帧作为监测的数据。其计算方法如下：步骤一：帧间综合特征向量计算。颜色是一幅图像的基本特征，灰度直方图反映的可以一幅图像灰度分布的总体统计性质，当两帧间的灰度直方图发生剧烈变化时，此时进入了下一个镜头；每一帧图像的特征点都在不断变化，统计利用SIFT算法获得匹配成功点的数量占特征提取总点数的百分比，以此作为关键帧选取依据；连续帧间匹配具有公共特征点，特征点区域的分布反映图像变化，可将匹配散点的凸包多边形面积与总面积比值作为关键帧选取依据。将监测视频第一帧设为关键帧，分别用Dk,k+1、Nk,k+1、Sk,k+1表示视频第k,k+1帧图像的灰度直方图欧氏距离、特征点配准率、配准散点凸包面积比率，记第k帧与第k+1帧的帧间综合特征差异为αk,k+1,其计算公式如下：αk,k+1＝(Dk,k+1,Nk,k+1,Sk,k+1)T式中，表示归一化直方图在第i个灰度级上的值，分别表示第k,k+1帧采用SIFT特征提取的点数，M(s)(k,k+1)表示SIFT匹配准确的点数，S(m)(k,k+1)表示第k帧与第k+1帧的匹配散点的凸包多边形面积，S(a)表示视频帧图像总面积。步骤二：自适应综合特征法关键帧选取。单一的颜色特征或者特征点对，无法准确的反应图像特征的变化情况，造成关键帧选取的不准确，鉴此，综合颜色特征、特征点对，同时加上基于特征点对的形状特征，进行综合特征分析。记第k帧与第k+1帧的帧间综合特征差异均值(分别为颜色特征、特征点对、形状特征的均值)。将综合特征差异进行均值规范化，经过处理的数据符合标准正态分布，则综合特征差异为：式中，设置差异阈值βf，如果βk,k+1≤βf，则将第k+1帧作为关键帧存入监测像片数据集中。(2)摄影站点站心直角坐标计算。步骤一：RTK站心直角坐标的东北天三维分量拟合建模。由于高速相机与RTK没有共用时钟，无法保证摄影与RTK定位历元同步，因此需要通过插值算法获取摄影站点坐标。设RTK定位启动时刻为T0、采样间隔为ΔT，则第n历元RTK定位的时间和站心直角坐标(东北天)分别记为Tn＝T0+nΔT、采用三个及以上连续历元的站心直角坐标基于二次多项式可将东北天三维坐标分量分别进行拟合建模，二次多项式系数记为和则拟合模型如下：步骤二：ti历元摄影站点的站心直角坐标插值计算利用最小二乘原理求解拟合模型的二次多项式系数，进一步设第i幅关键帧拍摄时间为ti且则由二次多项式可插值得到ti历元摄影站点站心直角坐标。式中，ΔH为GNSS接收机中心到高速相机成像中心的垂线距离。(3)多像相对定向稳健最小二乘方法。假定相邻的i,j,k三幅关键帧对应的历元为ti,tj,tk，其摄站三维坐标分别记为Xi＝(Xi,Yi,Hi)T，Xj＝(Xj,Yj,Hj)T，Xk＝(Xk,Yk,Hk)T。某同名像点在像片i,j,k中的像平面坐标分别为(xi,yi)，(xj,yj)和(xk,yk)，顾及影像主距fi,fj,fk，则可将同名像点的非齐次坐标分别记为xi＝(xi,yi,-fi)T，xj＝(xj,yj,-fj)T和xk＝(xk,yk,-fk)T。那么，利用i,j,k三幅关键帧计算相对姿态矩阵Rij,Rjk，具体计算方法如下：步骤一：利用两幅像片的本质矩阵原理分别列立关键帧i至关键帧j、关键帧j至关键帧k的双像相对定向模型(表示基线向量叉乘的矩阵表达)，Eij平差模型矩阵形式：(xi)TEijxj＝0式中，Ejk平差模型矩阵形式：(xj)TEjkxk＝0式中，步骤二：顾及本质矩阵相关性的多像相对定向平差模型：利用三个摄站形成的基线向量闭合差条件bik＝bij+bjk和姿态矩阵传递条件Rik＝Rij·Rjk，可以导出本质矩阵关系式Eik＝Eij·Rjk+Ejk·(Rjk)T·Rij·Rjk，则有：式中，Rij,Rjk分别表示第i幅至第j幅关键帧的姿态矩阵、第j幅至第k幅关键帧的姿态矩阵。上式表明Eij,Ejk两个双像本质矩阵可表达第三个双像本质矩阵Eik，据此则可建立顾及本质矩阵Eij,Ejk相关性的多像相对定向平差模型，其公式如下：步骤三：相对姿态矩阵的稳健最小二乘方法。通过步骤一获得双像本质矩阵Eij,Ejk，进一步可通过下式计算相对姿态矩阵Rij,Rjk，通用计本文档来自技高网...

【技术保护点】
一种RTK与高速相机组合的交通标志杆姿态监测装置及方法，其特征在于：包括GNSS接收机、相机环和高速相机，相机成像中心与接收机中心铅锤距离为ΔH，所述相机环顶部通过双向螺栓与GNSS接收机连接，同时双向螺栓固定高速相机于相机环，相机环底部连接螺母接口，适用于手持式和车载式。

【技术特征摘要】
1.一种RTK与高速相机组合的交通标志杆姿态监测装置及方法，其特征在于：包括GNSS接收机、相机环和高速相机，相机成像中心与接收机中心铅锤距离为ΔH，所述相机环顶部通过双向螺栓与GNSS接收机连接，同时双向螺栓固定高速相机于相机环，相机环底部连接螺母接口，适用于手持式和车载式。2.一种RTK与高速相机组合的交通标志杆姿态监测方法，其特征在于：包括以下步骤：A、高速相机在不同姿态下拍摄棋盘标定板像片，使用张正友棋盘标定法完成高速相机内参数的标定；B、将交通标志杆姿态检测装置安装于移动载体上，同步开启高速相机、GNSS接收机，进行交通标志杆监测视频拍摄、高频实时GNSS-RTK测量；C、按帧分解交通标志杆监测视频，使用自适应综合特征法提取视频的关键帧；D、根据GNSS接收机与高速相机的空间位置关系，计算相应时刻拍摄站站心直角坐标；E、选取三幅及以上关键帧，使用SIFT算法进行特征点匹配，利用多像相对定向稳健估计方法计算姿态矩阵；F、利用三幅及以上关键帧模拟多目视觉成像的三角测量模型，建立附摄站坐标信息的多像单目视觉坐标测量模型，求解交通标志杆特征点坐标；G、建立交通标志杆特征点序列的空间直线模型，利用SVD求解模型方程，通过空间直线方向向量计算拟合标志杆的倾斜角。3.根据权利要求2所述的RTK与高速相机组合的交通标志杆姿态监测方法，其特征在于：所述计算相应时刻拍摄站站心直角坐标具体步骤为：A、读取RTK测量三个及以上连续历元的站心直角坐标、时间，建立时间与站心直角坐标多项式拟合方程模型，最小二乘法求解拟合方程；B、由拟合方程，以插值方式求单个历元的测站站心直角坐标；C、在测站站心直角坐标竖直方向增加ΔH即得到摄站站心直角坐标。4.根据权利要求2所述的RTK与高速相机组合的交通标志杆姿态监测方法，其特征在于：所述利用多像相对定向稳健估计方法计算姿态矩阵步骤为：A、分别用i,j,k表示选取的三幅及以上关键帧，利用两幅像片的本质矩阵原理列出i,j与j,k相对定向平差模型，求解双像本质矩阵Eij,Ejk；B、分别利用本质矩阵元素按照下式计算i,j与j,k的相对姿态矩阵初值：

【专利技术属性】
技术研发人员：刘志平，李桂南，徐永明，杨磊，余接情，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32