基于关键点捕获实现路端相机自动标定处理的方法技术

本发明专利技术涉及一种基于关键点捕获实现路端相机自动标定处理的方法，其中，该方法包括以下步骤：安装相机获取地面关键点坐标；获取相机图像上路面箭头标志像素的坐标点和世界坐标系对应的地面点，求取单应性矩阵；使用网络模型对相机图像进行目标检测、灰度处理、边缘检测以及轮廓检测；将获取到的图像按照设置的关键点区域进行目标轮廓长度阈值的设置，并提取出路面箭头的顶点；判断手动标定的关键点与图像检测的关键点之间的距离是否在预设范围内，如果是，则更新单应性矩阵参数；否则，提示相机需重新安装。本发明专利技术还涉及一种相应的装置、处理器及其存储介质。采用了本发明专利技术的该方法、装置、处理器及其存储介质，精确度高，检测效果好，更方便安全。更方便安全。更方便安全。

【技术实现步骤摘要】
基于关键点捕获实现路端相机自动标定处理的方法


[0001]本专利技术涉及图像处理
，尤其涉及相机自动标定
，具体是指一种基于关键点捕获实现路端相机自动标定处理的方法、装置、处理器及其计算机可读存储介质。

技术介绍

[0002]摄像机标定技术是现有视频交通事件检测、视频能见度检测等路况智能化系统中的关键模块。其实现的图像与世界坐标的转换、路面点到摄像机绝对距离的计算是后续的智能化检测的基础。
[0003]传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单，精度易保证，但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。
[0004]路端摄像头由于恶劣天气和大型车辆通过会发生明显晃动，导致目标检测位置与真实值偏差突然变大；且长时间的晃动可能导致摄像头位置、角度发生变化，使用原标定参数无法准确得到目标位置信息。而且传统相机标定法操作复杂、成本较高，无法满足路端实时监测需求。
[0005]利用场景约束自标定主要是利用场景中的一些平行或者正交的信息。其中空间平行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。
[0006]路口图片有丰富的特征信息，但是车辆较多很容易发生遮挡而且在光线较暗时部分标志难以识别，造成自标定参数计算出现问题。很多路口地面并不平整，所以基于车道线和人行道进行自标定可能得不到较准确的标定参数。
[0007]因此需要有一种新的摄像头标定方案，可以安全、高效、准确的标定摄像头，并根据标定结果简单、快捷地计算出摄像头内各目标车辆的三维空间位置信息。

技术实现思路

[0008]本专利技术的目的是克服了上述现有技术的缺点，提供了一种标定简单、精确度高且更加方便安全的基于关键点捕获实现路端相机自动标定处理的方法、装置、处理器及其计算机可读存储介质。
[0009]为了实现上述目的，本专利技术的该基于关键点捕获实现路端相机自动标定处理的方法、装置、处理器及其计算机可读存储介质如下：
[0010]该基于关键点捕获实现路端相机自动标定处理的方法，其主要特点是，所述的方法包括以下步骤：
[0011](1)安装相机，使用RTK无人机测量相机点、方位点和地面关键点RTK信息进行目标检测，并以此获取地面关键点坐标；
[0012](2)基于确定的关键点坐标，手动精确标定目标检测区域的单应性矩阵参数，通过获取相机图像上路面箭头标志像素的坐标点和世界坐标系对应的地面点，求取相机图像与地面关键点之间的单应性矩阵；
[0013](3)使用网络模型对相机图像进行目标检测，并对设置的关键点区域进行自标定处理；
[0014](4)将所述的相机获取到的图像进行相应的灰度处理、边缘检测以及轮廓检测；
[0015](5)将获取到的图像按照设置的关键点区域进行目标轮廓长度阈值的设置，并提取出路面箭头的顶点；
[0016](6)判断手动标定的关键点与图像检测的关键点之间的距离是否在预设范围内，如果是，则更新单应性矩阵参数；否则，提示相机位置角度偏移过大，需重新安装。
[0017]较佳地，所述的步骤(1)具体包括以下步骤：
[0018](1.1)安装相机，使用工业RTK无人机测量路口相机点、方向点以及地面关键点坐标；
[0019](1.2)设定求取方位点B相对于相机A的方位角angle，则按照以下公式计算对应的方位角angle：
[0020][0021]其中，A
j
为A点经度，A
w
为A点纬度，B
j
为B点经度，B
w
为B点纬度；
[0022](1.3)按照以下公式计算地面关键点P与相机点之间的距离d：
[0023][0024]其中，P
j
为P点经度，P
w
为P点纬度，R
地
为地球半径；
[0025]并且按照上述计算方式选取8个关键点，计算8个关键点与相机点的距离d1至d8；
[0026](1.4)设定8个关键点坐标分别为P1(d1
×
cos(angle)，d1
×
sin(angle))、P2(d2
×
cos(angle)，d2
×
sin(angle))、P3(d3
×
cos(angle)，d3
×
sin(angle))、P4(d4
×
cos(angle)，d4
×
sin(angle))、P5(d5
×
cos(angle)，d5
×
sin(angle))、P6(d6
×
cos(angle)，d6
×
sin(angle))、P7(d7
×
cos(angle)，d7
×
sin(angle))、P8(d8
×
cos(angle)，d8
×
sin(angle))。
[0027]较佳地，所述的步骤(2)具体为按照以下方式计算单应性矩阵H：
[0028]按照关键点P坐标的设置方式，手动选取相机图像上路面箭头标志顶点像素的8个坐标点和世界坐标系对应的8个地面点，所述的地面点即为上述选择的关键点P1、P2、P3、P4、P5、P5、P6、P7、P8，则世界坐标系和像素坐标系之间的关系如下：
[0029][0030]其中，K为相机内参矩阵，s为任意尺度的比例，R为旋转矩阵，T为平移矩阵，u，v为像素坐标，x，y，z为世界坐标，r1、r2、r3为R矩阵的列向量；
[0031]则相机图像与地面之间的单应性矩阵H为：H＝sK[r
1 r
2 r
3 T]。
[0032]较佳地，在世界坐标系下，所述的单应性矩阵H中设置的8个地面点具有8个自由度，该8个自由度通过4对点求解，具体如下：
[0033]假设有一个关键点P，则它的齐次坐标为(x,y,1)，对应像素点的齐次坐标为(x',y',1)，则有：
[0034][0035]其中，h
11
、h
12
、h
13
、h
21
、h
22
、h
23
、h
31
、h
32
、h
33
均为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点捕获实现路端相机自动标定处理的方法，其特征在于，所述的方法包括以下步骤：(1)安装相机，使用RTK无人机测量相机点、方位点和地面关键点RTK信息进行目标检测，并以此获取地面关键点坐标；(2)基于确定的关键点坐标，手动精确标定目标检测区域的单应性矩阵参数，通过获取相机图像上路面箭头标志像素的坐标点和世界坐标系对应的地面点，求取相机图像与地面关键点之间的单应性矩阵；(3)使用网络模型对相机图像进行目标检测，并对设置的关键点区域进行自标定处理；(4)将所述的相机获取到的图像进行相应的灰度处理、边缘检测以及轮廓检测；(5)将获取到的图像按照设置的关键点区域进行目标轮廓长度阈值的设置，并提取出路面箭头的顶点；(6)判断手动标定的关键点与图像检测的关键点之间的距离是否在预设范围内，如果是，则更新单应性矩阵参数；否则，提示相机位置角度偏移过大，需重新安装。2.根据权利要求1所述的基于关键点捕获实现路端相机自动标定处理的方法，其特征在于，所述的步骤(1)具体包括以下步骤：(1.1)安装相机，使用工业RTK无人机测量路口相机点、方向点以及地面关键点坐标；(1.2)设定求取方位点B相对于相机A的方位角angle，则按照以下公式计算对应的方位角angle：其中，A
j
为A点经度，A
w
为A点纬度，B
j
为B点经度，B
w
为B点纬度；(1.3)按照以下公式计算地面关键点P与相机点之间的距离d：其中，P
j
为P点经度，P
w
为P点纬度，R
地
为地球半径；并且按照上述计算方式选取8个关键点，计算8个关键点与相机点的距离d1至d8；(1.4)设定8个关键点坐标分别为P1(d1
×
cos(angle)，d1
×
sin(angle))、P2(d2
×
cos(angle)，d2
×
sin(angle))、P3(d3
×
cos(angle)，d3
×
sin(angle))、P4(d4
×
cos(angle)，d4
×
sin(angle))、P5(d5
×
cos(angle)，d5
×
sin(angle))、P6(d6
×
cos(angle)，d6
×
sin(angle))、P7(d7
×
cos(angle)，d7
×
sin(angle))、P8(d8
×
cos(angle)，d8
×
sin(angle))。3.根据权利要求2所述的基于关键点捕获实现路端相机自动标定处理的方法，其特征在于，所述的步骤(2)具体为按照以下方式计算单应性矩阵H：按照关键点P坐标的设置方式，手动选取相机图像上路面箭头标志顶点像素的8个坐标点和世界坐标系对应的8个地面点，所述的地面点即为上述选择的关键点P1、P2、P3、P4、P5、P5、P6、P7、P8，则世界坐标系和像素坐标系之间的关系如下：
其中，K为相机内参矩阵，s为任意尺度的比例，R为旋转矩阵，T为平移矩阵，x
′
，y
′
为像素坐标，x，y，z为世界坐标，r1、r2、r3为R矩阵的列向量；则相机图像与地面之间的单应性矩阵H为：H＝sK[r
1 r
2 r
3 T]。4.根据权利要求3所述的基于关键点捕获实现路端相机自动标定处理的方法，其特征在于，在世界坐标系下，所述的单应性矩阵H中设置的8个地面点具有8个自由度，该8个自由度通过4对点求解，具体如下：假设有一个关键点P，则它的齐次坐标为(x,y,1)，对应像素点的齐次坐标为(x',y',1)，则有：其中，h
11
、h
12
、h
13
、h
21
、h
22
、h
23
、h
31
、h
32
、h
33
均为单应性矩阵H中的值；将单应性矩阵H展开，进一步可得：将单应性矩阵H展开，进一步可得：设置h
33
＝1，从P1、P2、P3、P4、P5、P6、P7、P8中每次随机选出不同的4对点及其对应的像素坐标，按照上式分别计算相应的单应性矩...

【专利技术属性】
技术研发人员：赵丁甲，陆新飞，薛旦，史颂华，
申请(专利权)人：上海几何伙伴智能驾驶有限公司，
类型：发明
国别省市：