一种空地协同车辆定位定向方法技术

本发明专利技术专利公开了一种空地协同车辆定位定向方法，具体涉及车辆定位定向方法应用技术领域。一种空地协同车辆定位定向方法，包括如下步骤：采用无人机挂载工业相机来构建非重叠视场相机系统，求解相机之间的坐标变换，获取多相机的内部参数和外部参数；基于结构森林和PCANet的标志物检测对相机系统内获取的内部参数和外部参数进行分类识别，以获取标志物的位置信息；根据时空一致性的视觉推算定位算法，并结合S2中检测到的标志物位置信息，对车辆自身的方位进行估计，同时，采用状态滤波，实时估计车辆的位置和状态信息。采用本发明专利技术技术方案解决了大型工程车辆及特种车辆进行复杂道路作业时的安全问题，可为驾驶员提供有效的车辆位置信息。车辆位置信息。车辆位置信息。

【技术实现步骤摘要】
一种空地协同车辆定位定向方法


[0001]本专利技术涉及车辆定位定向方法应用
，特别涉及一种空地协同车辆定位定向方法。

技术介绍

[0002]近年来，随着无人机技术的发展，利用无人机代替作业人员在三维复杂环境下进行作业，对减少经济成本、减轻劳动强度以及降低作业人员在执行工作任务时的安全风险具有重要意义。结合实际大型工程车辆及特种车辆的任务，大型工程车辆及特种车辆在复杂条件下的使用是其中重要的一部分。相应地，在开展任务的过程中，各种问题也突显出来，比如：夜间行驶感知道路安全性的能力不够，在预定场地不能够自动识别的标志物，以及车辆的定位定向技术不足等。对于各种复杂的道路条件，开展大型工程车辆及特种车辆的智能辅助，及时检测地面的标志物和辅助信息，提供相应的车辆相对方位参数，是有效提升车辆在预定场地感知能力的技术手段。因此，开展大型工程车辆及特种车辆视觉辅助定位定向技术研究，为驾驶员提供辅助的信息，是一个极具现实意义和战略价值的方向。

技术实现思路

[0003]本专利技术意在提供一种空地协同车辆定位定向方法，解决了大型工程车辆及特种车辆进行复杂道路作业时的安全问题。
[0004]为了达到上述目的，本专利技术的技术方案如下：一种空地协同车辆定位定向方法，包括如下步骤：
[0005]S1、构建图像采集系统：采用无人机挂载工业相机来构建非重叠视场相机系统，求解相机之间的坐标变换，获取多相机的内部参数和外部参数，用于畸变图像的校正以及局部场景信息的构成；
[0006]S2、标志物检测与识别：基于结构森林和PCANet的标志物检测对相机系统内获取的内部参数和外部参数进行分类识别，以获取标志物的位置信息；
[0007]S3、车辆的定位定向：根据时空一致性的视觉推算定位算法，并结合S2中检测到的标志物位置信息，对车辆自身的方位进行估计，同时，采用状态滤波，实时估计车辆的位置和状态信息。
[0008]进一步的，S1中外部参数的获取方法采用如下步骤：
[0009]S101、将两个子靶标(即第一子靶标和第二子靶标)固连形成固连靶标，确保两个子靶标分别放置于第一相机和第二相机的视场中，再通过大视场相机获取不同位置时固连靶标的图像序列，根据PnP原理，可以求解固连靶标到大视场相机的转换矩阵T
t1,c
和T
t2,c
，并且以相机坐标系为中介，根据式为：
[0010][0011]上式中，K为内参矩阵，H
i
为第i个靶标到图像平面的映射关系，和为外部参
数；通过摄影测量法获取子靶标之间的转换矩阵T
t2,t1
，作为求解多相机系统之间转换矩阵参数的关联条件；
[0012]S102、对于非重叠视场相机系统，令第一相机采集视场中第一子靶标的图像、第二相机采集视场中第二子靶标的图像，提取图像中的角点特征，得到第一子靶标到第一相机的转换矩阵T
t1,c1
和第二子靶标到第二相机的转换矩阵T
t2,c2
，并结合S101中得到的参数关联条件T
t2,t1
，根据式为：
[0013][0014]上式中，T
t2,t1
为通过摄影测量法求得的固连靶标之间的转换矩阵，T
c2,c1
为第二相机到第一相机的转换矩阵；
[0015]S103、结合非重叠视场相机系统标定的空间约束条件，构建重投影目标优化函数，考虑到相机的分辨率、畸变、成像角以及标定平面非共面带来的误差，实际计算求解中为了降低z轴分量对标定结果的影响，通过在不同位置k获取靶标图像，得到靶标之间的转换矩阵T
t2,t1
(k)，取平移分量在z轴偏差最小时的T
t2,t1
(k)作为靶标间的转换矩阵；
[0016][0017]相机间的转换矩阵R
c2,c1
和平移向量t
c2,c1
为待优化的固定值，根据实时解算的矩阵R
c2,c1
和t
c2,c1
，在不同位置时刻，第二相机到第一相机的位置关系为：
[0018][0019]则可以得到位置约束条件：
[0020][0021]上式中，m和n分别为任意两个不同位置，[m
‑
n]为根据图像特征点求得的第一相机到第二相机的外部参数差异，归一化便于计算；
[0022]不同相机在相同位置时的重投影误差不同，在不考虑镜头畸变时，根据径向一致性约束条件可知：
[0023][0024]上式中，s
x
r1/T
y
，s
x
r2/T
y
，s
x
r3/T
y
，s
x
T
x
/T
y
，r4/T
y
，r5/T
y
，r6/T
y
可以通过最小二乘法
得到，s
x
，r1,L,r9，T
x
，T
y
，T
z
可以通过旋转矩阵的正交性得到，则靶标上的坐标点可以表示为：
[0025][0026]从上式中可以看出，靶标的坐标点与相机本身的焦距及畸变参数有关，同一目标点，经过多相机坐标系的转换后，其坐标的重投影误差是不相同的；
[0027]令靶标在位置i时，特征点j在第一子靶标和第二子靶标上的坐标为和为点在第一子靶标坐标系中的齐次坐标，为点在第二子靶标坐标系中的齐次坐标，和分别为点在无畸变图像和重投影图像的齐次坐标，则根据透视投影模型可得：
[0028][0029]上式中，K1为第一相机的内部参数矩阵，K2为第二相机的内部参数矩阵；
[0030]则在相机系统中，靶标间的重投影误差可以表示为：
[0031][0032]上式中，n1和n2分别为靶标中的特征点数量；
[0033]结合上述公式建立的约束条件，将靶标间的共面约束、相机与靶标的位置约束以及多相机间的重投影约束，采用非线性优化的方法，通过非重叠视场相机系统同时采集k个不同位置时的标定图像，优化相机之间的转换矩阵，依据最大似然准则构建目标优化函数，求解T
t2,t1
和T
c2,c1
的最优解：
[0034][0035][0036]上式中，k为靶标在不同位置拍摄的靶标图像，n1和n2分别为靶标中特征点的数量；利用Levenberg
‑
Marquardt算法，对相机之间转换矩阵的12个参数进行优化，求解优化后非重叠相机之间的转换矩阵T
c2,c1
。
[0037]进一步的，S2中标志物的位置信息获取的方法包含以下步骤：
[0038]S201、图像预处理：首先，获取S101的图像序列，结合相机的内部参数，对图像进行
畸变校正，然后，采用基于结构森林的边缘检测算法，得到图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空地协同车辆定位定向方法，其特征在于：包括如下步骤：S1、构建图像采集系统：采用无人机挂载工业相机来构建非重叠视场相机系统，求解相机之间的坐标变换，获取多相机的内部参数和外部参数，用于畸变图像的校正以及局部场景信息的构成；S2、标志物检测与识别：基于结构森林和PCANet的标志物检测对相机系统内获取的内部参数和外部参数进行分类识别，以获取标志物的位置信息；S3、车辆的定位定向：根据时空一致性的视觉推算定位算法，并结合S2中检测到的标志物位置信息，对车辆自身的方位进行估计，同时，采用状态滤波，实时估计车辆的位置和状态信息。2.根据权利要求1所述的一种空地协同车辆定位定向方法，其特征在于：S1中外部参数的获取方法采用如下步骤：S101、将两个子靶标(即第一子靶标和第二子靶标)固连形成固连靶标，确保两个子靶标分别放置于第一相机和第二相机的视场中，再通过大视场相机获取不同位置时固连靶标的图像序列，根据PnP原理，可以求解固连靶标到大视场相机的转换矩阵T
t1,c
和T
t2,c
，并且以相机坐标系为中介，根据式为：上式中，K为内参矩阵，H
i
为第i个靶标到图像平面的映射关系，和为外部参数；通过摄影测量法获取子靶标之间的转换矩阵T
t2,t1
，作为求解多相机系统之间转换矩阵参数的关联条件；S102、对于非重叠视场相机系统，令第一相机采集视场中第一子靶标的图像、第二相机采集视场中第二子靶标的图像，提取图像中的角点特征，得到第一子靶标到第一相机的转换矩阵T
t1,c1
和第二子靶标到第二相机的转换矩阵T
t2,c2
，并结合S101中得到的参数关联条件T
t2,t1
，根据式为：上式中，T
t2,t1
为通过摄影测量法求得的固连靶标之间的转换矩阵，T
c2,c1
为第二相机到第一相机的转换矩阵；S103、结合非重叠视场相机系统标定的空间约束条件，构建重投影目标优化函数，考虑到相机的分辨率、畸变、成像角以及标定平面非共面带来的误差，实际计算求解中为了降低z轴分量对标定结果的影响，通过在不同位置k获取靶标图像，得到靶标之间的转换矩阵T
t2,t1
(k)，取平移分量在z轴偏差最小时的T
t2,t1
(k)作为靶标间的转换矩阵；相机间的转换矩阵R
c2,c1
和平移向量t
c2,c1
为待优化的固定值，根据实时解算的矩阵R
c2,c1
和t
c2,c1
，在不同位置时刻，第二相机到第一相机的位置关系为：则可以得到位置约束条件：
上式中，m和n分别为任意两个不同位置，[m
‑
n]为根据图像特征点求得的第一相机到第二相机的外部参数差异，归一化便于计算；不同相机在相同位置时的重投影误差不同，在不考虑镜头畸变时，根据径向一致性约束条件可知：上式中，s
x
r1/T
y
，s
x
r2/T
y
，s
x
r3/T
y
，s
x
T
x
/T
y
，r4/T
y
，r5/T
y
，r6/T
y
可以通过最小二乘法得到，s
x
，r1,L,r9，T

【专利技术属性】
技术研发人员：卢瑞涛，范继伟，杨小冈，席建祥，谢学立，朱正杰，王思宇，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：