一种基于全向相机的城市环境下视觉辅助导航方法及系统技术方案

本发明专利技术涉及全球卫星导航定位技术领域，尤其涉及基于全向相机的城市环境下视觉辅助导航方法及系统，通过将全向相机拍摄的全向图像形式的城市天空图像经过校正和天空区域检测后再还原为全向图像，获取采集所述原始城市天空图像时刻的GNSS信号，并将所述GNSS信号中的卫星投影到所述全向天空区域图像上，根据卫星和天空区域的位置关系判断LOS卫星及NLOS卫星。将NLOS卫星剔除后只使用LOS卫星进行定位，不仅能实现提升定位准确性和稳定性，而且相对于现有的NLOS卫星信号剔除方法，计算负荷小、不需要依赖建模的准确度和精度、不需要大量数据集用来训练学习。据集用来训练学习。据集用来训练学习。

【技术实现步骤摘要】
一种基于全向相机的城市环境下视觉辅助导航方法及系统


[0001]本专利技术涉及全球卫星导航定位
，尤其涉及一种基于全向相机的城市环境下视觉辅助导航方法及系统。

技术介绍

[0002]随着全球卫星导航系统的不断发展与完善，全球卫星导航系统在智能交通与无人驾驶领域发挥了巨大的作用。由于多星座全球导航卫星系统(GPS、北斗、GLONASS、伽利略和QZSS)的可用性，GNSS解决方案越来越受欢迎。如果GNSS接收机接收到足够多的卫星发射的直接信号，即所谓的视距信号(LOS)，则GNSS定位可以获得良好的性能。然而，在高度城市化的地区，GNSS的传播可能会被摩天大楼和移动物体反射、衍射或阻挡，从而造成额外的信号传输延迟。由此产生的多径效应和非视距(NLOS)信号接收会导致解算的结果误差增大，可能会导致数米甚至数千米的定位误差，严重影响了全球卫星导航系统的定位精度。为了提高全球卫星导航系统在城市环境下的可用性和定位精度，剔除非视距信号的重要性不言而喻。
[0003]目前已有的剔除NLOS信号的方法有：
[0004]空间统计方法：使用空间统计方法用来生成用户位置固有的空间分布的多径信号，以减少多径现象，提升GNSS定位效果。
[0005]三维建筑模型方法：利用三维建筑模型来提高城市峡谷中的交叉轨道定位精度，方法是通过预测哪些卫星可以从不同的位置看到，并将其与测量的卫星能见度进行比较来确定位置。
[0006]机器学习方法：对接收到的信号进行分类，检测NLOS信号，进而提升GNSS定位效果。r/>[0007]先前技术不足:
[0008]空间统计方法：随着卫星数量的增加，计算负荷增加，多卫星接收多径误差时计算效率降低。
[0009]三维建筑模型方法：需要提前或实时获取周围环境的三维信息，算法难以将所有的NLOS卫星成功识别，极其依赖建模的准确度和精度。
[0010]机器学习方法：需要大量数据集用来训练，并需要打好标签。

技术实现思路

[0011]本专利技术提供了一种基于全向相机的城市环境下视觉辅助导航方法及系统，解决现有城市环境下卫星定位中NLOS卫星信号剔除方法效率低、解算精度无法满足要求或者算法极其依赖模型的准确度和精度的问题，提高全球卫星导航系统在城市环境下的可用性和定位精度。
[0012]第一方面，本专利技术实施例提供了一种基于全向相机的城市环境下视觉辅助导航方法，包括以下步骤：
[0013]通过全向相机采集全向图像形式的原始城市天空图像，并对所述原始城市天空图像进行归一化平面校正，得到校正城市天空图像；
[0014]对所述校正城市天空图像进行天空区域检测并转回全向图像，得到全向天空区域图像；
[0015]获取采集所述原始城市天空图像时刻的GNSS信号，并将所述GNSS信号中的卫星投影到所述全向天空区域图像上；
[0016]判断所述卫星是否位于所述全向天空区域图像对应的天空区域内，若是则为LOS卫星；反之则为NLOS卫星；
[0017]通过所述LOS卫星进行定位。
[0018]在本专利技术第一方面的进一步的实施方案中，所述对所述校正城市天空图像进行天空区域检测并转回全向图像，得到全向天空区域图像，还包括：
[0019]从所述校正城市天空图像中提取天空边界；
[0020]根据所述天空边界，从校正城市天空图像中标注出天空区域，并转回全向图像，得到全向天空区域图像。
[0021]在本专利技术第一方面的进一步的实施方案中，所述从所述校正城市天空图像中提取天空边界，还包括：
[0022]提取所述校正城市天空图像梯度信息；
[0023]定义天空边界函数border(x)，所述天空边界函数为：
[0024]1≤border(x)≤H(1≤x≤W)，
[0025]其中W和H表示校正城市天空图像的宽度和高度，则天空区域和非天空区域分别定义为：
[0026]sky＝{(x,y)|1≤x≤W,1≤y≤border(x)}，
[0027]ground＝{(x,y)|1≤x≤W,border(x)≤y≤H}；
[0028]确定改进能量函数为：
[0029][0030]其中，Σ
s
和Σ
g
表示用RGB值表示的天空区域和非天空区域的协方差矩阵，γ是天空区域均匀性的参数，取值为2，和对应于两个矩阵的最大特征值，Σ
s
和Σ
g
定义如下：
[0031][0032][0033]其中，N
s
和N
g
表示天空区域和非天空区域的像素数，I为输入的RGB图像，μ
s
和μ
g
分别为天空区域和非天空区域的平均RGB值；
[0034]定义t为所述天空能量函数border(x)阈值，其中5≤t≤600,给定第一阈值，获得第一阈值对应的校正城市天空图像的天空边界，为第一天空边界，根据所述第一天空边界获得改进能量函数值，为第一改进能量函数值；
[0035]采用步长为5的步进搜索策略获得第二天空边界、第三天空边界、
…
、第n天空边
界，及相应的第二改进能量函数值、第三改进能量函数值、
…
、第n改进能量函数值；
[0036]获取最大改进能量函数值，所述最大改进能量函数值对应的天空边界为校正城市天空图像的天空边界。
[0037]在本专利技术第一方面的进一步的实施方案中，从所述校正城市天空图像中提取天空边界还包括检测所述校正城市天空图像天空边界内的伪天空区域，步骤为：
[0038]定义diff_abs(x)函数，所述diff_abs(x)＝|border(x+1)
‑
border(x)|(1≤x≤W
‑
1)；
[0039]若diff_abs(x)>H/3，则判断所述天空边界函数对应的天空区域存在伪天空区域；
[0040]采用K
‑
means算法将所述存在伪天空区域的区域划分为两个簇，得到所述两个簇类的平均向量μ
s1
和μ
s2
，协方差矩阵Σ
s1
和Σ
s2
，计算μ
s1
和μ
g
、μ
s2
和μ
g
之间的马氏距离，所述马氏距离较大的簇为天空区域，较小的簇为伪天空区域。
[0041]在本专利技术第一方面的进一步的实施方案中，所述获取采集所述原始城市天空图像时刻的GNSS信号，并将所述GNSS信号中的卫星投影到所述全向天空区域图像上，还包括：
[0042]将原始城市天空图像和接收机采集的GNSS信号时间戳对齐，获得采集原始城市天空图像时接收到的GNSS信号；
[0043]从所述GNSS信号中解算出卫星的伪距、高度角和方位角，并将所述卫星表示在ENU坐标系中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全向相机的城市环境下视觉辅助导航方法，其特征在于，包括以下步骤：通过全向相机采集全向图像形式的原始城市天空图像，并对所述原始城市天空图像进行归一化平面校正，得到校正城市天空图像；对所述校正城市天空图像进行天空区域检测并转回全向图像，得到全向天空区域图像；获取采集所述原始城市天空图像时刻的GNSS信号，并将所述GNSS信号中的卫星投影到所述全向天空区域图像上；判断所述卫星是否位于所述全向天空区域图像对应的天空区域内，若是则为LOS卫星；反之则为NLOS卫星；通过所述LOS卫星进行定位。2.如权利要求1所述的基于全向相机的城市环境下视觉辅助导航方法，其特征在于，所述对所述校正城市天空图像进行天空区域检测并转回全向图像，得到全向天空区域图像，还包括：从所述校正城市天空图像中提取天空边界；根据所述天空边界，从校正城市天空图像中标注出天空区域，并转回全向图像，得到全向天空区域图像。3.如权利要求2所述的基于全向相机的城市环境下视觉辅助导航方法，其特征在于，所述从所述校正城市天空图像中提取天空边界，还包括：提取所述校正城市天空图像梯度信息；定义天空边界函数border(x)，所述天空边界函数为：1≤border(x)≤H(1≤x≤W)，其中W和H表示校正城市天空图像的宽度和高度，则天空区域和非天空区域分别定义为：sky＝{(x,y)|1≤x≤W,1≤y≤border(x)}，ground＝{(x,y)|1≤x≤W,border(x)≤y≤H}；确定改进能量函数为：其中，Σ
s
和Σ
g
表示用RGB值表示的天空区域和非天空区域的协方差矩阵，γ是天空区域均匀性的参数，取值为2，λ
1s
和λ
1g
对应于两个矩阵的最大特征值，Σ
s
和Σ
g
定义如下：定义如下：其中，N
s
和N
g
表示天空区域和非天空区域的像素数，I为输入的RGB图像，μ
s
和μ
g
分别为天空区域和非天空区域的平均RGB值；定义t为所述天空能量函数border(x)阈值，其中5≤t≤600,给定第一阈值，获得第一阈值对应的校正城市天空图像的天空边界，为第一天空边界，根据所述第一天空边界获得
改进能量函数值，为第一改进能量函数值；采用步长为5的步进搜索策略获得第二天空边界、第三天空边界、
…
、第n天空边界，及相应的第二改进能量函数值、第三改进能量函数值、
…
、第n改进能量函数值；获取最大改进能量函数值，所述最大改进能量函数值对应的天空边界为校正城市天空图像的天空边界。4.如权利要求3所述的基于全向相机的城市环境下视觉辅助导航方法，其特征在于，所述从所述校正城市天空图像中提取天空边界还包括检测所述校正城市天空图像天空边界内的伪天空区域，步骤为：定义diff_abs(x)函数，...

【专利技术属性】
技术研发人员：戴志强，姚荷雄，朱祥维，周靖怡，李芳，
申请(专利权)人：中山大学，
类型：发明
国别省市：