图像特征的匹配、定位方法及装置、定位系统制造方法及图纸

本发明专利技术适用于定位技术领域，提供了一种图像特征的匹配、定位方法及装置、定位系统，所述匹配方法包括：采集图像；对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。本发明专利技术中，基于图像分割结果进行语义序列匹配，基于语义序列匹配结果来匹配图像特征，可提高特征匹配精度。

【技术实现步骤摘要】
图像特征的匹配、定位方法及装置、定位系统
本专利技术属于定位
，尤其涉及一种图像特征的匹配、定位方法及装置、定位系统。
技术介绍
随着智能驾驶和智慧城市的快速发展，车辆的高精度位置信息的作用日益凸显。基于车载相机的视觉定位技术因为其成本相对较低，而受到了广泛的关注。在视觉定位技术中，图像特征的提取和匹配有着至关重要的作用。道路两旁通常会分布有语义标志牌(道路交通标志牌、广告牌等形状规则的物体)，其外部轮廓显著性相对较高，外部轮廓的几何特征点由于可适应光照条件变化，而且不会受到季节因素的影响而在视觉定位中得到应用。视觉定位技术主要分为两个阶段：定位地图构建阶段和定位阶段。在定位地图构建阶段，车载相机采集水平视角影像，高精度RTK和惯导等设备实时测量位姿信息。将带有位姿信息的影像通过SFM(StructureforMotion)/SLAM等技术构建视觉定位地图。在定位阶段，定位车辆只需装备相机，通过相机采集水平视角影像，提取图像特征，使用RANSAC算法与定位地图中的图像特征进行匹配，使用PnP算法估计车辆的精确位置。现有技术中，图像特征提取的方式主要包括SIFT/SURF/ORB等，图像特征由关键点和描述子两部分构成。对于汽车定位而言，由于道路两旁的绿化植被的外观会发生季节性变化，光照条件在同一天中也会发生巨大变化，无法以绿化植被作为图像特征。道路两旁通常会分布有语义标志牌，其外部轮廓显著性相对较高，因此视觉语义特征(语义标志牌外部轮廓的几何特征)可以较大程度的适应光照条件变化，而且不会受到季节因素的影响。视觉语义特征的提取可以分为实例分割和几何特征点提取。实例分割通过深度学习对图像的物体进行检测，分割出语义标志牌并确定其语义信息；在几何特征点提取阶段，对多边形的语义标志牌的外部轮廓直线拟合，外部轮廓的角点和几何中心点作为几何特征点。由于几何特征点的匹配过程需要依赖语义标志牌的分割结果，当发生误分割，或者一幅影像中包含多个语义相同的语义标志牌时，几何特征点可能会匹配错误，因此匹配精度不高。
技术实现思路
本专利技术实施例提供了一种图像特征的匹配、定位方法及装置、定位系统，旨在解决现有技术中由于依赖语义标志牌的分割结果导致特征匹配精度不高的问题。一种图像特征的匹配方法，包括：采集图像；对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。优选地，对所采集的图像进行分割，得到分割结果包括：对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；利用边缘算法提取每一语义标志牌的边缘信息；基于所述边缘信息确定对应语义标志牌的形状；对形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。优选地，采集图像之前还包括：构建视觉语义图。优选地，构建视觉语义图包括：采集基准图像；获取所述基准图像中的每一语义标志牌的状态信息，所述状态信息包括对应语义标志牌的语义信息及几何特征；基于所述语义标志牌的语义信息及几何特征生成对应的语义特征；基于所生成的语义特征构建视觉语义图。优选地，所述状态信息还包括目标车辆的位姿信息；基于所生成的语义特征构建视觉语义图包括：基于所述位姿信息确定所述语义特征所在的位置；基于所确定的语义特征所在位置定义两个以上节点；基于所定义的两个以上节点构建视觉语义图。优选地，基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果具体为：采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述模型为：<π，A，B>，所述π为初始概率分布；A为状态转移概；B为发散概率。优选地，基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果包括：基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果。优选地，基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果包括：基于所构建的语义特征计算所采集的图像与所述视觉语义图之间的语义特征相似度；若相似度大于阈值时，确定匹配，将所构建的语义特征作为所采集图像的图像特征。本专利技术还提供一种图像特征的匹配装置，包括：采集单元，用于采集图像；分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌的语义信息；序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。本专利技术还提供一种基于视觉语义的定位方法，包括：采集图像；对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；基于所所述图像特征匹配结果进行定位，得到定位结果。本专利技术还提供一种基于视觉语义的定装置，包括：采集单元，用于采集图像；分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；定位单元，用于基于特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果进行定位，得到定位结果。本专利技术还提供一种定位系统，包括定位装置，所述定位装置包括：采集单元，用于采集图像；分割单元，用于对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；序列匹配单元，用于基于所述分割结果及视觉语义图进行语义序列匹配，得到分割结果中语义标志牌与视觉语义图中语义标志牌的对应关系；特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果；定位单元，用于基于特征匹配单元，用于基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果进行定位，得到定位结果。本专利技术还提供一种存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行如下步骤：采集图像；...

【技术保护点】
1.一种图像特征的匹配方法，其特征在于，包括：/n采集图像；/n对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；/n基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；/n基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。/n

【技术特征摘要】
1.一种图像特征的匹配方法，其特征在于，包括：
采集图像；
对所采集的图像进行分割，得到分割结果，所述分割结果包括一个以上语义标志牌；
基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果；
基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果。


2.根据权利要求1所述的匹配方法，其特征在于，对所采集的图像进行分割，得到分割结果包括：
对所采集的图像进行分割，得到每一所述语义标志牌的分割结果，所述分割结果包括对应语义标志牌的语义信息；
利用边缘算法提取每一语义标志牌的边缘信息；
基于所述边缘信息确定对应语义标志牌的形状；
对形状为多边形的语义标志牌的边界进行直线拟合，得到对应的多边形数据，所述多边形数据包括对应的几何特征。


3.根据权利要求1所述的匹配方法，其特征在于，采集图像之前还包括：
构建视觉语义图。


4.根据权利要求3所述的匹配方法，其特征在于，构建视觉语义图包括：
采集基准图像；
获取所述基准图像中的每一语义标志牌的状态信息，所述状态信息包括对应语义标志牌的语义信息及几何特征；
基于所述语义标志牌的语义信息及几何特征生成对应的语义特征；
基于所生成的语义特征构建视觉语义图。


5.根据权利要求4所述的匹配方法，其特征在于，所述状态信息还包括目标车辆的位姿信息；基于所生成的语义特征构建视觉语义图包括：
基于所述位姿信息确定所述语义特征所在的位置；
基于所确定的语义特征所在位置定义两个以上节点；
基于所定义的两个以上节点构建视觉语义图。


6.根据权利要求2所述的匹配方法，其特征在于，基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果具体为：
采用以下模型基于所述分割结果及视觉语义图进行语义序列匹配，得到语义序列匹配结果，所述模型为：<π，A，B>，所述π为初始概率分布；A为状态转移概；B为发散概率。


7.根据权利要求5所述的匹配方法，其特征在于，基于所述语义序列匹配结果进行图像特征的匹配，得到图像特征匹配结果包括：
基于语义序列匹配结果得到分割结果中每一语义标志牌的语义信息；
基于分割结果中每一语义标志牌的语义信息及几何特征构建对应的语义特征；
基于所构建的语义特征及所述视觉语义图进行图像特征的匹配，得到图像特征匹配结果。


8.根据权...

【专利技术属性】
技术研发人员：武永峰，
申请(专利权)人：千寻位置网络有限公司，
类型：发明
国别省市：上海;31