基于文字标识的语义视觉定位方法技术

本发明专利技术涉及视觉定位技术领域，且公开了一种基于文字标识的语义视觉定位方法，包括以下步骤：准备步骤，进行三维地图构建、图像检索步骤，基于上一步构建的三维文字地图，输入查询帧进行图像检索、位姿估计，得到当前帧的匹配帧后，需要计算两帧之间的相对位姿、实验对比，实验使用TextSLAM所提出的数据集，选择图像检索、位置识别、视觉定位等相关领域的多个经典、最好方法进行比较。该基于文字标识的语义视觉定位方法，使用场景中的文字标识信息作为特征进行视觉定位，从而实现一种真正的词袋模型，而非前述工作使用的视觉“词袋”模型；使用基于文字标识的语义信息进行视觉定位，可以获得定位准确率和效率的大幅度提升。位准确率和效率的大幅度提升。位准确率和效率的大幅度提升。

【技术实现步骤摘要】
基于文字标识的语义视觉定位方法


[0001]本专利技术涉及视觉定位
，具体为一种基于文字标识的语义视觉定位方法。

技术介绍

[0002]视觉定位方法输入查询帧，从数据库中找到与查询帧观测同一个位置的关键帧，并计算出查询帧相对于数据库帧的相对位姿，从而得到查询帧当前相机位姿。传统的视觉定位方法通过比较图像局部外观特征进行帧与帧之间的相似度计算，例如使用FAST+BRIEF、SURF、SIFT等常见特征及其描述子，结合视觉词袋模型(visual bag of word)技术，进行图像间的相似度计算，从而找到与输入查询帧最相似的数据库关键帧。
[0003]图像局部外观特征容易受到变化的环境影响，比如观测视角变化、场景光照变化，都会导致图像外观发生巨大的变化，从而对依赖图像局部外观的视觉词袋模型方法产生影响，难以完成准确鲁棒的视觉定位。针对这种情况，研究者注意到环境中存在的语义目标，它们所携带的语义信息不随环境变化而变化，因此有研究工作通过提取环境中的语义信息编码为特征，依靠这类语义特征进行视觉定位，获得了不错的效果。
[0004]环境中存在一类典型的语义目标—文字标识，比如商店招牌、道路指示牌、办公室铭牌等等，它们几何结构统一、直接传递语义信息、分布广泛、出现频率高，是一种良好的视觉定位标志物。有研究者[1]使用从二维图像观测中提取出来的文字标识，将其语义信息与数据库所有帧上所有文字观测进行逐一比较，从而得到图像检索结果，之后使用EKF算法将数据库帧的位姿与当前运行的视觉里程计计算出的位姿结果进行融合更新。但该方法没有构建包含文字信息的全局三维地图，因此对文字标识的使用仅局限于二维图像文字提取结果，只能进行耗时低效的包含大量重复的文字搜索过程，该方法的效率效果与实际应用要求有较大差距，且不能根据文字标识信息比较图像之间的相似性；鉴于此，我们提出了一种基于文字标识的语义视觉定位方法。

技术实现思路

[0005]本专利技术的目的在于提供一种基于文字标识的语义视觉定位方法，以解决对文字标识的使用仅局限于二维图像文字提取结果，只能进行耗时低效的包含大量重复的文字搜索过程，现有方法的效率效果与实际应用要求有较大差距的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于文字标识的语义视觉定位方法，所述视觉定位方法包括以下步骤：
[0007]S1、准备步骤，进行三维地图构建，图像检索和位姿估计均基于该地图进行；
[0008]S2、图像检索步骤，基于上一步构建的三维文字地图，输入查询帧进行图像检索；
[0009]S3、位姿估计，得到当前帧的匹配帧后，需要计算两帧之间的相对位姿，此时需要两帧之间的特征点匹配结果；
[0010]S4、实验对比，实验使用TextSLAM所提出的数据集，选择图像检索、位置识别、视觉定位等相关领域的多个经典、最好方法进行比较，基于深度学习的方法使用方法所提供的
训练好的模型进行测试。
[0011]可选的，所述S1进一步的包括：将一组数据库帧输入可处理文字信息的SLAM算法或SfM算法，构建包含文字语义信息和几何位置信息的全局地图；地图中的文字目标是经过多帧观测校验的结果，与单张图像上的直接文字检测结果相比，删除了重复观测和单帧检测错误结果。
[0012]可选的，所述S2包括：
[0013]S21、使用文字提取技术对二维图像进行文字目标检测和识别，得到图像中所有观测文字和其语义信息；
[0014]S22、提取计算图像中的FAST特征点和其BRIEF描述子，包括文字区域和非文字区域的所有特征点；
[0015]S23、遍历查询帧上的所有文字观测，对于每一个文字观测；
[0016]S24、遍历三维文字地图中的所有文字目标；
[0017]S25、每个文字观测与每个地图文字目标进行相似性比较：具体来说，使用s
i
和s
j
代表两个文字语义信息的字符串，它们之间的相似度定义为如下形式：
[0018]S26、使用阈值对文字语义匹配结果进行筛选，高于阈值的结果被认为是匹配上的文字，低于阈值的匹配则被删除，该步骤中阈值的选择我们提出自适应阈值进行计算，当前帧存在观测遮挡等情况，也可以在地图中找到正确匹配的文字目标；
[0019]S27、经过阈值筛选的匹配结果，即为当前文字观测的地图文字目标匹配结果，从地图中提取所有匹配出的地图文字目标的数据库观测帧并对该帧计数累加1；
[0020]S28、当前某个文字观测的匹配步骤结束，开始下一个文字观测的匹配流程，重复上述过程。
[0021]可选的，所述相似度定义所计算的相似性计算结果值域为(0，1]，其中|s|为字符串的长度，d(s
i
,s
j
)定义为将s
i
转变为s
j
所需的最小更改步骤数，s(s
i
,s
j
)越大代表两个字符串越相近。
[0022]可选的，所述S3包括：
[0023]S31、遍历每一个回环候选帧，即每一对查询帧
‑‑
候选帧匹配，提取上一步得到的这两帧的文字匹配结果；
[0024]S32、遍历所有文字匹配，进行文字引导的特征点匹配，也就是在每一对文字目标所在的两帧图像区域内部，使用BRIEF描述子进行特征点匹配，这样与全图搜索相比，特征点的搜索仅在可靠区域内进行；
[0025]S33、重复S32步骤，以得到查询帧与当前图像检索候选帧的所有文字区域特征点匹配结果。
[0026]S34、除去上一步中的所有文字特征点匹配结果，在剩下的特征点和搜索区域内进行点匹配，得到非文字区域的特征点匹配结果；
[0027]S35、输入所有特征点匹配结果，进行SE(3)位姿优化，优化使用重投影误差项，优化中固定住候选帧的位姿，基于优化结果，删除不符合结果的特征点匹配结果，得到最终的相对位姿计算结果和特征点匹配结果；
[0028]S36、回到S31步骤，进入下一个候选帧的处理流程；
[0029]S37、当遍历完所有的图像检索候选帧，选择与查询帧具有最多特征点匹配结果的候选帧，使用该结果中的位姿计算为最终的查询帧位姿结果。
[0030]与现有技术相比，本专利技术提供了一种基于文字标识的语义视觉定位方法，具备以下有益效果：
[0031]1、该基于文字标识的语义视觉定位方法，使用场景中的文字标识信息作为特征进行视觉定位，从而实现一种真正的词袋模型，而非前述工作使用的视觉“词袋”模型；使用基于文字标识的语义信息进行视觉定位，可以获得定位准确率和效率的大幅度提升。
[0032]2、该基于文字标识的语义视觉定位方法，提出基于文字标识语义信息的图像相似性比较流程，得到查询帧的图像检索候选帧，通过同一个位置上的文字标识信息不随观测环境的变化而发生改变，因此可以通过计算不同图像观测的文字语义信息间的相似性，来判断图像之间的相似性，基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文字标识的语义视觉定位方法，其特征在于：所述视觉定位方法包括以下步骤：S1、准备步骤，进行三维地图构建，图像检索和位姿估计均基于该地图进行；S2、图像检索步骤，基于上一步构建的三维文字地图，输入查询帧进行图像检索；S3、位姿估计，得到当前帧的匹配帧后，需要计算两帧之间的相对位姿，此时需要两帧之间的特征点匹配结果；S4、实验对比，实验使用TextSLAM所提出的数据集，选择图像检索、位置识别、视觉定位等相关领域的多个经典、最好方法进行比较，基于深度学习的方法使用方法所提供的训练好的模型进行测试。2.根据权利要求1所述的基于文字标识的语义视觉定位方法，其特征在于：所述S1进一步的包括：将一组数据库帧输入可处理文字信息的SLAM算法或SfM算法，构建包含文字语义信息和几何位置信息的全局地图；地图中的文字目标是经过多帧观测校验的结果，与单张图像上的直接文字检测结果相比，删除了重复观测和单帧检测错误结果。3.根据权利要求1所述的基于文字标识的语义视觉定位方法，其特征在于：所述S2包括：S21、使用文字提取技术对二维图像进行文字目标检测和识别，得到图像中所有观测文字和其语义信息；S22、提取计算图像中的FAST特征点和其BRIEF描述子，包括文字区域和非文字区域的所有特征点；S23、遍历查询帧上的所有文字观测，对于每一个文字观测；S24、遍历三维文字地图中的所有文字目标；S25、每个文字观测与每个地图文字目标进行相似性比较：具体来说，使用s
i
和s
j
代表两个文字语义信息的字符串，它们之间的相似度定义为如下形式：4.根据权利要求3所述的基于文字标识的语义视觉定位方法，其特征在于：所述S2还包括：S26、使用阈值对文字语义匹配结果进行筛选，高于阈值的结果被认为是匹配上的文字，低于阈值的匹配则被删除，该步骤中阈值的选择我们提出自适应阈值进行计算，当前帧存在观测遮挡等情况，也可以在地图中找到正确匹配的文字目标；S27、经过阈值筛选的匹...

【专利技术属性】
技术研发人员：李博颖，邹丹平，裴凌，郁文贤，
申请(专利权)人：上海西虹桥导航技术有限公司，
类型：发明
国别省市：