【技术实现步骤摘要】
VIO视觉系统及方法
[0001]本专利技术涉及机器人的自主定位与地图构建领域，具体涉及一种VIO视觉系统及方法。
技术介绍
[0002]随着计算机技术和人工智能的发展，智能自主移动机器人成为机器人领域的一个重要研究方向和研究热点。在机器人的实际应用场景中，有些情况下无法事先获取机器人的应用环境地图，机器人需要在自身位置不确定的条件下在完全未知的环境中创建地图，同时进行自主定位与导航。在机器人的自主定位与地图构建中，位姿估计是重要环节，传统的位姿估计通过VO(视觉里程计)进行三角化算法来实现，但这一方法无法有效克服单目相机的尺度问题，同时三角化算法在采集图像设备进行旋转运动时易退化导致丢失特征点的问题，无法准确跟踪环境图像数据的特征信息。在位姿估计中，为了减少甚至消除层层估计产生的累积误差，通常需要对采集的实时图像数据进行回环检测，通过回环检测判定相似场景，对属于相似场景的实时图像数据进一步进行位姿估计的优化处理。现有的回环检测广泛采用的是基于词袋模型的回环检测，基于词袋模型的回环检测将每一次采集的实时图像数据的特征信息抽象为特征单词，并将最新采集的实时图像数据的特征单词与已采集到的所有的实时图像数据的特征单词进行一致性匹配，判断前后实时图像数据是否属于相似场景。这一回环检测的方法运算量大，计算耗时多，对实时应用终端友好性低，同时这一方法易受光照、视角等条件影响，位姿估计的准确度不高。
[0003]因此，通过现有的方法机器人无法在未知环境中进行准确的位姿估计，同时无法高效实时地实现自主定位与地图构建。>
技术实现思路
[0004]本专利技术的目的是提供一种VIO视觉方法，其能够有效解决现有机器的自主定位与地图构建应用中的缺陷，具体地，一种VIO视觉方法，包括以下步骤：S1.通过图像数据采集单元采集实时图像数据，并对实时图像数据进行图像数据位姿估计处理，生成第一位姿估计数据；S2.通过姿态数据采集单元采集图像数据采集单元的姿态数据，并对姿态数据进行姿态数据位姿估计处理，生成第二位姿估计数据；S3.将第一位姿估计数据与第二位姿估计数据进行位姿融合处理，生成第三位姿估计数据；S4.对S1步骤中的实时图像数据进行回环检测处理；以及S5.根据回环检测处理的结果对第三位姿估计数据进行位姿优化并生成第四位姿估计数据；其中，S4步骤利用深度学习神经网络模型进行回环判断，深度学习神经网络模型采用自动编码器得到实时图像数据的特征响应。
[0005]根据本专利技术的实施例，所述S4步骤包括：S401.对实时图像数据进行分割，得到实时图像数据的多个图像分块；S402.对多个图像分块进行关键点检测，并根据关键点检测得到多个初选关键点，从多个初选关键点中筛选多个有效关键点，对多个有效关键点进行向量化操作，得到多个关键点向量化数据；S403.将多个图像分块以及多个关键点向量化数据
输入深度学习神经网络模型中，深度学习神经网络模型采用自动编码器进行处理，得到实时图像数据的特征响应；以及S404.通过特征响应计算实时图像数据与实时图像数据的前一帧图像数据之间的相似度，并根据相似度进行回环判断。
[0006]根据本专利技术的实施例，S1步骤中图像数据位姿估计处理包括提取实时图像数据的特征信息。
[0007]根据本专利技术的实施例，S2步骤中姿态数据位姿估计处理包括通过姿态数据位姿估计单元对姿态数据进行预积分处理以获取第二位姿估计数据。
[0008]根据本专利技术的实施例，S3步骤中位姿融合处理为通过对实时图像数据与姿态数据之间进行紧耦合来实现第一位姿估计数据与第二位姿估计数据的位姿融合估计。
[0009]本专利技术还公开了一种VIO视觉系统，其包括：图像数据模块，图像数据模块包括图像数据采集单元以及图像数据位姿估计单元，图像数据模块用于实时图像数据的采集以及进行图像数据位姿估计处理操作，并生成第一位姿估计数据；姿态数据模块，姿态数据模块与图像数据模块数据联通，姿态数据模块包括姿态数据采集单元以及姿态数据位姿估计单元，姿态数据模块用于对图像数据采集单元的姿态进行测量以及进行姿态数据位姿估计处理操作，并生成第二位姿估计数据；位姿融合模块，位姿融合模块分别与图像数据模块以及姿态数据模块数据联通，位姿融合模块将第一位姿估计数据以及第二位姿估计数据进行位姿融合处理，并生成第三位姿估计数据；以及回环检测模块，回环检测模块与图像数据模块数据联通，其包括深度学习神经网络单元，回环检测模块对实时图像数据进行回环检测，并根据回环检测的操作结果在位姿融合模块中对第三位姿估计数据进行位姿优化并生成第四位姿估计数据。
[0010]根据本专利技术的实施例，深度学习神经网络单元包括：图像分割单元，图像分割单元将实时图像数据分割为多个图像分块；关键点处理单元，关键点处理单元从多个图像分块中检测出多个初选关键点，并从多个初选关键点中筛选出多个有效关键点，再对多个有效关键点进行向量化操作，得到多个关键点向量化数据；模型训练单元，模型训练单元采用自动编码器对多个图像分块以及多个关键点向量化数据进行训练处理，最终得到实时图像数据的特征响应；相似度计算单元，相似度计算单元根据特征响应计算实时图像数据与实时图像数据的前一帧图像数据的相似度；以及回环判断单元，回环判断单元根据相似度进行回环判断。
[0011]根据本专利技术的实施例，图像数据位姿估计单元包括特征提取单元，特征提取单元用于提取图实时像数据的特征信息。
[0012]根据本专利技术的实施例，姿态数据位姿估计单元包括预积分单元，预积分单元对姿态数据进行预积分处理。
[0013]根据本专利技术的实施例，位姿融合模块包括紧耦合单元以及位姿优化单元，紧耦合单元用于实现实时图像数据与姿态数据的紧耦合处理，位姿优化单元根据回环判断单元的判断结果对第三位姿估计数据进行位姿优化处理。
[0014]通过采用上述技术方案，本专利技术主要有如下几点技术效果：
[0015]1.通过将图像数据采集单元的运动姿态数据与实时图像数据的特征进行融合，综合分析实现位姿估计，有效提高机器位姿估计的准确度，同时增强了位姿估计方法应用于多旋转运动场景中的适配性；
[0016]2.通过对采集的实时图像数据进行回环检测，对属于相似场景的图像数据的位姿估计进行位姿优化，有效降低了位姿估计中的误差影响，从而提高了机器自主定位的精准度以及地图构建的完整性；
[0017]3.通过在回环检测中通过在深度学习神经网络中采用自动编码器提取实时图像数据的特征信息，提高了对实时图像数据的特征信息分析能力，从而确保了回环检测中对近似场景判断的准确度。
附图说明
[0018]图1为根据本专利技术的实施例的VIO视觉方法的第一示意图；
[0019]图2为根据本专利技术的实施例的VIO视觉方法的第二示意图；
[0020]图3为根据本专利技术的实施例的VIO视觉系统的第一示意图。
[0021]图中：1、图像数据模块；11、图像数据采集单元；12、图像数据位姿估计单元；2、姿态数据模块；21、姿态数据采集单元；22、姿态数据位姿估本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种VIO视觉方法，其特征在于，包括以下步骤：S1.通过图像数据采集单元采集实时图像数据，并对所述实时图像数据进行图像数据位姿估计处理，生成第一位姿估计数据；S2.通过姿态数据采集单元采集图像数据采集单元的姿态数据，并对所述姿态数据进行姿态数据位姿估计处理，生成第二位姿估计数据；S3.将所述第一位姿估计数据与所述第二位姿估计数据进行位姿融合处理，生成第三位姿估计数据；S4.对所述S1步骤中的所述实时图像数据进行回环检测处理；以及S5.根据所述回环检测处理的结果对所述第三位姿估计数据进行位姿优化并生成第四位姿估计数据；其中，所述S4步骤利用深度学习神经网络模型进行回环判断，所述深度学习神经网络模型采用自动编码器得到所述实时图像数据的特征响应。2.根据权利要求1所述的VIO视觉方法，其特征在于：所述S4步骤包括：S401.对所述实时图像数据进行分割，得到所述实时图像数据的多个图像分块；S402.对所述多个图像分块进行关键点检测，并根据所述关键点检测得到多个初选关键点，从所述多个初选关键点中筛选多个有效关键点，对所述多个有效关键点进行向量化操作，得到多个关键点向量化数据；S403.将所述多个图像分块以及所述多个关键点向量化数据输入所述深度学习神经网络模型中，所述深度学习神经网络模型采用所述自动编码器进行处理，得到所述实时图像数据的特征响应；以及S404.根据所述特征响应计算所述实时图像数据与所述实时图像数据的前一帧图像数据之间的相似度，并根据所述相似度进行回环判断。3.根据权利要求1所述的VIO视觉方法，其特征在于：所述S1步骤中所述图像数据位姿估计处理包括提取所述实时图像数据的特征信息。4.根据权利要求1所述的VIO视觉方法，其特征在于：所述S2步骤中所述姿态数据位姿估计处理包括通过所述姿态数据位姿估计单元对所述姿态数据进行预积分处理以获取所述第二位姿估计数据。5.根据权利要求1所述的VIO视觉方法，其特征在于：所述S3步骤中所述位姿融合处理为通过对所述实时图像数据与所述姿态数据之间进行紧耦合来实现所述第一位姿估计数据与所述第二位姿估计数据的位姿融合估计。6.一种VIO视觉系统，其特征在于，包括：图像数据模块，所述图像数据模块包括图像数据采集单元以及图像数据位姿估计单元，所述图像数据模块用于实时图像数据的...
【专利技术属性】
技术研发人员：李学生，龚迪琛，李清胜，
申请(专利权)人：德鲁动力科技海南有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。