一种基于视觉特征图重构的移动机器人导航决策方法技术

本发明专利技术公开了一种基于视觉特征图重构的移动机器人导航决策方法，具体过程如下：在移动机器人导航的任意时刻，对于移动机器人上搭载的四个单目视觉传感器获取的四张不同方向的图像，基于OpenPano算法生成以移动机器人为中心的视觉全景图；基于视觉面片的相关性度量，提取视觉全景图中与移动机器人导航目标相关的视觉特征，重构导航目标引导的移动机器人视觉图像特征图；基于重构的移动机器人视觉图像特征图，构建基于深度强化学习的移动机器人导航决策模型，发布移动机器人导航到目标所需的运动命令，实现导航目标驱动的移动机器人的智能导航。本发明专利技术提高了移动机器人导航对复杂多变环境的泛化能力，提高移动机器人导航的效率。率。率。

【技术实现步骤摘要】
一种基于视觉特征图重构的移动机器人导航决策方法


[0001]本专利技术涉及移动机器人导航
，具体涉及一种基于视觉特征图重构的移动机器人导航决策方法。

技术介绍

[0002]随着传感器和人工智能技术的迅猛发展，移动机器人正逐渐向实用化、系列化、智能化发展。移动机器人实现智能化和自主性的基础是能够安全准确的导航，智能导航技术在移动机器人各种智能活动中均有着重要的使用价值。因此，智能导航技术是移动机器人研究的核心之一。研究移动机器人智能导航技术，使得移动机器人对于未知环境具有有效探索，高效计算，自主决策，快速响应等能力，在工业制造、海洋探测、家庭服务、医疗护理、资源开发、巡检排险、航空航天和国防等诸多领域有着广泛的应用前景。
[0003]传统的移动机器人导航方法主要包括两个部分：首先，利用SLAM技术、深度传感器、立体相机或者基于结构运动的单目相机，同步在线或离线地构建地图；然后，基于构建的地图计算无碰撞轨迹，以到达目标点。然而，在复杂多变的环境中，由于遮挡或数据噪声，如：行走的人类，其他移动机器人以及各种设备位置的变动，第一阶段建立的地图无法提供可靠的信息；再者，频繁的重新建立场景地图，需要花费大量的人力及时间，这也限制了移动机器人在复杂多变的室内场景下的推广使用。最近，基于数据驱动的机器学习策略在各种控制和感知问题上取得的成功，为克服传统方法的局限性开辟了新的途径。然而，基于学习策略的智能导航方式，大多是基于在相似环境中大量的导航经验来实现导航任务的，数据效率低，泛化性差；目前的测试数据大多来自仿真合成场景，在复杂现实场景中导航效果较差，无法适应现实环境中各种对象位置的变动，进而限制了移动机器人的推广使用。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术提供了一种基于视觉特征图重构的移动机器人导航决策方法。
[0005]为实现上述技术目的，本专利技术采用如下技术方案：一种基于视觉特征图重构的移动机器人导航决策方法，包括如下步骤：
[0006](1)在移动机器人导航的任意时刻t，对于移动机器人上搭载的四个单目视觉传感器获取的四张不同方向的图像，基于OpenPano算法生成以移动机器人为中心的视觉全景图；
[0007](2)基于视觉面片的相关性度量，提取步骤(1)中视觉全景图中与移动机器人导航目标相关的视觉特征，重构导航目标引导的移动机器人视觉图像特征图；
[0008](3)基于重构的移动机器人视觉图像特征图，构建基于深度强化学习的移动机器人导航决策模型，发布移动机器人导航到目标所需的运动命令。
[0009]进一步地，步骤(1)中移动机器人上搭载的四个单目视觉传感器被设置在同一高度，且任意相邻两个单目视觉传感器之间的拍摄角度为90度。
[0010]进一步地，步骤(2)包括如下子步骤：
[0011](2.1)基于VGG19网络，设计出当前视觉全景图的特征图提取框架；
[0012](2.2)通过特征图提取框架提取导航目标图像特征图和机器人当前视觉图像特征图，并度量出机器人当前视觉特征图上面片与导航目标图像特征图上面片之间的相关性；
[0013](2.3)基于相关性的度量结果，构建导航目标引导的移动机器人视觉图像特征图面片，重构移动机器人视觉图像特征图。
[0014]进一步地，步骤(2.1)中VGG19网络的结构具体为：设有16个卷积层，卷积层的通道数分别是64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512，每个卷积层的卷积核大小是3
×
3，步长为1。
[0015]进一步地，步骤(2.2)具体过程为：通过特征图提取框架提取导航目标图像I
g
的导航目标图像特征图Ψ(I
g
)和机器人当前时刻视觉全景图I
t
的机器人当前视觉图像特征图Ψ(I
t
)，分别提取导航目标图像特征图Ψ(I
g
)上的面片和机器人当前视觉图像特征图Ψ(I
t
)上的面片通过最大化特征面片之间的相关性，使得机器人当前视觉图像特征图Ψ(I
t
)上的每一个特征面片Ψ
i
(I
t
)，匹配到导航目标图像特征图Ψ(I
g
)上最相关的一个特征面片Ψ
*
(I
g
)，有：
[0016][0017]其中，：＝表示定义符号，n
g
表示导航目标图像特征图Ψ(I
g
)上的面片数量，j表示Ψ(I
g
)上特征面片的索引，表示机器人当前视觉图像特征图Ψ(I
t
)上的面片数量，i表示Ψ(I
t
)上特征面片的索引，<Ψ
i
(I
t
),Ψ
j
(I
g
)>表示机器人当前视觉图像特征图Ψ(I
t
)上的第i个面片Ψ
i
(I
t
)与导航目标图像特征图Ψ(I
g
)上的第j个面片的内积，||Ψ
i
(I
t
)||表示Ψ
i
(I
t
)的模，||Ψ
j
(I
g
)||表示Ψ
j
(I
g
)的模。
[0018]进一步地，步骤(2.3)中构建导航目标引导的移动机器人视觉图像特征图面片Ψ
i
(I
t
,I
g
)的过程如下：
[0019][0020]其中，Ψ
i
(I
t
)表示机器人当前视觉图像特征图Ψ(I
t
)上第i个面片，Ψ
*
(I
g
)表示导航目标图像特征图Ψ(I
g
)上与Ψ
i
(I
t
)最相关的一个特征面片，<Ψ
i
(I
t
),Ψ
*
(I
g
)>表示Ψ
i
(I
t
)与Ψ
*
(I
g
)的内积，||Ψ
i
(I
t
)||表示Ψ
i
(I
t
)的模，||Ψ
*
(I
g
)||表示Ψ
*
(I
g
)的模。
[0021]进一步地，步骤(3)包括如下子步骤：
[0022](3.1)确定导航决策模型的输出决策动作空间及训练决策模型过程中的奖励函数；
[0023](3.2)将重构的移动机器人视觉图像特征图作为导航决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉特征图重构的移动机器人导航决策方法，其特征在于，包括如下步骤：(1)在移动机器人导航的任意时刻t，对于移动机器人上搭载的四个单目视觉传感器获取的四张不同方向的图像，基于OpenPano算法生成以移动机器人为中心的视觉全景图；(2)基于视觉面片的相关性度量，提取步骤(1)中视觉全景图中与移动机器人导航目标相关的视觉特征，重构导航目标引导的移动机器人视觉图像特征图；(3)基于重构的移动机器人视觉图像特征图，构建基于深度强化学习的移动机器人导航决策模型，发布移动机器人导航到目标所需的运动命令。2.根据权利要求1所述基于视觉特征图重构的移动机器人导航决策方法，其特征在于，步骤(1)中移动机器人上搭载的四个单目视觉传感器被设置在同一高度，且任意相邻两个单目视觉传感器之间的拍摄角度为90度。3.根据权利要求1所述基于视觉特征图重构的移动机器人导航决策方法，其特征在于，步骤(2)包括如下子步骤：(2.1)基于VGG19网络，设计出当前视觉全景图的特征图提取框架；(2.2)通过特征图提取框架提取导航目标图像特征图和机器人当前视觉图像特征图，并度量出机器人当前视觉特征图上面片与导航目标图像特征图上面片之间的相关性；(2.3)基于相关性的度量结果，构建导航目标引导的移动机器人视觉图像特征图面片，重构移动机器人视觉图像特征图。4.根据权利要求3所述基于视觉特征图重构的移动机器人导航决策方法，其特征在于，步骤(2.1)中VGG19网络的结构具体为：设有16个卷积层，卷积层的通道数分别是64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512，每个卷积层的卷积核大小是3
×
3，步长为1。5.根据权利要求3所述基于视觉特征图重构的移动机器人导航决策方法，其特征在于，步骤(2.2)具体过程为：通过特征图提取框架提取导航目标图像I
g
的导航目标图像特征图Ψ(I
g
)和机器人当前时刻视觉全景图I
t
的机器人当前视觉图像特征图Ψ(I
t
)，分别提取导航目标图像特征图Ψ(I
g
)上的面片和机器人当前视觉图像特征图Ψ(I
t
)上的面片通过最大化特征面片之间的相关性，使得机器人当前视觉图像特征图Ψ(I
t
)上的每一个特征面片Ψ
i
(I
t
)，匹配到导航目标图像特征图Ψ(I
g
)上最相关的一个特征面片Ψ
*
(I
g
)，有：其中，：＝表示定义符号，n
g
表示导航目标图像特征图Ψ(I
g
)上的面片数量，j表示Ψ(I
g
)上特征面片的索引，表示机器人当前视觉图像特征图Ψ(I
t
)上的面片数量，i表示Ψ(I
t
)上特征面片的索引，＜Ψ
i
(I
t
)，Ψ
j
(I
g
)＞表示机器人当前视觉图像特征图Ψ(I
t
)上的第i个面片Ψ
i
(I
t
)与导航目标图像特征图Ψ(I
g
)上的第j个面片的内积，||Ψ
i
(I
t
)||表示Ψ
i
(I
t
)的模，||Ψ
j
(I
g
)||表示Ψ
j
(I
g
)的模。6.根据权利要求3所述基于视觉特征图重构的移动机器人导航决策方法，其特征在于，步骤(2.3)中构建导航目标引导的移动机器人视觉图像特征图面片Ψ
i
(I
t
，I
g
)的过程如下：
其中，Ψ
i
(I
t
)表示机器人当前视觉图像特征图Ψ(I
t
)上第i个面片，Ψ
*
(I
g
)表示导航目标图像特征图Ψ(I
g
)上与Ψ
i
(...

【专利技术属性】
技术研发人员：吴巧云，曹翔，赵东，
申请(专利权)人：安徽大学，
类型：发明
国别省市：