室内场景下的目标驱动视觉语义导航方法、存储介质及设备技术

本发明专利技术提供一种室内场景下的目标驱动视觉语义导航方法、存储介质及设备，所述方法包括：分析室内场景数据中目标物体的尺寸分布情况；对尾部尺寸物体图像进行样本增强；基于增强后的尾部尺寸物体图像训练目标检测器；基于所述目标检测器和神经网络构建目标驱动下的视觉语义导航网络模型；对所述视觉语义导航网络模型进行训练；确定目标驱动下的视觉语义导航步骤，并基于所述视觉语义导航步骤和训练的所述视觉语义导航网络模型完成视觉语义导航任务。本发明专利技术可以辅助机器人在室内场景中进行导航，提升其场景感知能力，为室内移动机器人开展多种任务提供帮助。开展多种任务提供帮助。开展多种任务提供帮助。

【技术实现步骤摘要】
室内场景下的目标驱动视觉语义导航方法、存储介质及设备


[0001]本专利技术涉及场景感知和导航
，特别是涉及基于主动视觉的室内场景感知和导航


技术介绍

[0002]随着人口老龄化的现象越来越严重以及劳动力结构的优化升级，劳动力成本逐年增加，越来越多的行业开始讲目光投向以机器人为主导的解决方案。以机器人代替人来进行简单的、重复性较高的低技术作业，是解放劳动力的有效方法和未来趋势。室内环境中的机器人要求其具备良好的目标识别和导航能力，对机器人的自主性要求较高。想要其能够胜任更复杂的任务，提供更富人性化的服务，需要提升其对周围环境的感知能力。因此研究机器人在场景中的导航方法是具有现实意义和应用价值的。
[0003]为了实现机器人在室内场景中的视觉导航，目前的方法主要包括场景的三维度量以、语义映射以及路径规划。这类方法通常需要提前建立一个三维的场景地图，并为地图和路径跟踪提供一种可靠的定位，这使得它们在已知的场景中有较好的表现，在场景发生改变或者在类似的未知场景中时，策略的导航效果不尽如人意。为了克服上述方法的局限性，利用基于数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内场景下的目标驱动视觉语义导航方法，其特征在于：所述方法包括：分析室内场景数据中目标物体的尺寸分布情况；对尾部尺寸物体图像进行样本增强；基于增强后的尾部尺寸物体图像训练目标检测器；基于所述目标检测器和神经网络构建目标驱动下的视觉语义导航网络模型；对所述视觉语义导航网络模型进行训练；确定目标驱动下的视觉语义导航步骤，并基于所述视觉语义导航步骤和训练的所述视觉语义导航网络模型完成视觉语义导航任务。2.根据权利要求1所述的室内场景下的目标驱动视觉语义导航方法，其特征在于：所述分析室内场景数据中目标物体的尺寸分布情况包括：统计场景数据中大尺寸物体，中等尺寸物体，小尺寸物体的检测框的数量，以及包含大尺寸、中等尺寸、小尺寸物体的图像的数量，并分析它们各自的占比情况，得到数据集的尺寸分布情况，并确定占比最多的头部尺寸物体图像以及占比最少的尾部尺寸物体图像。3.根据权利要求2所述的室内场景下的目标驱动视觉语义导航方法，其特征在于：所述对尾部尺寸物体图像进行样本增强包括：利用头部尺寸物体图像生成尾部尺寸物体图像：对于较大尺寸的头部尺寸物体图像生成较小尺寸的尾部尺寸物体图像采用图像缩小拼接的方式；对于较小尺寸的头部尺寸物体图像生成较大尺寸的尾部尺寸物体图像采用自适应局部截取放大法。4.根据权利要求1或3所述的室内场景下的目标驱动视觉语义导航方法，其特征在于：所述基于增强后的尾部尺寸物体图像训练目标检测器包括：基于增强后的尾部尺寸物体图像构建数据集终态；在数据集终态和数据集初态之间构建一系列的数据集过渡态，在每个训练迭代中，选取不同的数据集过渡态对目标检测器进行训练。5.根据权利要求1所述的室内场景下的目标驱动视觉语义导航方法，其特征在于：所述基于所述目标检测器和神经网络构建目标驱动下的视觉语义导航网络模型中：输入为：取当前时刻为基准的前三个时刻的场景信息和相应的动作信息，作为历史时刻信息进行输入；输出为：前进、后退、左移...

【专利技术属性】
技术研发人员：叶楠，李柠，王若谷，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：