室内导航方法、室内导航装置、设备及存储介质制造方法及图纸

本公开是关于一种室内导航方法、室内导航装置、设备及存储介质。室内导航方法，应用于导航设备，所述方法包括：接收用于导航的指令，并采集环境图像；提取所述指令中包括的指令房间特征和指令物体特征，并基于所述环境图像，确定视觉房间特征、视觉物体特征以及视角特征；将所述指令物体特征以及所述视觉物体特征，与表征室内物体关联关系的第一知识图谱融合，得到物体特征，并根据所述视觉房间特征以及所述指令房间特征，确定房间特征；基于所述视角特征、所述房间特征以及所述物体特征，确定导航决策。通过本公开实施例，在确定导航行动决策中，增强视觉模态和语言模态之间的理解能力，并引入房间和物体的实体知识推理，使导航中的行动决策更加合理。行动决策更加合理。行动决策更加合理。

【技术实现步骤摘要】
室内导航方法、室内导航装置、设备及存储介质


[0001]本公开涉及导航
，尤其涉及室内导航方法、室内导航装置、设备及存储介质。

技术介绍

[0002]导航作为机器人领域的核心问题之一，在飞行器控制、自动驾驶、家庭服务机器人等场景有着强烈的应用需求。视觉导航是具象人工智能的主要研究问题之一，模型需要在虚拟环境中找到特定物体，并导航到物体附近。
[0003]目前，语言指令视觉导航(Vision
‑
Language Navigation,VLN)成为具应用前景的研究领域。在视觉导航的基础上，语言指令视觉导航模型理解用户指令，根据第一视角观察到的环境信息进行导航。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供室内导航方法、室内导航装置、设备及存储介质。
[0005]根据本公开实施例的一方面，提供一种室内导航方法，应用于导航设备，所述室内导航方法包括：接收用于导航的指令，并采集环境图像；提取所述指令中包括的指令房间特征和指令物体特征，并基于所述环境图像，确定视觉房间特征、视觉物体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内导航方法，其特征在于，应用于导航设备，所述室内导航方法包括：接收用于导航的指令，并采集环境图像；提取所述指令中包括的指令房间特征和指令物体特征，并基于所述环境图像，确定视觉房间特征、视觉物体特征以及视角特征；将所述指令物体特征以及所述视觉物体特征，与表征室内物体关联关系的第一知识图谱融合，得到物体特征，并根据所述视觉房间特征以及所述指令房间特征，确定房间特征；基于所述视角特征、所述房间特征以及所述物体特征，确定导航决策。2.根据权利要求1所述的室内导航方法，其特征在于，将所述指令物体特征以及所述视觉物体特征，与表征室内物体关联关系的第一知识图谱融合，得到物体特征，包括：基于所述视觉物体特征，提取所述环境图像中包括的物体实体；基于所述物体实体以及所述表征室内物体关联关系的第一知识图谱，构造第二知识图谱，所述第二知识图谱用于表征所述物体实体，与所述第一知识图谱中与所述物体实体具有关联关系的第一物体实体之间的关联关系；对所述第一知识图谱和所述第二知识图谱分别进行多步图卷积推理，得到第一知识图谱推理信息以及第二知识图谱推理信息；融合所述第一知识图谱推理信息和所述第二知识图谱推理信息，并利用融合后的知识图谱推理信息更新所述第一知识图谱；基于所述第二知识图谱对所述指令物体特征执行第一特征融合强化操作，得到增强的指令物体特征；对更新后的第一知识图谱以及所述增强的指令物体特征，执行第二特征融合强化操作，得到所述物体特征。3.根据权利要求1所述的室内导航方法，其特征在于，根据所述视觉房间特征以及所述指令房间特征，确定房间特征，包括：根据所述视觉房间特征，确定各可选视角内包括的视觉房间类别，并根据所述指令房间特征，确定各可选视角内包括的指令房间类别；基于所述视觉房间类别、所述指令房间类别，以及预设房间关联性矩阵，确定各可选视角房间置信度；基于所述各可选视角房间置信度，确定房间特征。4.根据权利要求1所述的室内导航方法，其特征在于，基于所述视角特征、所述房间特征以及所述物体特征，确定导航决策，包括：基于所述视角特征，确定所述环境图像的总视角特征；拼接所述总视角特征、所述物体特征、所述指令房间特征以及所述指令物体特征，得到场景记忆令牌，并基于所述场景记忆令牌，得到当前导航进度信息，并拼接所述房间特征以及所述视角特征，得到可选视角特征；对所述可选视角特征，以及所述当前导航进度信息，执行第三特征融合强化操作，得到下一导航进度的导航决策。5.根据权利要求4所述的室内导航方法，其特征在于，基于所述视角特征，确定所述环境图像的总视角特征，包括：确定上一导航进度信息；
对所述视角特征，以及所述上一导航进度信息执行第四特征融合强化操作，得到所述环境图像的总视角特征。6.根据权利要求1所述的室内导航方法，其特征在于，所述室内导航方法还包括：基于所述导航决策中的视角与最优视角之间的偏离程度，确定惩罚系数，所述最优视角为各可选视角中距离导航终点距离最近的可选视角；基于所述惩罚系数，更改所述导航决策中的视角。7.根据权利要求6所述的室内导航方法，其特征在于，所述确定导航决策包括：基于语言指令视觉导航模型确定导航决策；所述语言指令视觉导航模型通过以下方式训练得到：基于模仿学习损失函数、房间类别预测损失函数以及方向感知损失函数，确定总损失函数，所述模仿学习损失函数用于表征可选视角与最优视角之间的偏差程度，所述房间类别预测损失函数用于表征可选视角对应的房间类别与导航决策中的房间类别之间的偏差程度，所述方向感知损失函数用于表征导航决策中的视角与最优视角之间的偏离程度；基于所述总损失函数训练所述语言指令视觉导航模型。8.根据权利要求1所述的室内导航方法，其特征在于，所述室内导航方法还包括：确定各可选视角的对数几率值，并确定各可选视角与当前位置所在位置之间的回溯距离；基于所述回溯距离修正所述各可选视角的对数几率值，并基于修正后的对数几率值，更改所述导航决策中的视角。9.一种室内导航装置，其特征在于，应用于导航设备，所述室内导航装置包括：接收单元，用于接收用于导航的指令；采集单元，用于采集环境图像；确定单元，用于提取所述指令中包括的指令房间特征和指令物体特征，并基于所述环境图像，确定视觉房间特征、视觉物体...

【专利技术属性】
技术研发人员：孟二利，王渌汀，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：