【技术实现步骤摘要】
本申请涉及导航，特别涉及一种智能体导航的方法、装置、智能体和存储介质。
技术介绍
1、随着科技的发展，智能体逐渐走入了人们的视野。智能体在各行各业均有应用，目前，智能体包括有家用服务型机器人、配送机器人、公共场所指引机器人等。
2、根据用户输入的导航指令进行导航，是智能体的关键之一。如何实现智能体导航是目前亟待解决的问题。
技术实现思路
1、本申请实施例提供了一种智能体导航的方法和智能体。所述技术方案如下：
2、第一方面，提供了一种智能体导航的方法，所述方法包括：
3、确定当前导航点对应的第一可达导航点，获取所述第一可达导航点对应的第一图像；
4、根据本次导航的导航指令、历史导航点对应的位置信息、智能体在所述历史导航点的姿态信息、所述历史导航点的拓扑信息和所述第一图像，确定预测导航终点，并在候选导航点中确定待行驶导航点，其中，所述候选导航点包括所述历史导航点和所述第一可达导航点；
5、控制智能体向所述待行驶导航点行驶。
6、在一种可能的实现方式中，所述方法还包括：
7、确定导航起点对应的第二可达导航点，获取所述第二可达导航点对应的第二图像，根据所述第二图像，确定所述第二可达导航点对应的图像特征向量；
8、确定所述导航指令中每个字对应的语言特征向量和所述导航指令对应的整体特征向量；
9、根据所述第二可达导航点对应的图像特征向量、所述导航起点对应的位置信息、所述智能体在所述导航起
10、在与所述导航起点之间的距离为预设距离的候选导航终点中，选择多个初始候选导航终点，确定所述多个初始候选导航终点分别对应的导航终点标记向量；
11、根据所述第二可达导航点对应的图像特征向量、所述语言特征向量和所述整体特征向量、所述导航起点对应的导航点标记向量和每个初始候选导航终点对应的导航终点标记向量，在所述第二可达导航点中，确定待行驶导航点，在所述多个初始候选导航终点中，确定预测导航终点。
12、在一种可能的实现方式中，所述根据所述第二可达导航点对应的图像特征向量、所述语言特征向量和所述整体特征向量、所述导航起点对应的导航点标记向量和每个初始候选导航终点对应的导航终点标记向量，在所述第二可达导航点中，确定待行驶导航点，在所述多个初始候选导航终点中，确定预测导航终点，包括：
13、将所述整体特征向量，作为全局标记向量，将所述语言特征向量、所述全局标记向量、所述导航起点对应的导航点标记向量、所述第二可达导航点对应的图像特征向量和每个初始候选导航终点对应的导航终点标记向量，输入变换器transformer模型，得到第一更新全局标记向量、所述导航起点对应的第一更新导航点标记向量、所述第二可达导航点对应的第一更新图像特征向量、所述多个初始候选导航终点分别对应的第一更新导航终点标记向量；
14、根据所述第一更新图像特征向量和所述第一更新全局标记向量，在所述第二可达导航点中，确定待行驶导航点；
15、根据所述第一更新导航终点标记向量，在所述多个初始候选导航终点中，确定预测导航终点。
16、在一种可能的实现方式中，所述根据本次导航的导航指令、历史导航点对应的位置信息、智能体在所述历史导航点的姿态信息、所述历史导航点的拓扑信息和所述第一图像，确定预测导航终点，并在候选导航点中确定待行驶导航点，包括：
17、获取在前一个历史导航点通过所述transformer模型得到的第二更新全局标记向量、除所述前一个历史导航点以外的历史导航点对应的第二更新导航点标记向量和多个第二更新导航终点标记向量；
18、根据所述前一个导航点对应的第三可达导航点对应的图像特征向量、所述前一个导航点对应的位置信息、所述智能体在所述前一个导航点的姿态信息、所述前一个导航点对应的时序信息，确定所述前一个导航点对应的导航点标记向量；
19、根据所述第一图像，确定所述第一可达导航点对应的图像特征向量；
20、根据所述第二更新全局标记向量、所述导航指令中每个字对应的语言特征向量、所述第二更新导航点标记向量、所述前一个历史导航点对应的导航点标记向量、所述历史导航点的拓扑信息、所述第一可达导航点对应的图像特征向量和所述多个第二更新导航终点标记向量，在候选导航点中，确定待行驶导航点，并确定预测导航终点。
21、在一种可能的实现方式中，所述根据所述第一图像，确定所述第一可达导航点对应的图像特征向量，包括：
22、根据所述第一可达导航点对应的位置信息，确定所述第一可达导航点对应的位置特征向量；
23、将所述第一图像输入图像特征提取器，得到所述第一图像的初始特征向量；
24、将所述初始特征向量和所述第一可达导航点对应的位置特征向量相加，得到所述第一可达导航点对应的图像特征向量。
25、在一种可能的实现方式中，所述根据所述第二更新全局标记向量、所述导航指令中每个字对应的语言特征向量、所述第二更新导航点标记向量、所述前一个历史导航点对应的导航点标记向量、所述历史导航点的拓扑信息、所述第一可达导航点对应的图像特征向量和所述多个第二更新导航终点标记向量，在候选导航点中，确定待行驶导航点，并确定预测导航终点，包括：
26、根据所述历史导航点的拓扑信息，确定所述历史导航点对应的邻接矩阵，将所述邻接矩阵，作为所述第二更新导航点标记向量和前一个历史导航点对应的导航点标记向量的注意力矩阵；
27、将所述第二更新全局标记向量、所述导航指令中每个字对应的语言特征向量、所述第二更新导航点标记向量、所述前一个历史导航点对应的导航点标记向量、所述注意力矩阵、所述第一可达导航点对应的图像特征向量和所述多个第二更新导航终点标记向量，输入所述transformer模型，得到第三更新全局标记向量、每个历史导航点对应的第三更新导航点标记向量、所述第一可达导航点对应的第二更新图像特征向量和多个第三更新导航终点标记向量；
28、根据所述第三更新全局标记向量、所述第三更新导航点标记向量和所述第二更新图像特征向量，在候选导航点中，确定待行驶导航点；
29、确定所述多个第三更新导航终点标记向量分别对应的更新候选导航终点；
30、根据所述多个第三更新导航终点标记向量，在所述多个第三更新导航终点标记向量分别对应的更新候选导航终点中，确定预测导航终点。
31、在一种可能的实现方式中，所述根据所述第三更新全局标记向量、所述第三更新导航点标记向量和所述第二更新图像特征向量，在候选导航点中，确定待行驶导航点，包括：
32、计算每个第一可达导航点对应的第二更新图像特征向量和所述第三更新全局标记向量的相似度，作为每个第一可达导航点对应的置信度；
33、计算每个历史导航点对应的第三更新导航点标记向本文档来自技高网...
【技术保护点】
1.一种智能体导航的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二可达导航点对应的图像特征向量、所述语言特征向量和所述整体特征向量、所述导航起点对应的导航点标记向量和每个初始候选导航终点对应的导航终点标记向量，在所述第二可达导航点中，确定待行驶导航点，在所述多个初始候选导航终点中，确定预测导航终点，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据本次导航的导航指令、历史导航点对应的位置信息、智能体在所述历史导航点的姿态信息、所述历史导航点的拓扑信息和所述第一图像，确定预测导航终点，并在候选导航点中确定待行驶导航点，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像，确定所述第一可达导航点对应的图像特征向量，包括：
6.根据权利要4所述的方法，其特征在于，所述根据所述第二更新全局标记向量、所述导航指令中每个字对应的语言特征向量、所述第二更新导航点标记向量、所述前一个历史导航点对应的导航点标
7.根据权利要求6所述的方法，其特征在于，所述根据所述第三更新全局标记向量、所述第三更新导航点标记向量和所述第二更新图像特征向量，在候选导航点中，确定待行驶导航点，包括：
8.根据权利要求6或7所述的方法，其特征在于，所述根据所述多个第三更新导航终点标记向量，在所述多个第三更新导航终点标记向量分别对应的更新候选导航终点中，确定预测导航终点，包括：
9.根据权利要求8所述的方法，其特征在于，所述导航终点预测模型由多层感知机MLP和归一化函数组成。
10.一种智能体，其特征在于，所述智能体包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1-9中任一项所述的智能体导航的方法。
...【技术特征摘要】
1.一种智能体导航的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二可达导航点对应的图像特征向量、所述语言特征向量和所述整体特征向量、所述导航起点对应的导航点标记向量和每个初始候选导航终点对应的导航终点标记向量，在所述第二可达导航点中，确定待行驶导航点，在所述多个初始候选导航终点中，确定预测导航终点，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据本次导航的导航指令、历史导航点对应的位置信息、智能体在所述历史导航点的姿态信息、所述历史导航点的拓扑信息和所述第一图像，确定预测导航终点，并在候选导航点中确定待行驶导航点，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像，确定所述第一可达导航点对应的图像特征向量，包括：
6.根据权利要4所述的方法，其特征在于，所述根据所述第二更新全局标记向量、所述导航指令中每个字对应的语言...
【专利技术属性】
技术研发人员：杨立荣，赵禹昇，张立鹏，孔祥浩，任海兵，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。