【技术实现步骤摘要】
本专利技术涉及计算机视觉 ，尤其涉及一种精细化对齐学习的导航模型训练方法、导航方法及装置。
技术介绍
1、近年来，多模态学习逐渐成为人工智能领域的重要研究方向，其核心目标是通过融合视觉和语言信息提升模型在复杂任务中的理解与推理能力；在这一背景下，空中视觉对话导航任务（aerial vision-dialog navigation, avdn）作为一项结合了视觉感知、语言理解和导航规划的复杂任务，受到了广泛关注。
2、相关技术中，现有的无人机导航方法大多依赖于粗粒度的全局特征匹配，缺乏对视觉特征和语言语义的细粒度捕捉，尤其在复杂场景中对多个地标的语义描述与位置关系的理解能力较弱，导致无人机导航预测结果不准确；另一方面，无人机在处理复杂指令时，难以同时捕获语言中的实体属性、地标之间的关系以及优先级等组合信息，而且由于缺乏对地标语义的精细化建模，特别是在动态导航任务中，难以实现多模态信息的实时交互与决策，从而导致导航路径规划不准确。
技术实现思路
1、本专利技术提供一种精细化对齐学习的导航模型训练方法、导航方法及装置，用以解决现有技术的无人机导航方法依赖于粗粒度的全局特征匹配，在复杂场景中对多个地标的语义描述与位置关系的理解能力较弱，导致无人机导航预测结果不准确，而且现有技术难以同时捕获语言中的实体属性、地标之间的关系以及优先级等组合信息，导致导航路径规划不准确的缺陷，提高了无人机导航规划效率和准确率。
2、本专利技术提供一种精细化对齐学习的导航模型训练方法，包括
3、从无人机航拍图像中提取出视觉特征、语义特征和空间特征，并对所述视觉特征、所述语义特征和所述空间特征进行加权融合，得到语义网格特征；其中，所述语义特征用于表示所述无人机航拍图像中的地标对象的类别信息和几何信息；所述空间特征用于表示无人机与所述地标对象之间的相对方向和相对距离；
4、基于多项辅助预测任务根据所述语义网格特征对实体与地标对象的精细化对齐关系进行显示学习，得到视觉表征；其中，所述多项辅助预测任务包括地标旋转边界框预测任务、地标语义预测任务和实体-地标对比学习任务中的至少两项；
5、以精细化空中视觉对话导航数据集为训练样本，以所述视觉表征为输入特征，以综合损失为损失函数对导航模型进行迭代训练，得到空中视觉对话导航模型；其中，所述综合损失基于导航损失函数和所述多项辅助预测任务对应的损失函数确定；所述精细化空中视觉对话导航数据集是通过对无人机对话式导航avdn数据集中实体-地标数据进行细粒度扩充得到的。
6、根据本专利技术提供的一种精细化对齐学习的导航模型训练方法，所述精细化空中视觉对话导航数据集通过如下步骤得到：
7、从avdn数据集的导航对话数据中提取语言实体；所述语言实体包括多个地标对象、地标方位描述和语义关系；
8、从avdn数据集中获取地标掩码，并提取所述地标掩码的旋转边界框信息，所述旋转边界框信息包括地标中心点、宽度、高度和旋转角度；
9、对所述语言实体和所述地标掩码进行初步对齐，并通过人工校验修正误匹配的实体-地标对，得到所述精细化空中视觉对话导航数据。
10、根据本专利技术提供的一种精细化对齐学习的导航模型训练方法，所述多项辅助预测任务包括所述地标旋转边界框预测任务、所述地标语义预测任务和所述实体-地标对比学习任务；
11、所述基于多项辅助预测任务根据所述语义网格特征对实体与地标对象的精细化对齐关系进行显示学习，得到视觉表征包括：
12、通过所述地标旋转边界框预测任务根据多头交叉注意力机制和所述语义网格特征获取地标旋转边界框信息；
13、通过所述地标语义预测任务根据自回归机制和所述语义网格特征获取地标语言描述信息；
14、通过所述实体-地标对比学习任务根据所述地标旋转边界框信息和所述地标语言描述信息对实体与地标的跨模态特征进行对比学习，得到所述视觉表征。
15、根据本专利技术提供的一种精细化对齐学习的导航模型训练方法，所述综合损失通过下式确定：
16、；
17、其中，为综合损失，为所述导航损失函数，为所述多项辅助预测任务对应的损失函数；
18、通过下式表示：
19、；
20、其中，为所述地标旋转边界框预测任务对应的损失函数，为所述地标语义预测任务对应的损失函数，为所述实体-地标对比学习任务对应的损失函数；和为权重参数，用于平衡各任务的损失权重。
21、根据本专利技术提供的一种精细化对齐学习的导航模型训练方法，在所述得到空中视觉对话导航模型之后，所述方法还包括：
22、基于时序变换的导航策略模型对所述空中视觉对话导航模型输出的导航结果进行融合和决策，得到目标导航策略；其中，所述基于时序变换的导航策略模型用于根据所述语义网格特征、已存在的对话数据、视觉特征和轨迹数据和预测无人机的航行轨迹。
23、本专利技术还提供一种导航方法，包括：
24、获取待处理的无人机航拍图像；
25、基于空中视觉对话导航模型对所述待处理的无人机航拍图像进行处理，得到导航结果；所述空中视觉对话导航模型通过所述精细化对齐学习的导航模型训练方法训练得到；
26、基于时序变换的导航策略模型对所述导航结果进行融合和决策，得到导航策略；其中，所述基于时序变换的导航策略模型用于根据语义网格特征、已存在的对话数据、视觉特征和轨迹数据和预测无人机的航行轨迹。
27、本专利技术还提供一种精细化对齐学习的导航模型训练装置，包括：
28、特征融合模块，用于从无人机航拍图像中提取出视觉特征、语义特征和空间特征，并对所述视觉特征、所述语义特征和所述空间特征进行加权融合，得到语义网格特征；其中，所述语义特征用于表示所述无人机航拍图像中的地标对象的类别信息和几何信息；所述空间特征用于表示无人机与所述地标对象之间的相对方向和相对距离；
29、对齐学习模块，用于基于多项辅助预测任务根据所述语义网格特征对实体与地标对象的精细化对齐关系进行显示学习，得到视觉表征；其中，所述多项辅助预测任务包括地标旋转边界框预测任务、地标语义预测任务和实体-地标对比学习任务中的至少两项；
30、训练模块，用于以精细化空中视觉对话导航数据集为训练样本，以所述视觉表征为输入特征，以综合损失为损失函数对导航模型进行迭代训练，得到空中视觉对话导航模型；其中，所述综合损失基于导航损失函数和所述多项辅助预测任务对应的损失函数确定；所述精细化空中视觉对话导航数据集是通过对无人机对话式导航avdn数据集中实体-地标数据进行细粒度扩充得到的。
31、本专利技术还提供一种导航装置，包括：
32、图像获取模块，用于获取待处理的无人机航拍图像；
33、导航预测模块，用于基于空中视觉对话导航模型对所述待处理的无人机航拍图像进行处理，得到导航结果；所述空中视觉对话导航模型通过所述精细化对齐学习的本文档来自技高网...
【技术保护点】
1.一种精细化对齐学习的导航模型训练方法，其特征在于，包括：
2.根据权利要求1所述的精细化对齐学习的导航模型训练方法，其特征在于，所述精细化空中视觉对话导航数据集通过如下步骤得到：
3.根据权利要求1所述的精细化对齐学习的导航模型训练方法，其特征在于，所述多项辅助预测任务包括所述地标旋转边界框预测任务、所述地标语义预测任务和所述实体-地标对比学习任务；
4.根据权利要求1所述的精细化对齐学习的导航模型训练方法，其特征在于，所述综合损失通过下式确定：
5.根据权利要求1所述的精细化对齐学习的导航模型训练方法，其特征在于，在所述得到空中视觉对话导航模型之后，所述方法还包括：
6.一种导航方法，其特征在于，包括：
7.一种精细化对齐学习的导航模型训练装置，其特征在于，包括：
8.一种导航装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。