【技术实现步骤摘要】
【】本申请实施例涉及人工智能，尤其涉及一种模型训练方法、装置、飞行器及存储介质。
技术介绍
0、
技术介绍
1、现有技术中，通常基于长短期记忆网络(lstm，long short-term memory)来对飞行器的时序数据进行建模，从而来估计飞行器的负载重量。但是上述方式在建模过程中需要对大量时序数据进行标注，导致训练效率较低。
技术实现思路
0、
技术实现思路
1、本申请实施例提供了一种模型训练方法、装置、飞行器及存储介质，能够在确保训练出性能较优的飞行器负载重量的预测模型的情况下，提升训练效率。
2、第一方面，本申请实施例提供了一种模型训练方法，应用于飞行器，所述方法包括：
3、获取无标签飞行状态数据，并基于所述无标签飞行状态数据对第一transformer模型进行无监督预训练，以获得第二transformer模型，其中，所述第二transformer模型用于表征所述无标签飞行状态数据对应的飞行状态的变化趋势；
4、获取带标签飞行状态数据以及飞行器负载重量数据，并基于所述带标签飞行状态数据以及飞行器负载重量数据，对所述第二transformer模型进行调整，以获得第三transformer模型，其中，所述第三transformer模型用于表征所述飞行器的飞行状态与所述飞行器的负载重量之间的关系。
5、本申请实施例中，利用大量的无标签飞行状态时序数据对第一transformer模型进行无监督预训练，从而
6、可选的，所述第三transformer模型包括：
7、编码器与解码器，所述编码器用于基于目标无标签飞行状态数据，获得目标飞行状态特征并将所述目标飞行状态特征输出到所述解码器；
8、所述解码器用于基于所述目标飞行状态特征预测出所述飞行器的目标飞行状态，并基于所述飞行器的飞行状态与所述飞行器的负载重量之间的关系，预测所述目标飞行状态对应的飞行器的负载重量。
9、本申请实施例中，在飞行器起飞后一段时间内，可以基于在上述时间段内所采集的无标签飞行状态数据较为准确的预测出飞行器当前的飞行器负载重量，以便于为进一步预估飞行器续航提供可靠依据。
10、可选的，所述基于所述无标签飞行状态数据对第一transformer模型进行无监督预训练，以获得第二transformer模型，包括：
11、将所述无标签飞行状态数据输入到所述第一transformer模型中，并基于第一损失函数对所述第一transformer模型进行预训练，以获得所述第二transformer模型，所述第一损失函数可由下式表示：
12、
13、其中，l1表示所述第一损失函数，n表示所述无标签飞行状态数据包括的子飞行状态数据的种类，表示第i种子飞行状态数据的预测值，表示所述第i种子飞行状态数据的真实值。
14、本申请实施例中，各预设时刻的第一无标签飞行状态数据可以认为包括多种类型的子飞行状态数据，那么将各预设时刻的第一无标签飞行状态数据所包括多种类型的子飞行状态数据输入到第一transformer模型，并基于第一损失函数进行训练，从而获得性能较为优异的第二transformer模型。
15、可选的，所述基于所述带标签飞行状态数据以及飞行器负载重量数据，对所述第二transformer模型进行调整，以获得第三transformer模型，包括：
16、将所述带标签飞行状态数据以及所述飞行器负载重量数据输入到所述第二transformer模型，并基于第二损失函数对所述第二transformer模型进行调整，以获得所述第三transformer模型，所述第二损失函数可由下式表示：
17、
18、其中，l2表示所述第二损失函数，mpre表示飞行器负载重量的预测值，mgt表示飞行器负载重量的真实值。
19、本申请实施例中，将少量带标签的飞行状态数据以及对应的飞行器负载重量数据输入到经预训练的第二transformer模型中，并基于新的第二损失函数来对第二transformer模型进行训练，从而可以获得性能较为优异且应用于飞行器负载重量预测的第三transformer模型。
20、可选的，所述编码器包括：
21、编码器输入层，用于通过全连接的网络将所述目标无标签飞行状态数据映射为所述目标飞行状态特征；
22、位置编码层，用于通过正弦函数和余弦函数为所述目标飞行状态特征添加对应的位置编码；
23、编码器层，用于编码添加完所述位置编码的目标飞行状态特征。
24、本申请实施例中，将目标无标签飞行状态数据输入编码器，通过编码器输入层映射为目标飞行状态特征，再在位置编码层中利用三角函数为目标飞行状态特征添加位置编码，最后有编码器层实现对添加完位置编码的目标飞行状态特征的编码。
25、可选的，所述编码器层包括：
26、自注意力子层，用于计算需要编码的所述目标飞行状态特征之间的交互关系；
27、全连接前馈子层，用于增强所述目标飞行状态特征的拟合度。
28、本申请实施例中，需要基于自注意力机制计算添加位置编码的目标飞行状态特征之间的相关性，从而更多地关注相关性大的目标飞行状态特征，之后通过全连接前馈子层增强目标分析状态特征之间的拟合度。
29、可选的，所述编码器层还包括；
30、归一化层，用于与所述注意力子层和所述前馈子层连接，用于对编码后的所述目标飞行状态特征进行标准化处理。
31、本申请实施例中，通过归一化层对编码后的目标飞行状态特征进行标准化处理，减少模型训练的时间成本，加快收敛速度。
32、可选的，所述解码器包括：
33、解码器输入层，用于将编码器输出的第一维度下的所述目标飞行状态特征转换为第二维度下的所述目标飞行状态特征，其中，所述第二维度高于所述第一维度；
34、解码器层，用于基于所述第二维度下的所述目标飞行状态特本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，应用于飞行器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第三Transformer模型包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述无标签飞行状态数据对第一Transformer模型进行无监督预训练，以获得第二Transformer模型，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述带标签飞行状态数据以及飞行器负载重量数据，对所述第二Transformer模型进行调整，以获得第三Transformer模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述编码器包括：
6.根据权利要求5所述的方法，其特征在于，所述编码器层包括：
7.根据权利要求6所述的方法，其特征在于，所述编码器层还包括：
8.根据权利要求2所述的方法，其特征在于，所述解码器包括：
9.一种模型训练装置，其特征在于，所述装置包括：
10.一种飞行器，其特征在于，所述飞行器包括至少一个处理器以及与所述至少一个处理器连接
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，应用于飞行器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第三transformer模型包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述无标签飞行状态数据对第一transformer模型进行无监督预训练，以获得第二transformer模型，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述带标签飞行状态数据以及飞行器负载重量数据，对所述第二transformer模型进行调整，以获得第三transformer模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述编码器包括：
6...
【专利技术属性】
技术研发人员：蔡剑成，施泽浩，刘新民，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。