模型训练方法、装置及设备制造方法及图纸

本申请实施例提供一种模型训练方法、装置及设备，该方法包括：获取第一样本数据和第二样本数据；第一样本数据包括多个第一时刻和每个第一时刻对应的多类型气象数据，第二样本数据包括多个第二时刻、以及每个第二时刻对应的参考气象数据和标注气象数据；通过初始模型的时间编码层对多个第一时刻进行时间编码，得到每个第一时刻对应的时间编码结果；通过初始模型的至少一个特征编码层对时间编码结果和第一样本数据进行编码处理，得到编码特征；通过初始模型的至少一个特征解码层对编码特征、多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到每个第二时刻的预测气象数据。提高了模型预测的准确性。提高了模型预测的准确性。提高了模型预测的准确性。

【技术实现步骤摘要】
模型训练方法、装置及设备


[0001]本申请涉及计算机
，尤其涉及一种模型训练方法、装置及设备。

技术介绍

[0002]在一些场景中，可以通过模型对气象数据进行预测，以便农业人员根据气象数据进行农事活动。
[0003]在相关技术中，可以通过历史气象数据对模型进行训练，以得到模型。然而，在上述训练过程中，模型通常使用循环神经网络结构，容易注重学习输入特征的末端特征，且没有考虑到气象数据变化的周期性，导致模型预测的准确性较差。

技术实现思路

[0004]本申请的多个方面提供一种模型训练方法、装置及设备，用以提高模型预测的准确性。
[0005]第一方面，本申请实施例提供一种模型训练方法，包括：
[0006]获取第一样本数据和第二样本数据；其中，所述第一样本数据包括多个第一时刻和每个第一时刻对应的多类型气象数据，所述第二样本数据包括多个第二时刻、以及每个第二时刻对应的参考气象数据和标注气象数据；
[0007]通过初始模型的时间编码层对所述多个第一时刻进行时间编码，得到每个第一时刻对应的时间编码结果；
[0008]通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征；
[0009]通过所述初始模型的至少一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到每个第二时刻的预测气象数据，并根据所述预测气象数据和所述标注气象数据，更新所述初始模型的模型参数。
[0010]在一种可能的实施方式中，针对任意一个第一时刻；通过初始模型的时间编码层对所述第一时刻进行时间编码，得到所述第一时刻对应的时间编码结果，包括：
[0011]通过所述时间编码层对所述第一时刻进行周期性时间编码，得到所述第一时刻对应的周期性编码结果；
[0012]通过所述时间编码层对所述第一时刻进行时间戳编码，得到所述第一时刻对应的时间戳编码结果；
[0013]根据所述周期性编码结果和所述时间戳编码结果，确定所述第一时刻对应的时间编码结果。
[0014]在一种可能的实施方式中，通过所述时间编码层对所述第一时刻进行周期性时间编码，得到所述第一时刻对应的周期性编码结果，包括：
[0015]确定时间周期、以及所述时间周期内的多个预设时刻；
[0016]根据所述第一时刻对应的预设时刻，对所述第一时刻进行编码处理，得到所述第
一时刻对应的周期性编码结果。
[0017]在一种可能的实施方式中，通过所述时间编码层对所述第一时刻进行时间戳编码，得到所述第一时刻对应的时间戳编码结果，包括：
[0018]确定所述第一时刻对应的时间信息，所述时间信息包括如下至少一种：季节、月份、星期或小时；
[0019]根据所述第一时刻和所述时间信息，确定所述第一时刻对应的所述时间戳编码结果。
[0020]在一种可能的实施方式中，根据所述周期性编码结果和所述时间戳编码结果，确定所述第一时刻对应的时间编码结果，包括：
[0021]确定所述周期性编码结果对应的第一特征信息；
[0022]确定所述时间戳编码结果对应的第二特征信息；
[0023]对所述第一特征信息和所述第二特征信息进行融合处理，得到所述第一时刻对应的所述时间编码结果。
[0024]在一种可能的实施方式中，所述至少一个特征编码层的数量为N；通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征，包括：
[0025]通过第一个特征编码层对所述时间编码结果和所述第一样本数据进行处理，得到第一个中间特征；
[0026]通过第i个特征编码层对第i
‑
1个中间特征进行处理，得到第i个中间特征；其中，所述i依次取2、3、
……
N，并将第N个中间特征确定为所述编码特征，所述N为大于1的整数。
[0027]在一种可能的实施方式中，所述特征编码层包括多头窗口注意力层和前馈网络层；通过第一个特征编码层对所述时间编码结果和所述第一样本数据进行处理，得到第一中间特征，包括：
[0028]通过所述第一个特征编码层中的多头窗口注意力层对所述时间编码结果和所述第一样本数据进行融合处理，得到融合特征；
[0029]通过所述第一个特征编码层中的前馈网络层对所述融合特征进行非线性变换处理，得到所述第一中间特征。
[0030]在一种可能的实施方式中，所述初始模型还包括线性层，所述至少一个特征解码层的数量为M；通过所述初始模型的至少一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到预测气象数据，包括：
[0031]通过第一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到第一个输出信息；
[0032]通过第j个特征解码层对第j
‑
1个输出信息和所述编码特征进行处理，得到第j个输出信息；其中，所述j依次取2、3、
……
、M，所述M为大于1的整数；
[0033]通过所述线性层对第M个输出信息进行处理，得到所述预测气象数据。
[0034]在一种可能的实施方式中，根据所述预测气象数据和所述标注气象数据，更新所述初始模型的模型参数，包括：
[0035]根据所述预测气象数据和所述标注气象数据，确定损失函数的损失值；
[0036]根据所述损失值更新所述初始模型的模型参数。
[0037]第二方面，本申请实施例提供一种气象数据预测方法，包括：
[0038]确定目标时刻对应的参考气象数据；
[0039]获取所述目标时刻对应的历史时段内的多类型气象数据；
[0040]通过目标模型对所述参考气象数据和所述多类型气象数据进行处理，得到所述目标时刻对应的预测气象数据；其中，所述目标模型为根据第一方面任一项所述的方法训练得到的。
[0041]第三方面，本申请实施例提供一种模型训练装置，包括：获取模块、编码模块、第一处理模块、第二处理模块和更新模块，其中，
[0042]所述获取模块用于，获取第一样本数据和第二样本数据；其中，所述第一样本数据包括多个第一时刻和每个第一时刻对应的多类型气象数据，所述第二样本数据包括多个第二时刻、以及每个第二时刻对应的参考气象数据和标注气象数据；
[0043]所述编码模块用于，通过初始模型的时间编码层对所述多个第一时刻进行时间编码，得到每个第一时刻对应的时间编码结果；
[0044]所述第一处理模块用于，通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征；
[0045]所述第二处理模块用于，通过所述初始模型的至少一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到每个第二时刻的预测气象数据；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取第一样本数据和第二样本数据；其中，所述第一样本数据包括多个第一时刻和每个第一时刻对应的多类型气象数据，所述第二样本数据包括多个第二时刻、以及每个第二时刻对应的参考气象数据和标注气象数据；通过初始模型的时间编码层对所述多个第一时刻进行时间编码，得到每个第一时刻对应的时间编码结果；通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征；通过所述初始模型的至少一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到每个第二时刻的预测气象数据，并根据所述预测气象数据和所述标注气象数据，更新所述初始模型的模型参数。2.根据权利要求1所述的方法，其特征在于，针对任意一个第一时刻；通过初始模型的时间编码层对所述第一时刻进行时间编码，得到所述第一时刻对应的时间编码结果，包括：通过所述时间编码层对所述第一时刻进行周期性时间编码，得到所述第一时刻对应的周期性编码结果；通过所述时间编码层对所述第一时刻进行时间戳编码，得到所述第一时刻对应的时间戳编码结果；根据所述周期性编码结果和所述时间戳编码结果，确定所述第一时刻对应的时间编码结果。3.根据权利要求2所述的方法，其特征在于，通过所述时间编码层对所述第一时刻进行周期性时间编码，得到所述第一时刻对应的周期性编码结果，包括：确定时间周期、以及所述时间周期内的多个预设时刻；根据所述第一时刻对应的预设时刻，对所述第一时刻进行编码处理，得到所述第一时刻对应的周期性编码结果。4.根据权利要求2或3所述的方法，其特征在于，通过所述时间编码层对所述第一时刻进行时间戳编码，得到所述第一时刻对应的时间戳编码结果，包括：确定所述第一时刻对应的时间信息，所述时间信息包括如下至少一种：季节、月份、星期或小时；根据所述第一时刻和所述时间信息，确定所述第一时刻对应的所述时间戳编码结果。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，根据所述周期性编码结果和所述时间戳编码结果，确定所述第一时刻对应的时间编码结果，包括：确定所述周期性编码结果对应的第一特征信息；确定所述时间戳编码结果对应的第二特征信息；对所述第一特征信息和所述第二特征信息进行融合处理，得到所述第一时刻对应的所述时间编码结果。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述至少一个特征编码层的数量为N；通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征，包括：通过第一个特征编码层对所述时间编码结果和所述第一样本数据进行处理，得到第一
个中间特征；通过第i个特征编码层对第i
‑
1个中间特征进行处理，得到第i个中间特征；其中，所述i依次取2、3、
……
N，并将第N个中间特征确定为所述编码特征，所述N为大于1的整数。7.根据权利要求6所述的方法，其特征在于，所述特征编码层包括多头窗口注意力层和前馈网络层；通过第一个特征编码层对所述时间编码结果和所述第一样本数据进行处理，得到第一中间特征，包括：通过所述第一个特征编码层中的多头窗口注意力层对所述时间编码结果和所述第一样本数据进行融合处理，得到融合特征；通过...

【专利技术属性】
技术研发人员：杨耀晟，谢娟，季正刚，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：