预测模型的训练方法、装置、介质和计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种预测模型的训练方法、装置、介质和计算设备。该方法包括：基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型；通过所述预测模型输出与所述训练数据对应的预测分布；通过最大均值差异损失函数对所述预测分布进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。本发明专利技术的上述技术能够基于训练数据对预测模型进行训练，并通过预测模型输出与训练数据对应的预测分布，基于最大均值差异损失函数以及预测分布对预测模型进行训练，以使预测模型的网络权重再次收敛，得到校准后的预测分布，提升预测模型基于时序数据输出的预测结果的准确性。

【技术实现步骤摘要】
预测模型的训练方法、装置、介质和计算设备
本专利技术的实施方式涉及深度学习
，更具体地，本专利技术的实施方式涉及一种预测模型的训练方法、装置、介质和计算设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。预测是机器学习中普遍存在的一类任务，广泛应用于各种场景中，如销售预测、股票分析、交通流量预测、天气预报等基于时序数据的预测。近年来随着深度学习技术突飞猛进的发展，深度模型在预测任务上取得了显著的进步。目前，通常会基于异方差神经网络对神经网络进行训练。然而，在实践中发现，基于异方差神经网络可能会基于已有的时序数据产生不可靠的预测分布和不确定性估计，且产生的概率分布往往是未校准的。可见，现有的神经网络基于时序数据得到的预测结果准确性较低。
技术实现思路
在本上下文中，本专利技术的实施方式期望提供一种预测模型的训练方法、装置、介质和计算设备。在本专利技术实施方式的第一方面中，提供了一种预测模型的训练方法，包括：基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型；通过所述预测模型输出与所述训练数据对应的预测分布；通过最大均值差异损失函数对所述预测分布进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。在本实施方式的一个实施例中，基于获取到的训练数据之前，所述方法还包括：获取原始数据；通过预设方式对所述原始数据进行预处理，得到所述原始数据对应的训练数据，其中，所述预设方式至少包括数据归一化处理。在本实施方式的一个实施例中，当所述原始数据中包含时间序列数据时，所述预设方式还包括按照时间窗口格式对所述时间序列数据进行分割。在本实施方式的一个实施例中，基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型，包括：将获取到的训练数据输入至所述预测模型的分布估计器；通过所述分布估计器中的负对数似然损失函数对所述训练数据进行计算，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型。在本实施方式的一个实施例中，通过所述预测模型输出与所述训练数据对应的预测分布，包括：通过所述预测模型输出与所述训练数据对应的均值和方差；基于所述均值和所述方差计算得到预测分布。在本实施方式的一个实施例中，所述最大均值差异损失函数包含核函数和再生核希尔伯特空间，通过最大均值差异损失函数对所述预测分布进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型，包括：从所述预测分布中获取数据样本；控制所述预测模型中的分布匹配器通过所述最大均值差异损失函数对所述数据样本进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。在本实施方式的一个实施例中，控制所述预测模型中的分布匹配器通过所述最大均值差异损失函数对所述数据样本进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型之后，所述方法还包括：基于所述预测模型输出的所述校准后的预测分布，计算得到真实置信度；基于期望置信度和所述真实置信度，计算得到覆盖概率的期望损失以及覆盖概率的最大损失；当所述覆盖概率的期望损失小于第一预设值以及所述覆盖概率的最大损失小于第二预设值时，确定所述校准后的预测分布具有可靠性。在本实施方式的一个实施例中，所述预测模型通过异方差概率神经网络模型构建。在本专利技术实施方式的第二方面中，提供了一种预测模型的训练装置，包括：第一训练单元，用于基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型；输出单元，用于通过所述预测模型输出与所述训练数据对应的预测分布；第二训练单元，用于基于所述预测分布，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。在本实施方式的一个实施例中，所述装置还包括：获取单元，用于在所述第一训练单元基于获取到的训练数据之前，获取原始数据；处理单元，用于通过预设方式对所述原始数据进行预处理，得到所述原始数据对应的训练数据，其中，所述预设方式至少包括数据归一化处理。在本实施方式的一个实施例中，当所述原始数据中包含时间序列数据时，所述预设方式还包括按照时间窗口格式对所述时间序列数据进行分割。在本实施方式的一个实施例中，所述第一训练单元包括：第一输出子单元，用于将获取到的训练数据输入至所述预测模型的分布估计器；第一训练子单元，用于通过所述分布估计器中的负对数似然损失函数对所述训练数据进行计算，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型。在本实施方式的一个实施例中，所述输出单元包括：第二输出子单元，用于通过所述预测模型输出与所述训练数据对应的均值和方差；计算子单元，用于基于所述均值和所述方差计算得到预测分布。在本实施方式的一个实施例中，所述最大均值差异损失函数包含核函数和再生核希尔伯特空间，所述第二训练单元包括：获取子单元，用于从所述预测分布中获取数据样本；第二训练子单元，用于控制所述预测模型中的分布匹配器通过所述最大均值差异损失函数对所述数据样本进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。在本实施方式的一个实施例中，所述装置还包括：计算单元，用于在所述第二训练子单元控制所述预测模型中的分布匹配器通过所述最大均值差异损失函数对所述数据样本进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型之后，基于所述预测模型输出的所述校准后的预测分布，计算得到真实置信度；所述计算单元，还用于基于期望置信度和所述真实置信度，计算得到覆盖概率的期望损失以及覆盖概率的最大损失；确定单元，用于当所述覆盖概率的期望损失小于第一预设值以及所述覆盖概率的最大损失小于第二预设值时，确定所述校准后的预测分布具有可靠性。在本实施方式的一个实施例中，所述预测模型通过异方差概率神经网络模型构建。在本专利技术实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。在本专利技术实施方式的第四方面中，提供了一种计算设备，包括如上所述的存储介质。根据本专利技术实施方式的预测模型的训练方法、装置、介质和计算设备，能够基于训练数据对预测模型的进行训练，以使预测模型的网络权重收敛，进而可以通过预测模型输出与训练数据对应的预测分布，并且可以基于最大均值差异损失函数以及预测分布再次对该预测模型进行训练，以使预测模型的网络权重再次收敛，得到校准后的预测分布，且训练数据为本文档来自技高网...

【技术保护点】
1.一种预测模型的训练方法，包括：/n基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型；其中，上述训练数据为时序数据，包括环境监测数据、交通监测数据、气象监测数据、用户历史行为数据中的一种；/n通过所述预测模型输出与所述训练数据对应的预测分布；/n通过最大均值差异损失函数对所述预测分布进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。/n

【技术特征摘要】
1.一种预测模型的训练方法，包括：
基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型；其中，上述训练数据为时序数据，包括环境监测数据、交通监测数据、气象监测数据、用户历史行为数据中的一种；
通过所述预测模型输出与所述训练数据对应的预测分布；
通过最大均值差异损失函数对所述预测分布进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。


2.根据权利要求1所述的预测模型的训练方法，基于获取到的训练数据之前，所述方法还包括：
获取原始数据；
通过预设方式对所述原始数据进行预处理，得到所述原始数据对应的训练数据，其中，所述预设方式至少包括数据归一化处理。


3.根据权利要求2所述的预测模型的训练方法，其中，当所述原始数据中包含时间序列数据时，所述预设方式还包括按照时间窗口格式对所述时间序列数据进行分割。


4.根据权利要求1~3任一项所述的预测模型的训练方法，基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型，包括：
将获取到的训练数据输入至所述预测模型的分布估计器；
通过所述分布估计器中的负对数似然损失函数对所述训练数据进行计算，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型。


5.根据权利要求4所述的预测模型的训练方法，通过所述预测模型输出与所述训练数据对应的预测分布，包括：
通过所述预测模型输出与所述训练数据对应的均值和方差；
基于所述均值和所述方差计算得到预测分布。


6.根据权利要求5所述的预测模型的训练方法，所述最大均值差异损失函数包含核函数和再生核希尔伯特空间，通过最大均值差异损失函数对所述预测分布进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型，包括：
从所述预测分布中获取数据样本；
控制所述预测模型中的分布匹配器通过所述最大均值差异损失函数对所述数据样本进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型。


7.根据权利要求6所述的预测模型的训练方法，控制所述预测模型中的分布匹配器通过所述最大均值差异损失函数对所述数据样本进行计算，以使所述预测模型的网络权重再次进行收敛，并得到校准后的预测分布为目标训练所述预测模型之后，所述方法还包括：
基于所述预测模型输出的所述校准后的预测分布，计算得到真实置信度；
基于期望置信度和所述真实置信度，计算得到覆盖概率的期望损失以及覆盖概率的最大损失；
当所述覆盖概率的期望损失小于第一预设值以及所述覆盖概率的最大损失小于第二预设值时，确定所述校准后的预测分布具有可靠性。


8.根据权利要求5~7任一项所述的预测模型的训练方法，所述预测模型通过异方差概率神经网络模型构建。


9.一种预测模型的训练装置，包括：
第一训练单元，用于基于获取到的训练数据，以使所述预测模型的网络权重进行收敛为目标训练所述预测模型；其中，上述训练数...

【专利技术属性】
技术研发人员：胡文波，崔鹏，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：北京;11