数据处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及存储介质。该方法包括将获取到的服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据，将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据，在残差数据不符合第一预设条件时，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件，根据目标时间序列预测模型和目标catboost回归模型，构建线性组合模型。这样，线性组合模型既可以保证长期数据的预测精度，又可以保证短期数据的预测精度，如此，有效提高对于服务数据结果的预测准确度。结果的预测准确度。结果的预测准确度。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请属于数据处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]各个服务平台在网络灾害或其他需要提防的危险发生之前，通常可以根据以往的数据总结规律或通过以往的数据计算得到的可能性前兆，以向服务平台发出告警，从而最大程度的减轻危害所造成的损失。
[0003]在相关技术中，可以采用传统的自回归模型(AR)、移动平均模型(MA)、自回归移动平均模型(ARMA)、自回归差分移动平均模型(ARIMA)等数学模型，寻找历史数据之间的自相关性，以总结规律或可能性前兆。然而，由于上述模型对于复杂数据(如变量数量多、场景复杂)的处理能力较差，难以满足日常工作预测精度，无法得到较为准确的计算结果，造成误告警，影响各个服务平台的管理效率。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置、设备及存储介质，能够解决相关技术中数据计算结果准确度低的问题。
[0005]第一方面，本申请实施例提供一种数据处理方法，包括：
[0006]获取第一预设时间窗内的服务数据，服务数据包括下述中的至少一种：趋势项服务数据、节假日项服务数据、周期项服务数据；
[0007]将服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据；
[0008]将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据；
[0009]在残差数据不符合第一预设条件的情况下，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件；
[0010]根据与残差数据符合第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，线性组合模型用于对服务数据的监测。
[0011]第二方面，本申请实施例提供一种数据处理装置，该装置可以包括：
[0012]获取模块，用于获取第一预设时间窗内的服务数据，服务数据包括下述中的至少一种：趋势项服务数据、节假日项服务数据、周期项服务数据；
[0013]计算模块，用于将服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据；
[0014]计算模块还用于，将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据；
[0015]执行模块，用于在残差数据不符合第一预设条件的情况下，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件；
[0016]构建模块，用于根据与残差数据符合第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，线性组合模型用于对服务数据的监测。
[0017]第三方面，本申请实施例提供了一种计算机设备，该计算机设备包括：处理器以及存储有计算机程序指令的存储器；
[0018]处理器执行计算机程序指令时实现如第一方面所示的数据处理方法。
[0019]第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的数据处理方法。
[0020]第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所示的数据处理方法。
[0021]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所示的数据处理方法。
[0022]本申请实施例的数据处理方法、装置、设备及存储介质，获取第一预设时间窗内的服务数据，将服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据，并将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据，然后，在残差数据不符合第一预设条件的情况下，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件，根据与残差数据符合第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，线性组合模型用于对服务数据的监测。这样，通过时间序列预测模型与catboost回归模型的融合，对由时间序列预测模型产生第一预测服务数据的生成的残差数据进行二次利用，将残差数据作为特征值融入catboost回归模型，在减少构建特征值的过程的同时，使集成后的线性组合模型保留了周期性的数据信息，可以有效地综合时间序列预测模型对于长期时序数据预测精度和catboost回归模型预测短期数据的预测精度，即线性组合模型既可以保证对于长期数据的预测精度，又可以保证对于短期数据的预测精度，如此，提高了对于服务数据结果的预测准确度，降低了对服务数据的监测的错误告警频率，进而提高服务平台的管理效率。
附图说明
[0023]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的一种数据处理方法的数据处理架构示意图；
[0025]图2为本申请实施例提供的一种数据处理方法的流程图；
[0026]图3是本申请实施例提供的一种数据处理方法的流程示意图；
[0027]图4是本申请一个实施例提供的数据处理装置的结构示意图；
[0028]图5是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
[0029]下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
[0030]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取第一预设时间窗内的服务数据，所述服务数据包括下述中的至少一种：趋势项服务数据、节假日项服务数据、周期项服务数据；将所述服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据；将所述第一预测服务数据与所述服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据；在所述残差数据不符合第一预设条件的情况下，将所述第二预测服务数据添加到所述第一训练样本，重复执行计算所述第一预测服务数据和第二预测服务数据，直至所述残差数据符合所述第一预设条件；根据与所述残差数据符合所述第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，所述线性组合模型用于对服务数据的监测。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第二预设时间窗内的服务数据；将所述第二预设时间窗内的服务数据输入所述线性组合模型，通过所述线性组合模型中的目标时间序列预测模型计算第三预测服务数据；以及，通过所述线性组合模型中的目标catboost回归模型，计算第四预测服务数据；通过网格搜索算法，对所述第三预测服务数据和所述第四预测服务数据进行加权配置处理，得到与所述第二预设时间窗内的服务数据对应的监测结果。3.根据权利要求1所述的方法，其特征在于，所述将所述服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据之前，所述方法还包括：根据所述服务数据的时间序列，获取与所述服务数据对应的数据标签，所述数据标签包括先验知识标签和后验知识标签，所述后验知识标签包括下述中的至少一种：趋势项标签、节假日项标签、周期项标签；根据所述数据标签，在所述初始时间序列预测模型中构建与每个数据标签对应的计算参数；以及，根据所述数据标签，对所述服务数据中与所述数据标签对应的数据进行标记，得到标签服务数据；所述将所述服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据，包括：将所述标签服务数据作为第一训练样本输入初始时间序列预测模型；分别通过所述初始时间序列预测模型中与每个数据标签对应的计算参数，对所述标签服务数据进行处理，得到第一预测服务数据。4.根据权利要求1所述的方法，其特征在于，所述在所述残差数据不符合第一预设条件的情况下，将所述第二预测服务数据添加到所述第一训练样本，重复执行计算所述第一预测服务数据和第二预测服务数据，包括：在所述残差数据不符合第一预设条件的情况下，将所述第二预测服务数据添加到所述第一训练样本，以将所述第二预测服务数据和服务数据作为第一训练样本对时间序列预测模型进行训练；重复执行：
将所述服务数据作为第一训练样本输入时间序列预测模型，计算第一预测服务数据；将所述第一预测服务数据与所述服务数据的预设实际服务数据的残差数据作为第二训练样本输入catboost回归模型，计算第二预测服务数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述残差数据符合第一预设条件的情况下，确定所述第二...

【专利技术属性】
技术研发人员：王灿，许庆堂，肖梁，徐蓉，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：