数据处理方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种数据处理方法、装置及电子设备，方法包括：获取第一时间序列对应的第一时序数据，第一时间序列包括N个时间节点，第一时序数据包括N个时间节点以及N个时间节点中M个时间节点对应的M个指标数据值；M为小于N的正整数；基于第一时序数据，生成第一图像，其中，第一图像用于表征N个时间节点、M个指标数据值以及M个指标数据值与M个时间节点的对应关系；利用去噪自编码器对第一图像进行去噪处理，得到第二图像；基于第二图像，生成第二时序数据，第二时序数据包括N个时间节点对应的N个指标数据值；基于第二时序数据和时序预测模型，生成目标时序数据。本发明专利技术实施例可以提升时序预测的准确性。时序预测的准确性。时序预测的准确性。

【技术实现步骤摘要】
数据处理方法、装置及电子设备


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据处理方法、装置及电子设备。

技术介绍

[0002]时序数据预测，是以过去的时间序列数据进行数据统计分析，推测未来一段时间的发展趋势为目的，旨在了解事物的发展趋势，并根据预测的趋势加入某些干预进行调控以达到事物发展的期望值。
[0003]当前的时序预测方法，常以传统的统计学习方法和机器学习等算法完成时序预测。其常用算法包括ARIMA、Xgboost和LSTM等，在预测过程中，缺失值和异常值对预测结果的影响很大，而当前的方法中大多使用删除、平均等简单的操作处理缺失值和异常值，无法提供有效准确的缺失数据，导致时序预测的准确性较低。

技术实现思路

[0004]本专利技术实施例提供一种数据处理方法、装置及电子设备，以提升时序预测的准确性。
[0005]为解决上述问题，本专利技术是这样实现的：
[0006]第一方面，本专利技术实施例提供了一种数据处理方法，所述方法包括：获取第一时间序列对应的第一时序数据，所述第一时间序列包括N个时间节点，所述第一时序数据包括所述N个时间节点以及所述N个时间节点中M个时间节点对应的M个指标数据值；N为正整数，M为小于N的正整数；
[0007]基于所述第一时序数据，生成第一图像，其中，所述第一图像用于表征所述N个时间节点、所述M个指标数据值以及所述M个指标数据值与M个时间节点的对应关系；
[0008]利用去噪自编码器DAE对所述第一图像进行去噪处理，得到第二图像；
[0009]基于所述第二图像，生成第二时序数据，所述第二时序数据包括所述N个时间节点对应的N个指标数据值，所述N个指标数据值包括所述M个指标数据值；
[0010]基于所述第二时序数据和时序预测模型，生成目标时序数据。
[0011]第二方面，本专利技术实施例还提供一种数据处理装置，包括：
[0012]第一获取模块，用于获取第一时间序列对应的第一时序数据，所述第一时间序列包括N个时间节点，所述第一时序数据包括所述N个时间节点以及所述N个时间节点中M个时间节点对应的M个指标数据值；N为正整数，M为小于N的正整数；
[0013]第一生成模块，用于基于所述第一时序数据，生成第一图像，其中，所述第一图像用于表征所述N个时间节点、所述M个指标数据值以及所述M个指标数据值与M个时间节点的对应关系；
[0014]去噪模块，用于利用去噪自编码器DAE对所述第一图像进行去噪处理，得到第二图像；
[0015]第二生成模块，用于基于所述第二图像，生成第二时序数据，所述第二时序数据包括所述N个时间节点对应的N个指标数据值，所述N个指标数据值包括所述M个指标数据值；
[0016]第三生成模块，用于基于所述第二时序数据和时序预测模型，生成目标时序数据。
[0017]第三方面，本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如前述第一方面所述方法中的步骤。
[0018]第四方面，本专利技术实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如前述第一方面所述方法中的步骤。
[0019]在本专利技术实施例中，通过将待处理的第一时序数据转换为第一图像，再利用去噪自编码器对第一图像进行处理，得到第二图像，而后将第二图像逆转换为第二时序数据，从而通过图像处理的方式，将第一时序数据中N
‑
M个时间节点缺失的指标数据值进行了填补，从而基于第二时序数据和时序预测模型预测，得到的预测结果更加准确，即提升了时序预测的准确性。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例提供的数据处理方法的流程示意图；
[0022]图2是本专利技术实施例提供的生成式对抗网络执行的流程示意图；
[0023]图3是本专利技术实施例提供的图像补全层执行的流程示意图；
[0024]图4是本专利技术实施例提供的可能的系统架构图；
[0025]图5是本专利技术实施提供的数据处理装置的结构图；
[0026]图6是本专利技术实施提供的电子设备的结构图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]本专利技术实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，本申请中使用“和/或”表示所连接对象的至少其中之一，例如A和/或B和/或C，表示包含单独A，单独B，单独C，以及A和B都存在，B和C都存在，A和C都存在，以及A、B和C都存在的7种情况。
[0029]请参见图1，图1是本专利技术实施例提供的数据处理方法的流程图，如图1所示，上述
方法包括：
[0030]步骤101、获取第一时间序列对应的第一时序数据，所述第一时间序列包括N个时间节点，所述第一时序数据包括所述N个时间节点以及所述N个时间节点中M个时间节点对应的M个指标数据值；N为正整数，M为小于N的正整数。
[0031]对于时间序列预测而言，通常是通过历史时间序列对应的历史时序数据，预测未来一段时间内的时序数据。因此，上述第一时间序列可以为对于当前时间点而言，过去的一段连续的时间段，且该时间段中可以包括间隔设置的N个时间节点，上述时间节点可以以一定规则进行设置，例如以分钟、小时、天、周、月或年为单位，在此不作限定。
[0032]需要说明的是，由于外界因素或者人为因素，可能会导致历史时序数据中，某些时间点上的数据缺失，此时即可以采用上述数据处理方法，先将上述时间点上的数据补全，再基于补全后的时序数据进行预测。
[0033]在此类情况下，上述第一时序数据，可以包括上述N个时间节点，和上述N个时间节点中，M个时间节点分别对应的M个指标数据值。
[0034]以城市居民用电量为例，若需要预测未来五天内，每天的城市居民用电量数据，可以先获取过去100天中，每天的城市居民用电量数据，则过去100天即为第一时间序列，每一天作为一个时间节点，N等于100。若过去100天中有10天的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取第一时间序列对应的第一时序数据，所述第一时间序列包括N个时间节点，所述第一时序数据包括所述N个时间节点以及所述N个时间节点中M个时间节点对应的M个指标数据值；N为正整数，M为小于N的正整数；基于所述第一时序数据，生成第一图像，其中，所述第一图像用于表征所述N个时间节点、所述M个指标数据值以及所述M个指标数据值与M个时间节点的对应关系；利用去噪自编码器DAE对所述第一图像进行去噪处理，得到第二图像；基于所述第二图像，生成第二时序数据，所述第二时序数据包括所述N个时间节点对应的N个指标数据值，所述N个指标数据值包括所述M个指标数据值；基于所述第二时序数据和时序预测模型，生成目标时序数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述第一时序数据，生成第一图像的步骤包括：对所述M个时间节点对应的M个指标数据值进行归一化处理；将所述N个时间节点中，除所述M个时间节点外的N
‑
M个时间节点对应的指标数据值设置为第一预设值；将所述N个时间节点和所述N个时间节点对应的N个指标数据值，转化至极坐标系上；基于所述极坐标系坐标的三角函数变换，生成所述第一图像，所述第一图像为格拉姆角场GAF图。3.根据权利要求1所述的数据处理方法，其特征在于，所述利用去噪自编码器DAE对所述第一图像进行去噪处理，得到第二图像的步骤之前，所述方法还包括：在历史时序数据中，获取至少一个训练时序数据；将每一所述训练时序数据中，至少一个时间节点对应的指标数据值设置为第二预设值，得到至少一个第三时序数据；基于所述至少一个训练时序数据和所述至少一个第三时序数据，训练所述去噪自编码器。4.根据权利要求3所述的数据处理方法，其特征在于，所述基于所述至少一个训练时序数据和所述至少一个第三时序数据，训练所述去噪自编码器的步骤包括：基于所述至少一个训练时序数据，对应生成至少一个第三图像；基于所述至少一个第三时序数据，对应生成至少一个第四图像；利用所述去噪自编码器对所述至少一个第四图像进行去噪处理，得到至少一个第五图像；基于一一对应的所述第三图像与所述第五图像的均方误差，生成损失函数；基于所述损失函数，对所述去噪自编码器进行训练。5.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述第一时序数据，生成第一图像的步骤包括：将所述第一时序数据输入生成式对抗网络GAN，得到第四时序数据；将所述第四时序数据中，至少一个时间节点对应的指标数据值设置为第三预设值，得到第五时序数据；基于所述第五时序数据，生成所述第一图像。
6.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述第二时序数据和时...

【专利技术属性】
技术研发人员：周志红，郭叶，程印超，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：