时序数据的异常检测和参数填补的方法及装置制造方法及图纸

本公开涉及一种时序数据的异常检测和缺失填补的方法及装置。训练用于时序数据的异常检测和缺失填补的模型的方法包括：获取用户的时序数据，其中，所述时序数据包括异常的参数和缺失的参数；对时序数据进行预处理，以得到经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，其中，所述第一标记矩阵被配置为标记时序数据中的异常的参数和缺失的参数的位置，所述第二标记矩阵被配置为标记经预处理的时序数据的中的异常的参数和缺失的参数的位置，所述区域标签被配置为标记用户所位于的区域；以及基于经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，对模型进行训练。行训练。行训练。

【技术实现步骤摘要】
时序数据的异常检测和参数填补的方法及装置


[0001]本公开总体上涉及人工智能领域，更具体地涉及一种时序数据的异常检测和参数填补的方法及装置。

技术介绍

[0002]现有技术中，MR(Measurement Report，测量报告)数据的TA(Time Advanced，时间提前量)、RSRP(Reference Signal Receiving Power，参考信号接收功率)等参数在网络定位等应用中非常关键。由于MR数据在上报过程中易受设备、环境等因素影响，往往存在许多异常值和缺失值，严重影响依赖MR数据应用的效果。因此，有必要实现精准且鲁棒的MR关键参数的异常检测与缺失填补。
[0003]因为上报MR时用户是按定时连续上报的，所以在处理MR数据的异常值和缺少值时，可以考虑利用用户上报数据的这种时空连续关系来构造时序数据并进行进一步的处理。
[0004]目前，在针对时序数据的异常检测和缺失填补方法中，由于LSTM(Long Short Term Memory，长短期记忆网络)的时序记忆能力和GAN(Generative Adversarial Networks，生成式对抗网络)的对抗式学习机制，两者相结合的方法具有天然的优势。现有技术中，这类方法在进行异常检测和缺失填补时往往相互独立进行：对于缺失填补，先将时序缺失值填充为预设值，再将填充预设值的时序及对应缺失掩膜序列输入生成器来预测缺失值；对于异常检测，首先将随机噪声输入生成器生成非正常样本，训练判别器尽量区分真实样本和生成样本，然后在异常检测时，先将判别器隐含层提取的时序特征，输入给生成器重构，求得重构误差，同时结合判别器输出的判别误差，求得最终整个时序的异常得分。
[0005]采用现有的时序异常检测与缺失填补方法处理MR关键参数时序时存在以下一些问题：
[0006]1)数据同时存在缺失值和异常值时，忽视异常值进行缺失填补会引入噪声，而从缺失处截断时序分别进行异常检测会损失时序结构信息，目前方法没有结合两者联合处理；
[0007]2)MR不同参数受许多不确定因素影响，数据时空分布不一致，潜在异常完全随机出现，目前方法无法按区域调整，且无法精准判断时序异常具体位置；
[0008]3)用户连续上报的MR时序存在不定长、非平稳、以及大都不完整问题，目前方法无法自适应性处理。
[0009]目前，现网MR数据丰富，根据MR上报的会话ID、基站ID、小区ID、时间戳等能够有效识别不同用户连续上报的MR时序，从而转化为对各用户不定长多变量时序数据进行处理，为根据数据时空分布和时序结构信息联合进行MR关键参数异常检测和缺失填补奠定基础。

技术实现思路

[0010]在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本
理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
[0011]根据本公开的第一方面，提供了一种训练用于时序数据的异常检测和缺失填补的模型的方法，包括：获取用户的时序数据，其中，所述时序数据包括异常的参数和缺失的参数；对时序数据进行预处理，以得到经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，其中，所述第一标记矩阵被配置为标记时序数据中的异常的参数和缺失的参数的位置，所述第二标记矩阵被配置为标记经预处理的时序数据的中的异常的参数和缺失的参数的位置，所述区域标签被配置为标记用户所位于的区域；以及基于经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，对模型进行训练。
[0012]根据本公开的第二方面，提供了一种用于时序数据的异常检测和缺失填补的方法，包括：利用根据第一方面所述的方法来训练模型；利用经训练的模型生成所述待检测时序数据中的参数为异常参数的概率；基于概率和概率阈值判断所述待检测时序数据中的参数是否为异常参数；以及将所述待检测时序数据中被判断为异常的参数和缺失的参数填补为利用经训练的模型生成的正常值。
[0013]根据本公开的第三方面，提供了一种训练用于时序数据的异常检测和缺失填补的模型的装置，包括：构造模块，被配置为获取用户的时序数据，其中，所述时序数据包括异常的参数和缺失的参数；预处理模块，被配置为对时序数据进行预处理，以得到经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，其中，所述第一标记矩阵被配置为标记时序数据中的异常的参数和缺失的参数的位置，所述第二标记矩阵被配置为标记经预处理的时序数据的中的异常的参数和缺失的参数的位置，所述区域标签被配置为标记用户所位于的区域；训练模块，被配置为基于经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，对模型进行训练。
[0014]根据本公开的第四方面，提供了一种用于时序数据的异常检测和缺失填补的装置，包括：根据第三方面所述的构造模块、预处理模块和训练模块；以及检测与填补模块，所述检测与填补模块被配置为：利用经训练的模型生成所述待检测时序数据中的参数为异常参数的概率；基于概率和概率阈值判断所述待检测时序数据中的参数是否为异常参数；以及将所述待检测时序数据中的判断出的异常的参数和缺失的参数填补为利用经训练的模型生成的正常值。
[0015]根据本公开的第五方面，提供了一种非暂态计算机可读存储介质，其上存储有程序，其特征在于，当所述程序由计算机执行时，使所述计算机执行根据第一方面所述的方法。
[0016]根据本公开的第六方面，提供了一种非暂态计算机可读存储介质，其上存储有程序，其特征在于，当所述程序由计算机执行时，使所述计算机执行根据第二方面所述的方法。
[0017]根据本公开的第七方面，提供了一种训练用于时序数据的异常检测和缺失填补的模型装置，包括存储器和处理器，所述存储器与所述处理器通信耦合，所述存储器中存储有程序，所述程序当由处理器执行时，使得所述处理器执行根据第一方面所述的方法。
[0018]根据本公开的第八方面，提供了一种用于时序数据的异常检测和缺失填补的装
置，包括存储器和处理器，所述存储器与所述处理器通信耦合，所述存储器中存储有程序，所述程序当由处理器执行时，使得所述处理器执行根据第二方面所述的方法。
[0019]根据本公开的第九方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法。
[0020]根据本公开的第十方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现根据第二方面所述的方法。
[0021]利用本公开提出的方法和装置能够实现对多变量时序数据联合进行异常检测和缺失填补，并实现精准判定时序数据具体异常位置、自适应不定长输入、引入空间条件约束改善时序存在时空分布不一致问题、无需获取正常完整时序样本训练，有效改善MR关键参数这类时序异常检测和缺失填补的模型训练难度、准确性、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练用于时序数据的异常检测和缺失填补的模型的方法，包括：获取用户的时序数据，其中，所述时序数据包括异常的参数和缺失的参数；对时序数据进行预处理，以得到经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，其中，所述第一标记矩阵被配置为标记时序数据中的异常的参数和缺失的参数的位置，所述第二标记矩阵被配置为标记经预处理的时序数据的中的异常的参数和缺失的参数的位置，所述区域标签被配置为标记用户所位于的区域；以及基于经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，对模型进行训练。2.根据权利要求1所述的方法，其中，所述模型为对抗生成插补网络，包括生成器和判别器，所述生成器被配置为输入经预处理的时序数据、第一标记矩阵和区域标签并输出第一数值矩阵，所述第一数值矩阵包括用于填补异常的参数和缺失的参数的正常值，所述判别器被配置为输入时序数据、第二标记矩阵和区域标签并输出概率矩阵，所述概率矩阵包括时序数据中的参数为异常参数的概率。3.根据权利要求2所述的方法，其中，对对抗生成插补网络进行训练包括将利用由所述生成器输出的第一数值矩阵进行填补的时序数据输入到所述判别器。4.根据权利要求2所述的方法，其中，所述判别器输出的概率矩阵考虑区域约束，所述生成器输出的第一数值矩阵考虑区域约束，并且所述生成器还被配置为输出不考虑区域约束的第二数值矩阵，以用于所述生成器的训练。5.根据权利要求1所述的方法，其中，对所述时序数据进行预处理包括：将时序数据按照用户所位于的区域进行分组；对组内的时序数据中的缺失的参数进行预估，并将预估得到的参数填补到对应的缺失的参数的位置；以及识别所述经预处理的时序数据中的异常的参数。6.根据权利要求1所述的方法，其中，在所述第一标记矩阵中，异常的参数和缺失的参数对应的位置被标记为第一值，正常的参数对应的位置被标记为第二值；并且在所述第二标记矩阵中，异常的参数对应的位置被标记为第三值，缺失的参数对应的位置被随机标记为第三值或第四值，正常的参数对应的位置被随机标记为第四值或第五值。7.一种用于时序数据的异常检测和缺失填补的方法，包括：利用根据权利要求1
‑
6中任一项所述的方法来训练模型；利用经训练的模型生成所述待检测时序数据中的参数为异常参数的概率；基于概率和概率阈值判断所述待检测时序数据中的参数是否为异常参数；以及将所述待检测时序数据中被判断为异常的参数和缺失的参数填补为利用经训练的模型生成的正常值。8.一种训练用于时序数据的异常检测和缺失填补的模型的装置，包括：构造模块，被配置为获取用户的时序数据，其中，所述时序数据包括异常的参数和缺失的参数；预处理模块，被配置为对时序数据进行预处理，以得到经预处理的时序数据、第一标记
矩阵、第二标记矩阵和区域标签，其中，所述第一标记矩阵被配置为标记时序数据中的异常的参数和缺失的参数的位置，所述第二标记矩阵被配置为标记经预处理的时序数据的中的异常的参数和缺失的参数的位置，所述区域标签被配置为标记用户所位于的区域；训练模块，被配置为基于经预处理的时序数据、第一标记矩阵、第二标记矩阵和区域标签，对模型进行训练。9.根...

【专利技术属性】
技术研发人员：原思平，郑三强，许盛宏，何忠江，王昆，王兵，武巍，宫云平，余育青，范家杰，姚彦强，许群路，郑博，罗伟华，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：