用于大数据的数据稳定性检测方法及装置、存储介质、服务器制造方法及图纸

一种用于大数据的数据稳定性检测方法及装置、存储介质、服务器，所述方法包括：基于历史数据得到按照时间序列排布的训练数据；对所述训练数据进行拟合，以得到所述训练数据随时间的数据分布；根据实际供应数据与所述数据分布的比较结果确定所述实际供应数据是否出现异常。通过本发明专利技术技术方案，可以检测接入数据管理平台的实际供应数据的稳定性；如果检出实际供应数据出现异常，则数据管理平台能够及时预警。

【技术实现步骤摘要】
用于大数据的数据稳定性检测方法及装置、存储介质、服务器
本专利技术涉及信息处理领域，具体涉及一种用于大数据的数据稳定性检测方法及装置、存储介质、服务器。
技术介绍
随着互联网和大数据行业的飞速发展，数据管理平台(DataManagementPlatform，简称DMP)由于具备数据采集与管理、分析与应用等多项功能，已成为支撑大数据管理的基础。首先，DMP采用统一化方式吸纳整合各方数据，具备数据整合及标准化能力；其次，DMP利用数据建模、机器算法等技术，具备数据细分管理能力；再次，DMP提供功能健全的数据标签，例如人群标签管理、产品标签管理等，帮助营销取得最大化效果。DMP具有强大的数据汇聚整合能力，可以处理各种来源的数据，包括网站监测数据，软件开发工具包(SoftwareDevelopmentKit，简称SDK)监测数据、离线业务数据、结构化查询语言(StructuredQueryLanguage，简称SQL)数据、实时接口数据等。在汇聚整合过程中，数据从外部正常接入至DMP是关键步骤之一。如果外部接入的数据出现问题，那么可能导致DMP的后续分析产生偏差，进而影响营销效果。因此，对于本文档来自技高网...

【技术保护点】
一种用于大数据的数据稳定性检测方法，其特征在于，包括：基于历史数据得到按照时间序列排布的训练数据；对所述训练数据进行拟合，以得到所述训练数据随时间的数据分布；根据实际供应数据与所述数据分布的比较结果确定所述实际供应数据是否出现异常。

【技术特征摘要】
1.一种用于大数据的数据稳定性检测方法，其特征在于，包括：基于历史数据得到按照时间序列排布的训练数据；对所述训练数据进行拟合，以得到所述训练数据随时间的数据分布；根据实际供应数据与所述数据分布的比较结果确定所述实际供应数据是否出现异常。2.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述基于历史数据得到按照时间序列排布的训练数据包括：按照时间序列提取所述历史数据中的数据，以得到时间序列数据；对所述时间序列数据进行清洗，以得到所述训练数据。3.根据权利要求2所述的用于大数据的数据稳定性检测方法，其特征在于，所述对所述时间序列数据进行清洗，以得到所述训练数据包括：对所述时间序列数据进行对数变换，以得到变换后的数据；剔除所述变换后的数据中的异常数据，以得到所述训练数据。4.根据权利要求3所述的用于大数据的数据稳定性检测方法，其特征在于，所述异常数据指的是：不在(QL-1.5IQR,QU+1.5IQR)范围内的数据，其中，QL表示所述变换后的数据的下四分点，QU表示所述变换后的数据的上四分点，IQR表示所述变换后的数据的四分位距，IQR＝QU-QL。5.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述历史数据包括以下一项或多项：网站监测数据、软件开发工具包监测数据、离线业务数据、结构化查询语言数据、实时接口数据。6.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述对所述训练数据进行拟合，以得到所述训练数据随时间的数据分布包括：构建含有参数的多项式模型；基于所述训练数据，利用最小二乘法或者梯度下降法求解所述多项式模型的参数，以得到所述训练数据随时间的数据分布。7.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述根据实际供应数据与所述数据分布的比较结果确定所述实际供应数据是否出现异常包括：构造所述数据分布在预设置信度下的置信区间；如果所述实际供应数据落入所述置信区间，则判断所述实际供应数据正常，否则判断所述实际供应数据异常。8.根据权利要求7所述的用于大数据的数据稳定性检测方法，其特征在于，还包括：图形显示以下一项或多项：所述数据分布、所述数据分布在预设置信度下的置信区间、所述实际供应数据和表示所述实际供应数据异常的标识。9.一种用于大数据的数据稳定性检测装置，其特征在于，包括：训练模块，适于基于历史数据得到按照时间序列排布的训练数据；拟合模块...

【专利技术属性】
技术研发人员：汤奇峰，侯东东，
申请(专利权)人：晶赞广告上海有限公司，
类型：发明
国别省市：上海,31