一种数据检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种数据检测方法、装置、电子设备及存储介质，涉及计算机技术领域。所述方法，包括：针对任意一个单位时间段，根据所述单位时间段对应的历史时间数据，获取所述单位时间段内的预测数据，所述历史时间数据为所述单位时间段之前预设时间段内的真实数据；基于每个所述单位时间段内的真实数据和预测数据，获取候选异常数据；根据预设的过滤规则，从所述候选异常数据中获取得到最终的异常数据。取得了数据检测结果准确性的有益效果。

【技术实现步骤摘要】
一种数据检测方法、装置、电子设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据检测方法、装置、电子设备及存储介质。
技术介绍
各行各业，各个领域，各个渠道，都需要有一系列的完整的风险控制，即风控，以保证事情向好的方向发展，以减少损失。这时候一套完备的风控系统应运而生，以解决实际在业务中的各种难题。在风控系统运行期间，监控系统可以依据报警规则通过发送报警信息给相关人员实现一种监控行为，让技术人员及时参与，防患于未然。所以预警是风控系统中应有的功能。相关技术中，风控系统中一般基于规则引擎进行监控预警。但是，规则引擎中的策略很难命中所有类型的异常数据，数据检测结果的准确性不足，而且，规则引擎的策略对数据采用硬指标报警，泛化性不够。
技术实现思路
本专利技术实施例提供一种数据检测方法、装置、电子设备及存储介质，以解决现有的风控系统等相关技术中数据检测结果准确性不足且泛化性不够的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种数据检测方法，包括：针对任意一个单位时间段，根据所述单位时间段对应的历史时间数据，获取所述单位时间段内的预测数据，所述历史时间数据为所述单位时间段之前预设时间段内的真实数据；基于每个所述单位时间段内的真实数据和预测数据，获取候选异常数据；根据预设的过滤规则，从所述候选异常数据中获取得到最终的异常数据。可选地，所述基于每个所述单位时间段内的真实数据和预测数据，获取候选异常数据的步骤，包括：基于每个所述单位时间段内的真实数据和预测数据，对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据；获取满足预设的阈值条件的初始异常数据，作为所述候选异常数据。可选地，所述基于每个所述单位时间段内的真实数据和预测数据，对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据的步骤，包括：基于每个所述单位时间段内的真实数据和预测数据，通过以下对比策略中的至少一种对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据；其中，所述比对策略包括：所述单位时间段内的数据差值的发展趋势，相对于所述单位时间段之前的预设时间段内的数据差值的发展趋势的对比策略；所述单位时间段内的数据差值，相对于所述单位时间段之前的预设时间段内的数据差值的峰值的对比策略；所述单位时间段内的数据差值，相对于所述单位时间段之前的预设时间段内的数据差值的最低值的对比策略；所述单位时间段内及其之前最近的N个单位时间段的数据差值的平均方差，相对于所述单位时间段之前的预设时间段内的数据差值的平均方差的对比策略，所述N为正整数；所述单位时间段内及其之前的近M个单位时间段的数据差值的发散程度，相对于所述单位时间段之前的预设时间段内的数据差值的发散程度的对比策略，所述M为正整数；所述数据差值为同一单位时间内的真实数据与预测数据的差值。可选地，所述获取满足预设的阈值条件的初始异常数据，作为所述候选异常数据的步骤，包括：针对每个所述初始异常数据，按照时间顺序对所述初始异常数据对应的历史时间数据、以及所述初始异常数据进行排序，得到数据序列；响应于所述数据序列满足正态分布，根据基于拉依达准则针对所述初始异常数据设置的阈值条件，获取所述候选异常数据；响应于所述数据序列不满足正态分布，根据基于局部异常因子算法设置的阈值条件，获取所述候选异常数据。可选地，所述根据历史时间数据获取每个单位时间段内的预测数据步骤，包括：针对每个所述单位时间段，获取所述单位时间段对应的历史时间数据的时间序列特征；根据所述时间序列特征，生成所述单位时间段对应的时间序列模型；基于所述时间序列模型，获取所述单位时间段内的预测数据；其中，所述时间序列特征包括周期特征、趋势特征、季节性特征、自相关特征、偏度特征、峰度特征，以及表征发散程度的非线性特征中的至少一种。第二方面，本专利技术实施例另外提供了一种数据检测装置，包括：数据预测模块，用于针对任意一个单位时间段，根据所述单位时间段对应的历史时间数据，获取所述单位时间段内的预测数据，所述历史时间数据为所述单位时间段之前预设时间段内的真实数据；候选数据获取模块，用于基于每个所述单位时间段内的真实数据和预测数据，获取候选异常数据；异常数据获取模块，用于根据预设的过滤规则，从所述候选异常数据中获取得到最终的异常数据。可选地，所述候选数据获取模块，包括：初始数据获取子模块，用于基于每个所述单位时间段内的真实数据和预测数据，对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据；候选数据获取子模块，用于获取满足预设的阈值条件的初始异常数据，作为所述候选异常数据。可选地，所述初始数据获取子模块，还用于基于每个所述单位时间段内的真实数据和预测数据，通过以下对比策略中的至少一种对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据；其中，所述比对策略包括：所述单位时间段内的数据差值的发展趋势，相对于所述单位时间段之前的预设时间段内的数据差值的发展趋势的对比策略；所述单位时间段内的数据差值，相对于所述单位时间段之前的预设时间段内的数据差值的峰值的对比策略；所述单位时间段内的数据差值，相对于所述单位时间段之前的预设时间段内的数据差值的最低值的对比策略；所述单位时间段内及其之前最近的N个单位时间段的数据差值的平均方差，相对于所述单位时间段之前的预设时间段内的数据差值的平均方差的对比策略，所述N为正整数；所述单位时间段内及其之前的近M个单位时间段的数据差值的发散程度，相对于所述单位时间段之前的预设时间段内的数据差值的发散程度的对比策略，所述M为正整数；所述数据差值为同一单位时间内的真实数据与预测数据的差值。可选地，所述候选数据获取子模块，具体用于：针对每个所述初始异常数据，按照时间顺序对所述初始异常数据对应的历史时间数据、以及所述初始异常数据进行排序，得到数据序列；响应于所述数据序列满足正态分布，根据基于拉依达准则针对所述初始异常数据设置的阈值条件，获取所述候选异常数据；响应于所述数据序列不满足正态分布，根据基于局部异常因子算法设置的阈值条件，获取所述候选异常数据。可选地，所述数据预测模块，包括：数据特征获取子模块，用于针对每个所述单位时间段，获取所述单位时间段对应的历史时间数据的时间序列特征；时间序列模型构建子模块，用于根据所述时间序列特征，生成所述单位时间段对应的时间序列模型；数据预测子模块，用于基于所述时间序列模型，获取所述单位时间段内的预测数据；其中，所述时间序列特征包括周期特征、趋势特征、季节性特征、自相关特征、偏度特征、峰度特征，以及表征发散程度的非线性特征中的至少一种。第三方面，本专利技术实施例另外提供了一种本文档来自技高网...

【技术保护点】
1.一种数据检测方法，其特征在于，包括：/n针对任意一个单位时间段，根据所述单位时间段对应的历史时间数据，获取所述单位时间段内的预测数据，所述历史时间数据为所述单位时间段之前预设时间段内的真实数据；/n基于每个所述单位时间段内的真实数据和预测数据，获取候选异常数据；/n根据预设的过滤规则，从所述候选异常数据中获取得到最终的异常数据。/n

【技术特征摘要】
1.一种数据检测方法，其特征在于，包括：
针对任意一个单位时间段，根据所述单位时间段对应的历史时间数据，获取所述单位时间段内的预测数据，所述历史时间数据为所述单位时间段之前预设时间段内的真实数据；
基于每个所述单位时间段内的真实数据和预测数据，获取候选异常数据；
根据预设的过滤规则，从所述候选异常数据中获取得到最终的异常数据。


2.根据权利要求1所述的方法，其特征在于，所述基于每个所述单位时间段内的真实数据和预测数据，获取候选异常数据的步骤，包括：
基于每个所述单位时间段内的真实数据和预测数据，对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据；
获取满足预设的阈值条件的初始异常数据，作为所述候选异常数据。


3.根据权利要求2所述的方法，其特征在于，所述基于每个所述单位时间段内的真实数据和预测数据，对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据的步骤，包括：
基于每个所述单位时间段内的真实数据和预测数据，通过以下对比策略中的至少一种对每个所述单位时间段内的真实数据进行异常检测，获取初始异常数据；
其中，所述比对策略包括：
所述单位时间段内的数据差值的发展趋势，相对于所述单位时间段之前的预设时间段内的数据差值的发展趋势的对比策略；
所述单位时间段内的数据差值，相对于所述单位时间段之前的预设时间段内的数据差值的峰值的对比策略；
所述单位时间段内的数据差值，相对于所述单位时间段之前的预设时间段内的数据差值的最低值的对比策略；
所述单位时间段内及其之前最近的N个单位时间段的数据差值的平均方差，相对于所述单位时间段之前的预设时间段内的数据差值的平均方差的对比策略，所述N为正整数；
所述单位时间段内及其之前的近M个单位时间段的数据差值的发散程度，相对于所述单位时间段之前的预设时间段内的数据差值的发散程度的对比策略，所述M为正整数；
所述数据差值为同一单位时间内的真实数据与预测数据的差值。


4.根据权利要求2或3所述的方法，其特征在于，所述获取满足预设的阈值条件的初始异常数据，作为所述候选异常数据的步骤，包括：
针对每个所述初始异常数据，按照时间顺序对所述初始异常数据对应的历史时间数据、以及所述初始异常数据进行排序，得到数据序列；
响应于所述数据序列满足正态分布，根据基于拉依达准则针对所述初始异常数据设置的阈值条件，获取所述候选异常数据；
响应于所述数据序列不满足正态分布，根据基于局部异常因子算法设置的阈值条件，获取所述候选异常数据。


5.根据权利要求1所述的方法，其特征在于，所述根据历史时间数据获取每个单位时间段内的预测数据步骤，包括：
针对每个所述单位时间段，获取所述单位时间段对应的历史时间数据的时间序列特征；
根据所述时间序列特征，生成所述单位时间段对应的时间序列模型；
基于所述时间序列模型，获取所述单位时间段内的预测数据；
其中，所述时间序列特征包括周期特征、趋势特征、季节性特征、自相关特征、偏度特征、峰度特征，以及表征发散程度的非线性特征中的至少一种。


6.一种数据检测装置，其特征在于，包括：
数据预测模块，用于针对任意一个单位时间段，根据所述单位时间段对应的历史时间数据，获取所述单位时间段内的预测数据，所述历...

【专利技术属性】
技术研发人员：庄伟，史忠伟，
申请(专利权)人：五八有限公司，
类型：发明
国别省市：天津;12