一种基于Prophet-SVM模型的大数据采集系统的数据监控预警方法技术方案

本申请提供了一种基于Prophet‑SVM模型的大数据采集系统的数据监控预警方法，获取公开数据源的数据发布周期为目标数据时间间隔，首先根据目标数据时间间隔获取监测数据项历史数据的统计值，并对历史数据的统计值进行差分处理得到目标数据项序列；然后通过预先训练的Prophet‑SVM预测模型计算目标数据项监控阈值，最后根据目标数据项监控阈值，判断大数据采集系统是否存在异常并给出对应的预警方案。采用本方法能够有效监控数据采集效果，对采集过程中出现的问题及时作出反应，并提高开发人员定位错误的效率。

【技术实现步骤摘要】

本专利技术涉及数据异常监控领域，特别是涉及一种基于prophet-svm模型的大数据采集系统的数据监控预警方法。

技术介绍

1、随着大数据和物联网等技术的提出，各行各业对数据采集的发展提出了更高的要求，数据采集系统智能化是一个主要的发展趋势。数据采集系统一般通过执行代码进行自动化采集，仅仅通过代码报错来判断采集系统是否正常，往往会存在以下问题：

2、1、由于采集数据源网站域名更换，导致旧采集数据源停止更新，可能出现采集数量始终为0；

3、2、采集数据源网页结构更改，可能出现重复采集同一页面的数据；

4、针对上述存在的问题，在执行代码未报错的情况下，采集系统的采集数量可能与实际数据源公布情况不一致，造成数据缺失或数据重复的情况。因此，有必要对数据采集系统进行监控并能及时预警。

5、同时，部分数据源在特殊时间段可能会暂停公布数据或数据出现较大变动，采用传统的时间序列预测方法，难以精准捕捉这部分变化。

技术实现思路

1、基于此，有必要针对上述问题，提供一种数据采集系统本文档来自技高网...

【技术保护点】

1.一种基于Prophet-SVM模型的大数据采集系统的数据监控预警方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于Prophet-SVM模型的大数据采集系统的数据监控预警方法，其特征在于，所述Prophet-SVM模型建立方法包括：将差分处理后的目标数据项序列按照80%和20%的比例分为训练集和测试集，建立单一Prophet模型得到第一预测值以及第一预测值上下限，通过计算实际值与第一预测值之间的差值得到残差序列，将所述残差序列进行归一化，对所述归一化后的残差序列建立SVM预测模型，得到第二预测值，最后通过所述第一预测值和所述第二预测值的组合，得到最终预测值。综上...

【技术特征摘要】

1.一种基于prophet-svm模型的大数据采集系统的数据监控预警方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于prophet-svm模型的大数据采集系统的数据监控预警方法，其特征在于，所述prophet-svm模型建立方法包括：将差分处理后的目标数据项序列按照80%和20%的比例分为训练集和测试集，建立单一prophet模型得到第一预测值以及第一预测值上下限，通过计算实际值与第一预测值之间的差值得到残差序列，将所述残差序列进行归一化，对所述归一化后的残差序列建立svm预测模型，得到第二预测值，最后通过所述第一预测值和所述第二预测值的组合，得到最终预测值。综上，所述prophet-svm模型的基本形式如下：

3.如权利要求2所述的基于prophet-svm模型的大数据采集系统的数据监控预警方法，其特征在于，建立单一prophet模型的步骤包括：

4.如权利要求2所述的基于prophet-svm模型的大数据采集系统的数据监控预警方法，其特征在于，建立的svm预测模...

【专利技术属性】
技术研发人员：唐杰，徐敏，陈雨馨，江潇俊，
申请(专利权)人：浙江有数数智科技有限公司，
类型：发明
国别省市：