【技术实现步骤摘要】
本专利技术涉及数据多级实时分析领域，具体涉及一种用于多源数据的多级实时分析处理方法。
技术介绍
1、数据并非来自同一信息源，而是来自不同的来源，并被收集在一个数据集中，这种类型的数据称为多源数据，总体来说多源数据就是取自多个端口的数据集合，对于多源数据的常用环境或节点经常需要多源数据的快速分析验证，但由于硬件等因素，现有方法无法完全做到随时根据数据环境进行快速适应性调整。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种用于多源数据的多级实时分析处理方法，提升了多源数据的准确高效输出，对多源数据通过智能化处理，多级结合处理，保证优化调度稳定操作的同时，快速自调整以适应方案实施场景。
2、为实现上述目的，本专利技术提供了一种用于多源数据的多级实时分析处理方法，包括：
3、s1、利用实时多源数据建立历史多源数据特征；
4、s1-1、获取实时多源数据与实时多源数据的多源关联性数据；
5、s1-2、根据所述实时多源数据获取对应历史多源数据集合；
6、s1-3、利用所述多源关联性数据对历史多源数据集合进行筛选处理得到历史多源数据集合的筛选处理结果；
7、s1-4、利用所述筛选处理结果作为历史多源数据特征；
8、s2、利用所述历史多源数据特征基于神经网络建立多源数据一致性多级分类模型；
9、s3、根据所述实时多源数据与多源数据一致性多级分类模型获取多源数据一致性综合比对结果；
11、s3-2、利用所述多源数据一致性多级分类结果对实时多源数据进行特征比对处理得到实时多源数据的特征比对处理结果；
12、s3-3、利用所述多源数据一致性多级分类结果对多源数据一致性多级分类模型进行过拟合验证处理得到多源数据一致性多级分类模型的过拟合验证处理结果；
13、s3-4、利用所述特征比对处理结果与过拟合验证处理结果作为多源数据一致性综合比对结果；
14、s4、利用所述多源数据一致性综合比对结果得到多源数据优化调度处理结果。
15、优选的，利用所述多源关联性数据对历史多源数据集合进行筛选处理得到历史多源数据集合的筛选处理结果包括：
16、s1-3-1、根据所述历史多源数据集合获取历史多源数据的多源关联性数据；
17、s1-3-2、依次判断所述历史多源数据集合中各子集对应多源关联性数据与实时多源数据的多源关联性数据是否一致，若是，则获取历史多源数据集合的对应子集建立首要数据集合，否则，利用历史多源数据集合的非对应子集建立次要数据集合；
18、s1-3-3、利用所述首要数据集合与次要数据集合作为历史多源数据集合的筛选处理结果。
19、优选的，利用所述历史多源数据特征基于神经网络建立多源数据一致性多级分类模型包括：
20、s2-1、利用所述历史多源数据特征对应首要数据集合划分正向数据训练集与正向数据验证集；
21、s2-2、利用所述正向数据训练集与正向数据验证集分别建立正向多源关联性数据训练集与正向多源关联性数据验证集；
22、s2-3、利用所述正向数据训练集与正向多源关联性数据训练集作为输入，以状态正常作为输出，所述正向多源关联性数据训练集对应多源关联性数据种类建立隐含层数量，基于神经网络算法进行训练得到基础正向输出模型；
23、s2-4、利用所述正向数据验证集与正向多源关联性数据验证集输入基础正向输出模型得到基础正向输出模型的验证结果；
24、s2-5、判断所述基础正向输出模型的验证结果是否全部为正常，若是，则保留当前基础正向输出模型，否则，获取验证结果不为正常的正向数据验证集与正向多源关联性数据训练集分别加入正向数据训练集与正向多源关联性数据训练集，并返回s2-3；
25、s2-6、利用所述历史多源数据特征对应次要数据集合划分负向数据训练集与负向数据验证集；
26、s2-7、利用所述负向数据训练集与负向数据验证集分别建立负向多源关联性数据训练集与负向多源关联性数据验证集；
27、s2-8、利用所述负向数据训练集与负向多源关联性数据训练集作为输入，以状态异常作为输出，所述负向多源关联性数据训练集对应多源关联性数据种类建立隐含层数量，基于神经网络算法进行训练得到基础负向输出模型；
28、s2-9、利用所述负向数据验证集与负向多源关联性数据验证集输入基础负向输出模型得到基础负向输出模型的验证结果；
29、s2-10、判断所述基础负向输出模型的验证结果是否全部为异常，若是，则保留当前基础负向输出模型，否则，获取验证结果不为异常的负向数据验证集与负向多源关联性数据验证集分别加入负向数据训练集与负向多源关联性数据训练集，并返回s2-8；
30、s2-11、利用所述基础正向输出模型与基础负向输出模型合并作为多源数据一致性多级分类模型；
31、其中，所述正向数据训练集为首要数据集合的80%子集，正向数据验证集为首要数据集合的20%子集，负向数据训练集为次要数据集合的80%子集，负向数据验证集为次要数据集合的20%子集。
32、优选的，利用所述多源数据一致性多级分类结果对实时多源数据进行特征比对处理得到实时多源数据的特征比对处理结果包括：
33、获取所述实时多源数据的多源关联性数据；
34、根据所述多源关联性数据建立相同多源关联性数据的历史多源数据集合；
35、判断相同多源关联性数据的历史多源数据集合中各子集对应状态是否全部一致，若是，则利用所述相同多源关联性数据的历史多源数据集合中各子集对应状态作为独立比对状态，否则，获取相同多源关联性数据的历史多源数据集合中各子集对应状态的相对高比例类型作为独立比对状态；
36、判断所述独立比对状态与多源数据一致性多级分类结果是否一致，若是，则输出当前多源数据一致性多级分类结果作为实时多源数据的特征比对处理结果，否则，利用所述独立比对状态对应实时多源数据与实时多源数据的多源关联性数据加入对应训练集，并返回s2-1；
37、其中，所述独立比对状态包括实时多源数据的状态正常或状态异常。
38、进一步的，利用所述多源数据一致性多级分类结果对多源数据一致性多级分类模型进行过拟合验证处理得到多源数据一致性多级分类模型的过拟合验证处理结果包括：
39、s3-3-1、判断多源数据一致性多级分类模型的重复训练次数是否大于实时多源数据对应多源关联性数据的数据类型数量，若是，则所述多源数据一致性多级分类模型的过拟合验证处理结果为存在过拟合，否则，执行s3-3-2；
40、s3-3-2、判断所述多源数据一致性多级分类结果对应正向数据训练集的子集数量与负向数据训练集的子集数本文档来自技高网...
【技术保护点】
1.一种用于多源数据的多级实时分析处理方法，其特征在于，包括：
2.如权利要求1所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述多源关联性数据对历史多源数据集合进行筛选处理得到历史多源数据集合的筛选处理结果包括：
3.如权利要求1所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述历史多源数据特征基于神经网络建立多源数据一致性多级分类模型包括：
4.如权利要求1所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述多源数据一致性多级分类结果对实时多源数据进行特征比对处理得到实时多源数据的特征比对处理结果包括：
5.如权利要求4所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述多源数据一致性多级分类结果对多源数据一致性多级分类模型进行过拟合验证处理得到多源数据一致性多级分类模型的过拟合验证处理结果包括：
6.如权利要求1所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述多源数据一致性综合比对结果得到多源数据优化调度处理结果包括：
7.如
8.如权利要求7所述的一种用于多源数据的多级实时分析处理方法，其特征在于，根据所述多源数据一致性综合比对结果的过拟合验证处理结果进行多源数据优化处理得到多源数据优化处理结果包括：
...【技术特征摘要】
1.一种用于多源数据的多级实时分析处理方法，其特征在于，包括：
2.如权利要求1所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述多源关联性数据对历史多源数据集合进行筛选处理得到历史多源数据集合的筛选处理结果包括：
3.如权利要求1所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述历史多源数据特征基于神经网络建立多源数据一致性多级分类模型包括：
4.如权利要求1所述的一种用于多源数据的多级实时分析处理方法，其特征在于，利用所述多源数据一致性多级分类结果对实时多源数据进行特征比对处理得到实时多源数据的特征比对处理结果包括：
5.如权利要求4所述的一种用于多源数据的多级实时分析处理方法，其特征在...
【专利技术属性】
技术研发人员：赵志庆，余毛猛，张雨铭威，侯玉柱，刘志雨，张赛男，
申请(专利权)人：戎行技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。