System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及机器学习与数据流分析领域,具体涉及一种基于决策树的多源数据流实时分析处理方法。
技术介绍
1、随着大数据时代的到来,我们面临着海量、多源的数据,如何从这些数据中提取有用的信息成为了一个重要的问题。多源数据融合技术应运而生,它可以将来自不同数据源的信息进行整合和利用,从而提高数据分析和决策的准确性和效率,来自不同数据源的信息进行整合和利用时,其数据分析和决策的准确性和效率存在不稳定以及适用范围固定等问题。
技术实现思路
1、针对现有技术的不足,本专利技术提供了一种基于决策树的多源数据流实时分析处理方法,通过决策树根叶结点与分布式架构思路结合,快速有效分类验证多源数据流的实时输出结果。
2、为实现上述目的,本专利技术提供了一种基于决策树的多源数据流实时分析处理方法,包括:
3、s1、利用多源数据流进行标准化预处理得到多源数据流的标准化预处理结果;
4、s2、根据所述多源数据流的标准化预处理结果建立多源数据流的标准化数据库;
5、s3、利用所述多源数据流的标准化数据库基于决策树建立数据摘要结构分析模型;
6、s4、利用所述数据摘要结构分析模型得到多源数据流实时分析处理结果。
7、优选的,利用多源数据流进行标准化预处理得到多源数据流的标准化预处理结果包括:
8、s1-1、根据所述多源数据流获取对应数据类型作为多源数据流的数据流标签;
9、s1-2、判断所述多源数据流对应数据是否存在
10、s1-3、利用所述多源数据流的数据流标签与数据流次级标签作为多源数据流的标准化预处理结果;
11、其中,所述数据类型包括字节数据流与字符数据流,所述时序差为多源数据流中各数据的时间差。
12、优选的,根据所述多源数据流的标准化预处理结果建立多源数据流的标准化数据库包括:
13、s2-1、利用所述多源数据流的标准化预处理结果获取多源数据流的标准化数据特征;
14、s2-2、利用所述多源数据流的标准化预处理结果与标准化数据特征建立多源数据流的标准化数据库。
15、进一步的,利用所述多源数据流的标准化预处理结果获取多源数据流的标准化数据特征包括:
16、s2-1-1、获取多源数据流对应实施状态与数据流类型;
17、s2-1-2、根据所述数据流类型获取多源数据流的历史索引存储地址与数据流时间序列;
18、s2-1-3、利用所述多源数据流的实施状态与数据流时间序列分别划分多源数据流的标准化实时特征与标准化持续特征;
19、s2-1-4、利用所述数据流类型与历史索引存储地址建立次序性映射作为多源数据流的标准化多级辅助特征;
20、s2-1-5、利用所述多源数据流的标准化实时特征、标准化持续特征与标准化多级辅助特征作为多源数据流的标准化数据特征;
21、其中,所述多源数据流对应实施状态包括数据并行与任务并行。
22、进一步的,利用所述多源数据流的标准化预处理结果与标准化数据特征建立多源数据流的标准化数据库包括:
23、s2-2-1、利用所述多源数据流的标准化预处理结果对应数据流标签与数据流次级标签分别建立多源数据流的首要标签库与次要标签库;
24、s2-2-2、利用所述多源数据流的首要标签库与次要标签库对应建立双向映射得到多源数据流的数据标签库;
25、s2-2-3、利用所述标准化数据特征的标准化实时特征建立数据标签库的输入比对模板;
26、s2-2-4、利用所述标准化数据特征的标准化持续特征建立数据标签库的内部校对模板;
27、s2-2-5、利用所述标准化数据特征的标准化多级辅助特征建立数据标签库的输出验证标签;
28、s2-2-6、利用所述多源数据流的数据标签库、数据标签库的输入比对模板、标签库的内部校对模板与数据标签库的输出验证标签作为多源数据流的标准化数据库。
29、进一步的,利用所述多源数据流的标准化数据库基于决策树建立数据摘要结构分析模型包括:
30、s3-1、利用所述多源数据流的标准化数据库基于决策树建立多源数据流的初始拓扑分布模型;
31、s3-2、利用所述多源数据流的标准化数据库根据多源数据流建立多源数据流的数据流特征;
32、s3-3、利用所述多源数据流的初始拓扑分布模型与数据流特征作为数据摘要结构分析模型。
33、进一步的,利用所述多源数据流的标准化数据库基于决策树建立多源数据流的初始拓扑分布模型包括:
34、s3-1-1、利用当前时刻作为多源数据流的连续起始时刻t;
35、s3-1-2、根据所述多源数据流的标准化数据库输出连续起始时刻t的数据标签库数据;
36、s3-1-3、根据所述数据标签库数据获取对应时刻作为输出时刻序列;
37、s3-1-4、利用所述输出时刻序列根据多源数据流的标准化数据库获取连续起始时刻t的输入比对模板、标签库的内部校对模板与数据标签库的输出验证标签;
38、s3-1-5、利用所述连续起始时刻t的数据标签库数据作为训练集;
39、s3-1-6、利用所述训练集为输入,所述训练集的数据标签库数据对应输入比对模板与输出验证标签作为输出,所述多源数据流作为根节点,所述多源数据流对应流经节点作为叶节点,基于决策树进行训练得到多源数据流的数据流向模型;
40、s3-1-7、判断所述多源数据流的数据流向模型与数据标签库的内部校对模板是否对应,若是,则利用多源数据流的数据流向模型的模型架构节点建立多源数据流的初始拓扑分布模型,否则,利用所述内部校对模板与对应数据标签库数据更新训练集,并返回s3-1-6。
41、进一步的,利用所述多源数据流的标准化数据库根据多源数据流建立多源数据流的数据流特征包括:
42、s3-2-1、利用所述多源数据流的初始拓扑分布模型对应完成建立时刻作为特征起始时刻;
43、s3-2-2、获取特征起始时刻多源数据流的初始拓扑分布模型对应非起始节点;
44、s3-2-3、判断所述非起始节点对应流转数据类型与标准化预处理结果的数据流标签是否对应一致,若是,则执行s3-2-4,否则,利用所述非起始节点对应流转数据类型更新标准化预处理结果的数据流标签,并返回s1-1;
45、s3-2-4、判断所述非起始节点对应节点链接关系与标准化预处理结果的数据流次级标签是否对应一致,若是,则利用所述非起始节点对应流转数据类型作为非起始节点的数据流特征,否则,放弃处理;
46、s3-2-5、判断所述多源数据流的源头数据量与对应非起始节点的总数据量是否一致,若是,则利用所述多本文档来自技高网...
【技术保护点】
1.一种基于决策树的多源数据流实时分析处理方法,其特征在于,包括:
2.如权利要求1所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用多源数据流进行标准化预处理得到多源数据流的标准化预处理结果包括:
3.如权利要求1所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,根据所述多源数据流的标准化预处理结果建立多源数据流的标准化数据库包括:
4.如权利要求3所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述多源数据流的标准化预处理结果获取多源数据流的标准化数据特征包括:
5.如权利要求4所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述多源数据流的标准化预处理结果与标准化数据特征建立多源数据流的标准化数据库包括:
6.如权利要求5所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述多源数据流的标准化数据库基于决策树建立数据摘要结构分析模型包括:
7.如权利要求6所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述
8.如权利要求7所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述多源数据流的标准化数据库根据多源数据流建立多源数据流的数据流特征包括:
9.如权利要求8所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述数据摘要结构分析模型得到多源数据流实时分析处理结果包括:
10.如权利要求9所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述初始拓扑分布模型进行模型架构更新处理包括:
...【技术特征摘要】
1.一种基于决策树的多源数据流实时分析处理方法,其特征在于,包括:
2.如权利要求1所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用多源数据流进行标准化预处理得到多源数据流的标准化预处理结果包括:
3.如权利要求1所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,根据所述多源数据流的标准化预处理结果建立多源数据流的标准化数据库包括:
4.如权利要求3所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述多源数据流的标准化预处理结果获取多源数据流的标准化数据特征包括:
5.如权利要求4所述的一种基于决策树的多源数据流实时分析处理方法,其特征在于,利用所述多源数据流的标准化预处理结果与标准化数据特征建立多源数据流的标准化数据库包括:
6.如权利要求5所述的一...
【专利技术属性】
技术研发人员:赵志庆,张昊,余毛猛,靳学庚,侯玉柱,赵文莹,
申请(专利权)人:戎行技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。