【技术实现步骤摘要】
本专利技术属于数据处理，具体的说是一种大数据系统数据采集任务智能优化方法及系统。
技术介绍
1、当前，数据采集面临的主要挑战包括数据源的广泛分布、数据类型的多样化以及对实时性和效率的高要求。尽管市场上存在多种数据采集方案和etl（extract,transform, load）工具，这些工具允许用户手动编排采集任务并通过调度执行来完成数据采集。然而，这些工具通常需要人工分析和编排任务之间的依赖关系，缺乏自动化的智能分析工具来识别并行执行的机会，导致执行效率不高。
2、现有的数据采集技术主要依赖于手动编排和调度任务，这些任务可能包括数据的提取、转换和加载。虽然一些etl工具提供了并行执行的功能，以提高执行效率，但这些功能通常需要用户具备深入的技术知识和手动配置能力。
3、如授权公告号为cn117272838b的中国专利公开了一种政务大数据平台数据采集优化方法。一种政务大数据平台数据采集优化方法，包括：获取采集节点ci和采集节点ci对应的cpu计算力qi；设置采集任务tj和采集任务tj对应的采集任务数据量nj；基于采...
【技术保护点】
1.一种大数据系统数据采集任务智能优化方法，其特征在于，包括：
2.如权利要求1所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述分析和收集每个数据采集任务的节点集合，包括：
3.如权利要求1所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述分析所述节点集合中每一个节点的输入数据和输出数据的特征，包括：
4.如权利要求2所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述分析节点之间的依赖关系，构建节点之间的依赖矩阵，包括：
5.如权利要求4所述的一种大数据系统数据采集任务智能优化方法，...
【技术特征摘要】
1.一种大数据系统数据采集任务智能优化方法，其特征在于，包括：
2.如权利要求1所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述分析和收集每个数据采集任务的节点集合，包括：
3.如权利要求1所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述分析所述节点集合中每一个节点的输入数据和输出数据的特征，包括：
4.如权利要求2所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述分析节点之间的依赖关系，构建节点之间的依赖矩阵，包括：
5.如权利要求4所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述识别出可优化的节点配置信息，以及节点之间潜在的并行执行集合和顺行执行集合，包括：
6.如权利要求2所述的一种大数据系统数据采集任务智能优化方法，其特征在于，所述重新排序优化采集任务的配置执行顺序，包括：
7.一种大数据系统数据采集任务智能优化...
【专利技术属性】
技术研发人员：葛俊海，贾伟，胡亮，韦文，
申请(专利权)人：南京先维信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。