基于任务分层规划的产业链大数据架构及任务执行方法技术

技术编号:39987947 阅读:37 留言:0更新日期:2024-01-09 02:02
本发明专利技术涉及工业大数据技术领域,公开了基于任务分层规划的产业链大数据架构及任务执行方法,包括工业大数据分析域、工业大数据引擎域、工业大数据资源域;所述的工业大数据分析域用于根据共同特征将数据处理任务分为若干个不同子任务;所述的工业大数据引擎域包括设有分层指派算法的map‑reduce引擎;map‑reduce引擎用于在资源集群中指派计算单元给子任务;所述的工业大数据资源域包括大数据存储模块、信息系统模块;所述的大数据存储模块用于存储工业大数据,所述的信息系统模块存储有资源集群。本发明专利技术解决了现有技术存在的系统性能上限不足,无法保持性能的问题,且具有高效全面的特点。

【技术实现步骤摘要】

本专利技术涉及工业大数据领域,更具体的,涉及基于任务分层规划的产业链大数据架构及任务执行方法


技术介绍

1、在全球工业4.0和我国工业5.0规划布局中,对工业大数据的高效管理和应用均为其重要的核心功能。工业大数据是指工业设备高速生成的大量时间序列数据,包括工业领域中围绕典型智能制造模式,从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用。配合工业互联网技术,工业大数据可进一步通过人工智能技术提供管理上的决策,从而降低企业生成维护成本以提供更好的服务。工业大数据的数据类型和数据内容提供了众多有价值的信息,通过设计数据评估算法,可以实现包括最终用户偏好、反欺诈预警以及关联数的据综合统计分析等。

2、与其他行业产生的传统大数据类似,工业大数据由于其数据规律和特点,也具备5v特性(数据量大volume,多样variety,快速velocity,可变性variability,准确性veracity),同时也具有两个额外的特性:(本文档来自技高网...

【技术保护点】

1.基于任务分层规划的产业链大数据架构,其特征在于:包括工业大数据分析域、工业大数据引擎域、工业大数据资源域;

2.根据权利要求1所述的基于任务分层规划的产业链大数据架构,其特征在于:所述的分析模块使用map-reduce引擎的基础架构层的资源来加速计算和访问数据,实现实时工业大数据分析和管理。

3.根据权利要求1所述的基于任务分层规划的产业链大数据架构,其特征在于:工业大数据引擎域可通过应用Hadoop,Storm和Spark数据架构中的功能模块为大数据分析提供加速支持。

4.根据权利要求1所述的基于任务分层规划的产业链大数据架构,其特征在于:所述的...

【技术特征摘要】

1.基于任务分层规划的产业链大数据架构,其特征在于:包括工业大数据分析域、工业大数据引擎域、工业大数据资源域;

2.根据权利要求1所述的基于任务分层规划的产业链大数据架构,其特征在于:所述的分析模块使用map-reduce引擎的基础架构层的资源来加速计算和访问数据,实现实时工业大数据分析和管理。

3.根据权利要求1所述的基于任务分层规划的产业链大数据架构,其特征在于:工业大数据引擎域可通过应用hadoop,storm和spark数据架构中的功能模块为大数据分析提供加速支持。

4.根据权利要求1所述的基于任务分层规划的产业链大数据架构,其特征在于:所述的设有分层指派算法的map-reduce引擎由映射函数map、化简函数reduce、分层指派映射函数assign_map、指派规约操作reduce_assign组成:

5.根据权利要求1所述的基于任务分层规划的产业链大数据架构,其特征在于:所述的工业大数据资源域还包括数据源集群;所述的数据源集群具体为存储在standalone、yarn和mesos数据源集群中的低级数据资源。

6.根据权利要求1所...

【专利技术属性】
技术研发人员:刘冬宁王洋
申请(专利权)人:广东工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1