一种基于Hadoop的企业级实时生产数据分析系统技术方案

本发明专利技术公开了一种基于Hadoop的企业级实时生产数据分析系统；S1、生产设备和控制系统实现对数据信息进行输入；S2、数据信息的存储以及查询；S3、数据信息的处理和分析；S4、深度学习模式，实现对信息处理算法进行学习；S5、数据信息分析显示、警示和存储；本发明专利技术基于Hadoop技术框架，采用大数据存储技术，支持并行计算基础架构，具备大数据存储访问及分布式计算任务调度的能力，采用分布式搜索引擎技术，具备数据库同步技术和ETL技术，采用机器学习和人工智能技术对数据进行数据标准化、结构化等处理，基于语义分析技术构建疾病知识图谱，以及能够实现对数据信息传输处理，保证数据的精准度。据的精准度。据的精准度。

【技术实现步骤摘要】
一种基于Hadoop的企业级实时生产数据分析系统


[0001]本专利技术属于数据分析系统
，具体涉及一种基于Hadoop的企业级 实时生产数据分析系统。

技术介绍

[0002]数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将 它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作 用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括 总结的过程，数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信 息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据 分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地 收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支 持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的 各个过程都需要适当运用数据分析过程，以提升有效性，然而市面上各种的 生产数据分析系统仍存在各种各样的问题。
[0003]如授权公告号为CN102880503B所公开的数据分析系统及数据分析方法， 其虽然实现了由于在数据分析系统的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Hadoop的企业级实时生产数据分析系统，其特征在于，包括有以下方法步骤：S1、生产设备和控制系统实现对数据信息进行输入：通过在生产设备的上的各种检测设备以及控制系统的输送设备实现将数据信息输入到控制系统的存储模块中；S2、数据信息的存储以及查询：存储模块是基于Hadoop技术框架的分布式存储模块，通过分布式存储模块实现对输入的数据信息进行存储，并且分布式存储模块采用分布式搜索引擎技术，实现数据的快速查询及调阅，支持不同平台的应用，进行平台范围数据检索的响应速度在5秒以内；S3、数据信息的处理和分析：Hadoop技术框架具备数据库同步技术和ETL技术，在不影响原始生产业务数据库的情况下，对数据进行抽取、同步、汇集，实现针对多源异构数据的采集和汇聚，然后实现对数据信息进行实时分析；S4、深度学习模式，实现对信息处理算法进行学习：采用机器学习和人工智能技术对数据进行数据标准化、结构化处理，基于语义分析技术构建分析数据图谱；S5、数据信息分析显示、警示和存储：在数据信息进行分析之后，将数据信息分析的数据图谱进行显示，并且根据设定的阀值实现对数据信息的进行警报处理，然后再采用分布式存储模块实现对分析数据信息进行存储。2.根据权利要求1所述的一种基于Hadoop的企业级实时生产数据分析系统，其特征在于：所述S1中的检测设备包括有生产数据采集和传感器检测设备，所述检测设备在进行传输数据信息的时候采用无线通讯方式进行传输，减少线缆的排布，并且所述生产数据采集用于实现对机械设备的运行状态和生产量进行采集，所述传感器检测设备用于实现对生产过程中的各项参数进行采集，所述数据信息输入用于实现对生产的各项数据信息进行输入。3.根据权利要求1所述的一种基于Hadoop的企业级实时生产数据分析系统，其特征在于：所述S1中的控制系统中包括有处理模块，所述处理模块中包括有数据收集电路、数据转换电路、数据增益电路、数据滤波电路和前置放大电路，所述数据采集电路用于实现对传输的数据信息进行接收，所述数据转换电路用于实现对数据模数转换，所述数据增益电路用于实现对数据信息进行放大处理，防止丢失，所述数据滤波电路用于实现对数据信息进行滤波处理，且所述数据滤波电路采用的是数字滤波器，所述前置放大电路用于电性连接在所述数据收集电路之前，用于实现对数据信息在接收前进行放大处理。4.根据权利要求3所述的一种基于Hadoop的企业级实时生产数据分析系统，其特征在于：所述数字滤波器采用的是算术平均滤波算法、限幅滤波算法、惯性滤波算法或者是限速滤波；所述算术平均滤波算法的计算公式如下所示：在采样周期T内，对测量信号y连续进行m次采样，并把m个采样值相加取算术平均值作为本次的有效采样值；即：Y＝(y1+y2+y3+
···
+y
m
)/m；所述限幅滤波算法的计算公式如下所示：通过比较两次相邻采样值差的绝对值和最大允差ΔY，从而得到有效采样值；即：当|Yn
‑
Yn
‑
1|≤ΔY时，表明本次采样真实，取本次采样值为有效采样值；当|Yn
‑
Yn
‑
1|>ΔY时，表明本次采样不真实，取前1次采样值为有效采样值；简易理解如下：Y＝Yn，(|Yn
‑
Yn
‑
1|≤ΔY)差距合理，此次测量有效，Y＝Yn
‑
1，(|Yn
‑
Yn
‑
1|>ΔY)差距过大，此次测量不作数；所述惯性滤波算法的计算公式如下所示：是模仿硬件RC低通滤波器的数字实现；Tf
·
[y(k)
‑
y(k
‑
1)]/T+y(k)＝x(k)，将上式整理后，得到：y(k)＝T/(T+Tf)
·
x(k)+Tf/(T+Tf)
·
y(k
‑
1)，令α＝T/(T+Tf)，亦即：y(k)＝α
·
x(k)+(1
‑
α)
·
y(k
‑
1)x(k)为第k次采样的滤波输入值，即第k次采样值；y(k
‑
1)为第k
‑
1次采样的滤波输出...

【专利技术属性】
技术研发人员：朱旨昂，阚苏立，孙祥，黄璐，龚雨桐，朱凌枫，
申请(专利权)人：南京江北新区生物医药公共服务平台有限公司，
类型：发明
国别省市：