一种大数据一体化管理系统技术方案

本申请提供一种大数据一体化管理系统，大数据基础模块，用于获取工业领域的多样异构的数据，并进行数据库存储、文件系统存储；数据计算分析模块，基于深度学习建模、AI视觉模型、或工业数据建模，对所述多样异构的数据进行批量分析计算和调度；数据治理模块，基于预设数据质检规则、数据质量和标准，进行设备元数据管理、数据标签管理、标识标准管理；数据存储处理模块，对所述数据治理模块的输出数据，依据设备编码工具、标识编码工具或工业数据模型模板进行多类型数据源管理；数据服务模块，实现数据门户、内容管理、数据集市、模型发布、应用支撑主题域、数据沙箱。本申请高性能、敏捷高效地支持跨行业、跨领域、多样化的场景需求。多样化的场景需求。多样化的场景需求。

【技术实现步骤摘要】
一种大数据一体化管理系统


[0001]本申请涉及大数据
，尤其涉及一种大数据一体化管理系统。

技术介绍

[0002]随着物联网与工业融合创新，智能制造时代的到来，各种工业设备所产生的工业大数据技术及应用将成为未来提升制造业生产力、竞争力、创新能力的关键要素，是驱动产品智能化、生产过程智能化、管理智能化、服务智能化、新业态新模式，支撑制造业转型和构建开放、共享、协作的智能制造产业生态的重要基础。
[0003]现有的工业云平台在构建通用云平台方面发挥重要作用，并且已经在很多商业项目中投入实际应用。但由于工业领域相对于其它领域存在着很大的特殊性，特别是添加健康监测系统之后，改变了传统企业供产销的管理模式，比如数据采集协议的复杂性和多样性、工业领域行业应用和数据分析的专业性和定制性，以及其对于数据安全性、稳定性的要求，都使得市场上绝大多数的云平台产品难以满足工业领域实际需求。
[0004]基于上述，针对工业设备大数据多源异构的特点，现有工业云平台存在扩展性差、不够灵活的问题，不便于管理，维护成本较高。

技术实现思路

[0005]有鉴于此，本申请的目的在于提出一种大数据一体化管理系统，本申请能够针对性的解决现有的问题。
[0006]基于上述目的，本申请还提出了一种大数据一体化管理系统，包括：
[0007]大数据基础模块，用于获取工业领域的多样异构的数据，并进行数据库存储、文件系统存储；
[0008]数据计算分析模块，基于深度学习建模、AI视觉模型、或工业数据建模，对所述多样异构的数据进行批量分析计算和调度；
[0009]数据治理模块，对所述批量分析计算和调度的结果，基于预设数据质检规则、数据质量和标准，进行设备元数据管理、数据标签管理、标识标准管理；
[0010]数据存储处理模块，对所述数据治理模块的输出数据，依据设备编码工具、标识编码工具或工业数据模型模板进行多类型数据源管理；
[0011]数据服务模块，与大数据基础模块、数据计算分析模块、数据治理模块、数据存储处理模块进行交互，实现数据门户、内容管理、数据集市、模型发布、应用支撑主题域、数据沙箱。
[0012]进一步地，所述大数据基础模块，包括以下步骤：
[0013]从数据源接收工业领域的多样异构的数据；
[0014]确定所述数据是否匹配包括商业标识号的多源文件，该多源文件包含在数据库中；
[0015]当所述数据匹配所述多源文件时，将所述数据添加到所述多源文件；和
[0016]当所述数据不匹配所述多源文件时，确定所述数据是否匹配包含在数据存储库内的单一源文件。
[0017]进一步地，所述大数据基础模块还可以包括以下功能：
[0018]应用多源规则来确定所述数据是否有资格作为验证源；
[0019]当所述数据有资格作为验证源时，通过将所述数据添加到所述单一源文件来创建第二多源文件；
[0020]将所述第二多源文件从所述数据存储库移动到所述数据库；
[0021]当所述数据不符合验证源的条件时，使用所述数据创建第二个单一来源文件；
[0022]将所述第二个单一来源文件存储在所述数据储存库中。
[0023]进一步地，所述数据计算分析模块，包括以下单元：
[0024]深度学习建模单元，对所述多样异构的数据进行至少包括去停用词的预处理，对预处理后的数据采用基于词表的分词方式进行分词，计算出分词后的文本数据的词向量并作为数据特征，对得到的数据特征输入到预设的深度学习模型中，识别出所述多样异构的数据的分类结果；
[0025]AI视觉模型单元，通过人工智能设备采集所述多样异构的数据中的视觉交互数据，建立机器学习模型及推理执行代码对待所述视觉交互数据进行推理执行，得到推理执行结果，反馈至人工智能设备处；
[0026]工业数据建模单元，用于从多个工业传感器生成时变数据，搜索所述时变数据以识别数据的最大值和最小值，从而确定所述时变数据的全范围值；确定工业过程的正常操作条件的学习状态，并使用学习状态生成操作工业过程的预期值；将预期值与工业过程的当前实际值进行比较，以识别最接近学习状态之一的工业过程的当前状态，并生成一组建模数据；处理建模数据以识别数据的模式，并且在检测到与所述全范围值的偏差时，生成警报。
[0027]进一步地，所述数据治理模块，包括以下步骤：
[0028]用第一数据治理元数据作为标签标记所述批量分析计算和调度的结果；
[0029]在收集所述批量分析计算和调度的结果时确定个人的身份验证状态，并使用标识身份验证状态的第二数据治理元数据来标记所述批量分析计算和调度的结果；
[0030]确定是否有任何预设数据质检规则、数据质量和标准适用于所述批量分析计算和调度的结果，并使用第三数据治理元数据标记所述批量分析计算和调度的结果，识别确定适用于所述批量分析计算和调度的结果的预设数据质检规则、数据质量和标准；和
[0031]将第一、第二和第三数据治理元数据与所述批量分析计算和调度的结果一起存储在计算机存储介质中以基于第一、第二和第三数据治理元数据控制所述批量分析计算和调度的结果的使用。
[0032]进一步地，所述数据存储处理模块，包括以下步骤：
[0033]根据设备编码工具、标识编码工具或工业数据模型模板，组装包括所述数据治理模块的输出数据和多个字段的编码数据结构；
[0034]将数据流中的编码数据结构传输给数据服务模块；
[0035]提供对应于所述编码数据结构的解码数据结构，所述解码数据结构包括足以直接用于使用编码数据结构的所述数据治理模块的输出数据赋予多个字段中的每一个的字段
值以意义。
[0036]进一步地，所述数据服务模块，包括以下单元：
[0037]解码单元，根据所述解码数据结构，对所述数据流中的编码数据结构进行解码，得到解码数据；
[0038]数据门户单元，识别所述解码数据和空间层共有的一个或多个数据属性，并定义所述解码数据和空间层之间的链接，使用单个输入查询来查询空间层和链接的所述解码数据，生成与查询匹配的空间图层要素和链接所述解码数据中的要素以供显示；
[0039]内容管理单元，包括：被配置为存储所述解码数据的内容存储装置；内容控制器，被配置为选择所述解码数据中的至少一个，并因此生成控制信息；以及内容收发器，被配置为将所述解码数据和所述控制信息中的所述至少一个进行传送；
[0040]数据集市单元，从解码数据接收第一表的选择，接收来自第一表的至少一列的选择；从解码数据接收第二表的选择，接收来自第二表的至少一列的选择；根据表和列的选择创建连接，使用来自所选列和相应表的数据填充数据集市事实表。
[0041]进一步地，所述数据服务模块，还包括以下单元：
[0042]模型发布单元，接收所述解码数据，从所接收的所述解码数据中检测至少一个模型；接收所述至少一个模型的模型识别信息，使用所述模型识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据一体化管理系统，其特征在于，包括：大数据基础模块，用于获取工业领域的多样异构的数据，并进行数据库存储、文件系统存储；数据计算分析模块，基于深度学习建模、AI视觉模型、或工业数据建模，对所述多样异构的数据进行批量分析计算和调度；数据治理模块，对所述批量分析计算和调度的结果，基于预设数据质检规则、数据质量和标准，进行设备元数据管理、数据标签管理、标识标准管理；数据存储处理模块，对所述数据治理模块的输出数据，依据设备编码工具、标识编码工具或工业数据模型模板进行多类型数据源管理；数据服务模块，与大数据基础模块、数据计算分析模块、数据治理模块、数据存储处理模块进行交互，实现数据门户、内容管理、数据集市、模型发布、应用支撑主题域、数据沙箱。2.根据权利要求1所述的系统，其特征在于，所述大数据基础模块，包括以下步骤：从数据源接收工业领域的多样异构的数据；确定所述数据是否匹配包括商业标识号的多源文件，该多源文件包含在数据库中；当所述数据匹配所述多源文件时，将所述数据添加到所述多源文件；和当所述数据不匹配所述多源文件时，确定所述数据是否匹配包含在数据存储库内的单一源文件。3.根据权利要求2所述的系统，其特征在于，所述大数据基础模块还可以包括以下功能：应用多源规则来确定所述数据是否有资格作为验证源；当所述数据有资格作为验证源时，通过将所述数据添加到所述单一源文件来创建第二多源文件；将所述第二多源文件从所述数据存储库移动到所述数据库；当所述数据不符合验证源的条件时，使用所述数据创建第二个单一来源文件；将所述第二个单一来源文件存储在所述数据储存库中。4.根据权利要求3所述的系统，其特征在于，所述数据计算分析模块，包括以下单元：深度学习建模单元，对所述多样异构的数据进行至少包括去停用词的预处理，对预处理后的数据采用基于词表的分词方式进行分词，计算出分词后的文本数据的词向量并作为数据特征，将得到的数据特征输入到预设的深度学习模型中，识别出所述多样异构的数据的分类结果；AI视觉模型单元，通过人工智能设备采集所述多样异构的数据中的视觉交互数据，建立机器学习模型及推理执行代码对待所述视觉交互数据进行推理执行，得到推理执行结果，反馈至人工智能设备处；工业数据建模单元，用于从多个工业传感器生成时变数据，搜索所述时变数据以识别数据的最大值和最小值，从而确定所述时变数据的全范围值；确定工业过程的正常操作条件的学习状态，并使用学习状态生成操作工业过程的预期值；将预期值与工业过程的当前实际值进行比较，以识别最接近学习状态之一的工业过程的当前状态，并生成一组建模数
据；处理建模数据以识别数据的模式，并且在检测到所述建模数据与所述全范围值的偏差时，生成警报。5.根据权利要求4所述的系统，其特征在于，所述数据治理模块，包括以下步骤：用第一数据治理元数据作为标签标记所述批量分析计算和调度的结果；在收集所述批量分析计算和调度的结果时确定个人的身份验证状态，并使用标识身份验证状态的第二数据治理元数据来标记所述批量分析计算和调度的结果；确定是否有任何...

【专利技术属性】
技术研发人员：温胤鑫，黄永军，赵丽娜，
申请(专利权)人：北京东方通网信科技有限公司，
类型：发明
国别省市：