一种时序数据全流程管理系统、方法、设备及介质技术方案

本发明专利技术提供一种时序数据全流程管理系统、方法、设备及介质，对数据采集对象的层级、模型和属性进行定义，并对数据采集对象的模型进行层次分类，记录数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；按照预先定义的协议采集框架、数据采集对象的层级、数据采集对象的模型和数据采集对象的属性，采集数据采集对象产生的时序数据；对采集到的时序数据进行分布式存储和读取；根据数据细粒度血缘及关系图来对存储的时序数据进行分析。本发明专利技术提供了一套从数据定义、数据采集、数据存储以及到数据分析使用的全流程一站式方案，解决了现有技术中无法对时序数据进行全流程管理的问题，可以让用户有效的使用时序数据，挖掘时序数据的价值。时序数据的价值。时序数据的价值。

A time series data whole process management system, method, equipment and medium

【技术实现步骤摘要】
一种时序数据全流程管理系统、方法、设备及介质


[0001]本专利技术涉及计算机
，特别是涉及一种时序数据全流程管理系统、方法、设备及介质。

技术介绍

[0002]随着智能制造及5G技术的普及，催生出千万级设备和应用的实时数据采集及智能网联场景，其核心关键基础共性技术之一为时序数据系统，时序数据系统是工业软件、大数据、人工智能技术的基石，是企业当今从局部数字化向全要素深层次数字化的转型升级的基础性系统。而时序数据的价值挖掘涉及到数据的定义、采集、存储及分析，每个环节对企业生产运营来说都非常重要。
[0003]在现有技术中，企业对时序数据的应用一般停留在存取阶段，即用程序将时序数据写入数据库中，需要的时候将时序数据从数据库中查询出来，而这个过程仅是时序数据管理整个生命周期的存取过程，关于数据的定义、采集、分析却没有成体系的系统支持，另外各个企业并不擅长该领域，导致存储了大量历史数据，却不知道如何使用，反而因存储了大量数据浪费了企业的IT资源。即目前对于整个时序数据管理，没有一套全流程的从数据定义到分析使用的一站式系统，导致用户无法有效的使用时序数据。因此，亟需一种时序数据定义、采集、存储及库内库外分析系统来对数据进行有效的全流程管理，以解决上述问题。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种时序数据全流程管理系统、方法、设备及介质，用于解决现有技术中无法对时序数据进行全流程管理的问题。
[0005]为实现上述目的及其他相关目的，本专利技术提供一种时序数据全流程管理系统，所述系统包括有：
[0006]数据定义模块，用于定义数据采集对象的层级、模型和属性，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；
[0007]数据采集模块，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据；
[0008]数据存取模块，用于对采集到的时序数据进行分布式存储和读取；
[0009]数据分析模块，用于根据数据细粒度血缘及关系图来对存储的时序数据进行分析。
[0010]可选地，所述数据定义模块包括有：
[0011]数据处理流程定义单元，用于定义时序数据处理流程，所述时序数据处理流程至少包括：数据定义、数据采集、数据存储和数据使用的优先级处理流程；
[0012]层次模块单元，用于选择合适的模板对所述数据采集对象进行分层分类，定义所述数据采集对象的层级；
[0013]元数据定义单元，用于对所述数据采集对象的元数据进行定义，以及变更所述数据采集对象的属性；
[0014]数据记录单元，用于记录所述数据采集对象的属性版本及变迁过程，并根据记录结果形成数据细粒度血缘及关系图。
[0015]可选地，所述数据采集模块包括有：
[0016]协议单元，用于预先定义协议采集框架，对协议进行扩展，以及定义所有协议的实现方法；
[0017]链路跟踪单元，用于定义数据采集源及目的地链路跟踪；
[0018]数据采集单元，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型、所述数据采集对象的属性以及所有协议的实现方法，从数据采集源中采集所述数据采集对象产生的时序数据，对所采集的时序数据进行目的地链路跟踪。
[0019]可选地，所述数据存取模块包括有：
[0020]数据格式单元，用于定义时序数据的存储格式；
[0021]数据压缩单元，用于获取数据压缩引擎，并利用所述数据压缩引擎对时序数据进行压缩；其中，所述数据压缩引擎内部预先编写有多种数据压缩方式；
[0022]数据格式转换单元，用于对压缩后的时序数据进行格式转换；
[0023]数据存取单元，用于对压缩前的时序数据、压缩后的时序数据以及格式转换后的时序数据，按照定义的存储格式进行分布式存储和读取。
[0024]可选地，所述数据分析模块包括有：
[0025]库内分析引擎，用于根据数据细粒度血缘及关系图来对存储的时序数据进行实时数据分析和离线数据分析，生成对应的分析结果；
[0026]库外分析引擎，用于集成外部分析工具，并将所述数据存取模块中存储的时序数据分发给所述外部分析工具进行分析，获取对应的分析结果。
[0027]可选地，所述数据分析模块包括有：数据分析编辑器，用于根据库内分析引擎和库外分析引擎的分析结果生成语义分析片段，并对所述语义分析片段进行组合。
[0028]可选地，所述系统还包括有：
[0029]数据血缘模块，用于记录时序数据在采集、存储、分析及使用过程中的全生命周期数据关系；
[0030]分布式运维监控模块，用于对时序数据的集群进行运营维护及监控，以及对时序数据进行备份；
[0031]数据质量画像模块，用于对时序数据进行质量监控及质量分析。
[0032]本专利技术还提供一种时序数据全流程管理方法，所述方法包括以下步骤：
[0033]对数据采集对象的层级、模型和属性进行定义，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；
[0034]按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据；
[0035]对采集到的时序数据进行分布式存储和读取；
[0036]根据数据细粒度血缘及关系图来对存储的时序数据进行分析。
[0037]本专利技术还提供一种计算机设备，包括：
[0038]处理器；和
[0039]存储有指令的计算机可读介质，当所述处理器执行所述指令时，使得所述设备执行如上述中的方法。
[0040]本专利技术还提供一种计算机可读介质，其上存储有指令，所述指令由处理器加载并执行如上述中的方法。
[0041]如上所述，本专利技术提供一种时序数据全流程管理系统、方法、设备及介质，具有以下有益效果：本专利技术首先对数据采集对象的层级、模型和属性进行定义，并对数据采集对象的模型进行层次分类，记录数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；然后按照预先定义的协议采集框架、数据采集对象的层级、数据采集对象的模型和数据采集对象的属性，采集数据采集对象产生的时序数据；再对采集到的时序数据进行分布式存储和读取；最后根据数据细粒度血缘及关系图来对存储的时序数据进行分析。本专利技术提供了一套从数据定义、数据采集、数据存储以及到数据分析使用的全流程一站式方案，解决了现有技术中无法对时序数据进行全流程管理的问题，从而可以让用户有效的使用时序数据，挖掘时序数据的价值。
附图说明
[0042]图1为一实施例提供的时序数据全流程管理系统的软件结构示意图；
[0043]图2为另一实施例提供的时序数据全流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据全流程管理系统，其特征在于，所述系统包括有：数据定义模块，用于定义数据采集对象的层级、模型和属性，并对所述数据采集对象的模型进行层次分类，记录所述数据采集对象的属性版本及变迁过程，形成数据细粒度血缘及关系图；数据采集模块，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型和所述数据采集对象的属性，采集所述数据采集对象产生的时序数据；数据存取模块，用于对采集到的时序数据进行分布式存储和读取；数据分析模块，用于根据数据细粒度血缘及关系图来对存储的时序数据进行分析。2.根据权利要求1所述的时序数据全流程管理系统，其特征在于，所述数据定义模块包括有：数据处理流程定义单元，用于定义时序数据处理流程，所述时序数据处理流程至少包括：数据定义、数据采集、数据存储和数据使用的优先级处理流程；层次模块单元，用于选择合适的模板对所述数据采集对象进行分层分类，定义所述数据采集对象的层级；元数据定义单元，用于对所述数据采集对象的元数据进行定义，以及变更所述数据采集对象的属性；数据记录单元，用于记录所述数据采集对象的属性版本及变迁过程，并根据记录结果形成数据细粒度血缘及关系图。3.根据权利要求1或2所述的时序数据全流程管理系统，其特征在于，所述数据采集模块包括有：协议单元，用于预先定义协议采集框架，对协议进行扩展，以及定义所有协议的实现方法；链路跟踪单元，用于定义数据采集源及目的地链路跟踪；数据采集单元，用于按照预先定义的协议采集框架、所述数据采集对象的层级、所述数据采集对象的模型、所述数据采集对象的属性以及所有协议的实现方法，从数据采集源中采集所述数据采集对象产生的时序数据，对所采集的时序数据进行目的地链路跟踪。4.根据权利要求1所述的时序数据全流程管理系统，其特征在于，所述数据存取模块包括有：数据格式单元，用于定义时序数据的存储格式；数据压缩单元，用于获取数据压缩引擎，并利用所述数据压缩引擎对时序数据进行压缩；其中，所述数据压缩引擎内部预先编写有多种数据压缩方式；数...

【专利技术属性】
技术研发人员：郑强，郑成坤，李强，张伟，
申请(专利权)人：中冶赛迪重庆信息技术有限公司，
类型：发明
国别省市：