时序数据库的数据处理方法、系统、设备及存储介质技术方案

本发明专利技术涉及大数据处理技术领域，揭露一种时序数据库的数据处理方法，包括：对上报至时序数据库的时序数据进行汇聚处理；根据从预设规则组件中加载的数据处理规则，通过第一计算链和第二计算链对所汇聚的时序数据进行处理；并将处理后的时序数据传递至数据转发模块；通过所述数据转发模块将所述处理后的时序数据转发至时序数据库。本发明专利技术还涉及区块链技术，存储文件存储于区块链中。本发明专利技术通过自定义计算规则及计算链、数据审计、计算恢复，提供了灵活且丰富多样的数据上报至数据落库过程中的计算功能，能够有效支持大规模的时序数据库集群的落库处理。群的落库处理。群的落库处理。

【技术实现步骤摘要】
时序数据库的数据处理方法、系统、设备及存储介质


[0001]本专利技术涉及大数据处理
，尤其涉及一种时序数据库的数据处理方法、系统、设备及存储介质。

技术介绍

[0002]时序数据库全称为时间序列数据库，主要用于处理带时间标签(时间序列化)的数据，具有高性能、数据压缩、过期数据自动清理、支持多种聚合函数等特点，在监控、物联网等领域逐渐成为主流数据库。
[0003]时间序列数据主要产生于电力行业、化工行业、气象行业、地理信息等各类型需要实时监测、检查与分析设备所采集、产生的工业数据的行业，这些行业中常规的实时监测系统均有成千上万的监测点，监测点每秒钟都有监测数据产生，每一个监测点一秒钟内可产生多条数据，每一条数据均要求对应唯一的时间，一个实时监测系统在具体的生产应用过程中每天都会产生几十GB的数据量。因此，这些工业数据还具有产生频率快、严重依赖于采集时间、测点多信息量大的典型特点。
[0004]时序数据库可以与流计算、降准采样等技术结合起来，在时序数据落库前进行更进一步的计算处理，这种计算处理能够优化时序数据库的存储结构，但往往需要消耗较大的资源，尤其在是多个时序数据库组成集群的场景里，对资源的消耗需求尤为巨大。
[0005]因此，亟需一种能够有效支持大规模的时序数据库集群系统的时序数据处理的方案。

技术实现思路

[0006]本专利技术提供一种时序库的数据处理方法、系统、设备及存储介质，其主要目的在于能够解决现有技术中，时序数据处理对资源消耗需要巨大的问题。
[0007]第一方面，为实现上述目的，本专利技术提供的一种时序数据库的数据处理方法，所述方法包括：
[0008]对上报至时序数据库的时序数据进行汇聚处理；
[0009]根据从预设规则组件中加载的数据处理规则，通过第一计算链和第二计算链对所汇聚的时序数据进行处理；并将处理后的时序数据传递至数据转发模块；
[0010]通过所述数据转发模块将所述处理后的时序数据转发至时序数据库。
[0011]第二方面，为了解决上述问题，本专利技术还提供一种时序数据库的数据处理系统，包括：
[0012]时序数据汇聚单元，用于对上报至时序数据库的时序数据进行汇聚处理；
[0013]数据处理单元，用于从预设规则组件中加载的数据处理规则，通过第一计算链和第二计算链对所汇聚的时序数据进行处理；并将处理后的时序数据传递至数据转发模块；
[0014]落库单元，用于通过所述数据转发模块将所述处理后的时序数据转发至时序数据库。
[0015]第三方面，为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0016]至少一个处理器；以及，
[0017]与所述至少一个处理器通信连接的存储器；其中，
[0018]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的时序数据库的数据处理方法的步骤。
[0019]第四方面，为了解决上述问题，本专利技术还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的时序数据库的数据处理方法。
[0020]本专利技术提出的时序数据库的数据处理方法、系统、设备及存储介质，通过自定义计算规则及计算链、数据审计、计算恢复，提供了灵活且丰富多样的数据上报至数据落库过程中的计算功能，能够有效支持大规模的时序数据库集群的落库处理。
附图说明
[0021]图1为为本专利技术一实施例提供的时序数据库的数据处理方法的流程示意图；
[0022]图2为本专利技术一实施例提供的时序数据库的数据处理示例；
[0023]图3为本专利技术一实施例提供的对所汇聚的时序数据进行数据计算的示例；
[0024]图4为本专利技术一实施例提供的计算链示例；
[0025]图5为本专利技术一实施例提供的两个计算规则的自定义示例；
[0026]图6为本专利技术一实施例提供的时序数据库的数据处理系统的逻辑框架示意图；
[0027]图7本专利技术一实施例提供的实现时序数据库的数据处理方法的电子设备的内部结构示意图。
[0028]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0029]为了解决现有技术中的时序数据处理对资源的消耗需求巨大的问题，本专利技术提出通过自定义计算规则及计算链对上报的时序数据进行处理落库的数据处理方案，以支持大规模的时序数据库集群的落库处理。
[0030]以下将结合具体实施例对本专利技术的具体实现方案做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0031]本申请实施例可以基于人工智能技术对相关的时序数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0032]人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0033]图1为本专利技术一实施例提供的时序数据库的数据处理方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
[0034]如图1所示，本实施例提供的时序数据库的数据处理方法，包括：
[0035]步骤S110、对上报至时序数据库的时序数据进行汇聚处理；
[0036]步骤S120、根据从预设规则组件中加载的数据处理规则，通过第一计算链和第二计算链对所汇聚的时序数据进行处理；并将处理后的时序数据传递至数据转发模块；
[0037]步骤S130、通过所述数据转发模块将所述处理后的时序数据转发至时序数据库。
[0038]下面将对每个步骤做更为详细的说明。
[0039]一般来说，汇聚是指不同来源的数据到达了同一个位置，这个位置可以是消息队列、缓存、转发程序等。对上报的时序数据进行汇聚，就是将按照预设格式上报的时序数据汇总到一个预设位置，在步骤S110中，时序数据的上报方式包括直接上报、拉取上报、代理上报等。
[0040]具体的，作为示例，数据上报方可以按照约定将要上报的数据按照预设格式从数据上报终端发送到预设地址；或者由专门的时序数据汇聚模块定期从数据上报终端拉取要汇聚的时序数据；或者数据上报终端/数据上报方可以按照约定将要上报的数据按照预设格式发送到代理服务器，由代理服务器转发至预设地址。所有上报的时序数据汇集到一起(预设地址、预设服务器等)即完成时序数据的汇聚处理。
[0041]按照时序数据的行业性、时序性等特点，上报的时序数据的格式一般为：表+标签+时间戳+值。...

【技术保护点】

【技术特征摘要】
1.一种时序数据库的数据处理方法，应用于电子装置，其特征在于，所述方法包括：对上报至时序数据库的时序数据进行汇聚处理；根据从预设规则组件中加载的数据处理规则，通过第一计算链和第二计算链对所汇聚的时序数据进行处理；并将处理后的时序数据传递至数据转发模块；通过所述数据转发模块将所述处理后的时序数据转发至时序数据库。2.根据权利要求1所述的时序数据库的数据处理方法，其特征在于，在对上报至时序数据库的时序数据进行汇聚处理后，对所汇聚的时序数据进行多路分发并行处理；其中，在每一路处理中，均根据从预设规则组件中加载的数据处理规则，通过第一计算链和第二计算链对所汇聚的时序数据进行处理。3.根据权利要求2所述的时序数据库的数据处理方法，其特征在于，所述上报的时序数据的格式为：表+标签+时间戳+值；在对所汇聚的时序数据进行多路分发并行处理的过程中，按照所述时序数据的表名进行分发。4.根据权利要求1所述的时序数据库的数据处理方法，其特征在于，所述预设规则组件中包括自定义的计算规则，以及第一计算链、第二计算链的组成；其中，所述第一计算链、第二计算链中均配置有至少一个计算规则，且所述计算规则在所述第一计算链、第二计算链中自由组合。5.根据权利要求4所述的时序数据库的数据处理方法，其特征在于，所述计算规则的条目包括名字、类型、规则范围、触发条件、触发效果、表达式、数据流向；其中，所述名字用于定义计算规则的身份/ID；所述类型用于表示所述计算规则的计算类别；所述规则范围用于限定所述计算规则所涉及的预设格式的时序数据的具体字段；所述触发条件、触发效果与所述计算规则的类型相关联；所述表达式为所述计算规则需要的特殊参数；所述数据流向表示所述计算规则的结果流向。6.根据权利要求4所述的时序数据库的数据处理方法，其特征在于，根据从预设规则组件中加载的数据处理规则，通过第一计算链和第二计算链对所汇聚的时序数据进行处理，包括：从所述预设规则组件同步计算规则及计算链，并根据所同步的计算规则及计算链更新所述第一计算链、第二计算链的计算规则；基于所述第一计算链，对所汇聚的时序数据进行计算处理，并将处理后的数据传递给数据转发模块、数据缓存模块；基于所述第二计算链，对所述数据缓存模块中缓存的经所述第一计算链处理的数据进行计算处理，并将处理结果传递给所述数据转发模块。7.根据权利要求6所述的时序数据库的数据处理方法，其特征在于，基于所述第一计算链，对所汇聚的时序数据进行的计算处理包括数据规范校验、空数据校验、时间戳校验、标签变更；基于所述第二计算链，对所述数据缓存模块中缓存的经所述第一...

【专利技术属性】
技术研发人员：陈海钊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：