基于分布式系统的数据存储方法、装置、设备及介质制造方法及图纸

本申请提供一种基于分布式系统的数据存储方法、装置、设备及介质，该方法通过对采集设备的分组，获得当前采集设备的设备组信息，从而确定设备组对应的目标数据库；然后根据设备组信息和时间序列数据的数据类别，生成时间序列数据的索引标签；根据索引标签，确定时间序列数据的目标存储地址；通过分布式系统，将时间序列数据从当前采集设备传输至目标数据库，通过目标存储地址，存储时间序列数据；索引标签包含当前采集设备的分组识别信息和数据识别信息，便于对查询数据的快速定位和读取；通过对设备和时序数据库的分组分布，降低每个设备组对应的时序数据库的数据吞吐量，从而提高时序数据库的数据处理效率。时序数据库的数据处理效率。时序数据库的数据处理效率。

【技术实现步骤摘要】
基于分布式系统的数据存储方法、装置、设备及介质


[0001]本申请涉及数据处理
，尤其涉及一种基于分布式系统的数据存储方法、装置、设备及介质。

技术介绍

[0002]随着互联网科技的发展和应用，每个人将在短短一秒钟产生大约1.7兆字节的数据。这些数据中有时间序列数据由物联网、监控或移动应用程序和设备生成，存储在数据库或数据仓库中，并通过数据挖掘用于机器学习以生成数据智能。
[0003]由于物联网（IoT）设备和应用程序的日益普及，生成的时间序列数据量呈爆炸式增长。这些应用程序需要对边缘端和云端的时间序列数据进行高效管理，以支持高吞吐量引入、低延迟查询和高级时序分析。当今的应用程序依赖于云数据库存储和查询时间序列数据。虽然外包存储方便，但是处理数据时要求的支持高吞吐量、高并发量等性能要求很难达到指标。因此，像FlashDB、Waldo这样的时间序列数据库逐渐流行开来，它们拥有丰富的功能和强大的数据处理效率，高效性得到了广泛认可。
[0004]目标数据库具备以下优势：能够有效处理庞大数据；对重复的部分，InformixTimeSeries只保持一份数据；节省空间50%，有效降低I/O；主键索引更有效；时间序列表头分离的特性不浪费空间。这些时空间上的效率优势使得目标数据库在这些相关行业的应用价值更加重要。从存储架构角度看，目前的目标数据库有三类：基于关系数据库的目标数据库，比如timescale；基于KV的目标数据库，比如OpenTSDB；以及面向时序数据场景的原生目标数据库，比如InfluxDB，FlashDB和TDengine等。
[0005]但是目前目标数据库在应用过程中存在存储数据结构设计、高性能查询、存储成本、乱序问题的解决、分布式云架构下的边缘云计算部署以及目标数据库产生价值产出等技术问题。目标数据库的应用是为了实现高吞吐量、快速查询等功能需求，但是由于目标数据库需要处理的数据量过大，这就导致云端数据库的数据处理性能低，数据写入吞吐量达不到要求，而巨量的数据量也导致数据查询的效率低下，由此，导致目标数据库的数据处理效率低下，而不能满足实际应用需求。
[0006]因此，如何解决目前目标数据库的数据处理效率低下成为亟待解决的技术问题。

技术实现思路

[0007]本申请提供了一种基于分布式系统的数据存储方法、装置、设备及存储介质，旨在提高目标数据库的数据处理效率。
[0008]第一方面，本申请提供一种基于分布式系统的数据存储方法，所述方法包括：基于当前采集设备对应的设备组信息以及存储于所述当前采集设备中的时间序列数据对应的数据类别，确定所述当前采集设备对应的目标数据库以及所述时间序列数据的索引标签；基于所述索引标签，确定所述时间序列数据在目标数据库中的目标存储地址；
基于分布式系统，将所述时间序列数据传输至所述目标数据库，并基于所述目标数据库中的所述目标存储地址，存储所述时间序列数据。
[0009]第二方面，本申请还提供一种基于分布式系统的数据存储装置，所述基于分布式系统的数据存储装置包括：索引标签确定模块，用于基于当前采集设备对应的设备组信息以及存储于所述当前采集设备中的时间序列数据对应的数据类别，确定所述当前采集设备对应的目标数据库以及所述时间序列数据的索引标签；数据存储地址确定模块，用于基于所述索引标签，确定所述时间序列数据在目标数据库中的目标存储地址；数据存储模块，用于基于分布式系统，将所述时间序列数据传输至所述目标数据库，并基于所述目标数据库中的所述目标存储地址，存储所述时间序列数据。
[0010]第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的基于分布式系统的数据存储方法的步骤。
[0011]第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的基于分布式系统的数据存储方法的步骤。
[0012]本申请提供一种基于分布式系统的数据存储方法、装置、设备及存储介质，本申请方法包括基于当前采集设备对应的设备组信息以及存储于所述当前采集设备中的时间序列数据对应的数据类别，确定所述当前采集设备对应的目标数据库以及所述时间序列数据的索引标签；基于所述索引标签，确定所述时间序列数据在目标数据库中的目标存储地址；基于分布式系统，将所述时间序列数据传输至所述目标数据库，并基于所述目标数据库中的所述目标存储地址，存储所述时间序列数据。通过上述方式，通过对采集设备的分组，获得当前采集设备的设备组信息，从而确定设备组对应的目标数据库；然后根据设备组信息和时间序列数据的数据类别，生成时间序列数据的索引标签；且索引标签和目标数据库中的存储地址相对应，所以可以根据索引标签，确定时间序列数据的目标存储地址；通过分布式系统，将时间序列数据从当前采集设备传输至目标数据库，通过目标存储地址，存储时间序列数据；索引标签包含当前采集设备的分组识别信息和数据识别信息，从而使得时间序列数据具备唯一识别的索引标签，便于对查询数据的快速定位和读取；通过对设备和时序数据库的分组分布，降低每个设备组对应的时序数据库的数据吞吐量，从而提高时序数据库的数据处理效率。
附图说明
[0013]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本申请的实施例提供的一种基于分布式系统的数据存储系统；图2为本申请提供的一种基于分布式系统的数据存储方法第一实施例的流程示意图；
图3为本申请实施例提供的一种数据块分布结构示意图；图4为本申请实施例提供的一种LSM
‑
tree的架构示意图；图5为本申请实施例提供的一种分布式数据库的数据存储结构示意图；图6为本申请提供的基于分布式系统的数据存储方法第二实施例的流程示意图；图7为本申请提供的基于分布式系统的数据存储方法第三实施例的流程示意图；图8为本申请实施例提供的一种CS架构示意图；图9是本申请提供的一种基于分布式系统的数据存储装置第一实施例的结构示意图；图10是本申请实施例提供的一种计算机设备的结构示意性框图。
[0015]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0016]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0017]附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式系统的数据存储方法，其特征在于，所述方法包括：基于当前采集设备对应的设备组信息以及存储于所述当前采集设备中的时间序列数据对应的数据类别，确定所述当前采集设备对应的目标数据库以及所述时间序列数据的索引标签；基于所述索引标签，确定所述时间序列数据在目标数据库中的目标存储地址；基于分布式系统，将所述时间序列数据传输至所述目标数据库，并基于所述目标数据库中的所述目标存储地址，存储所述时间序列数据。2.根据权利要求1所述的基于分布式系统的数据存储方法，其特征在于，所述基于所述目标数据库中的所述目标存储地址，存储所述时间序列数据之后，还包括：基于云端数据库，读取至少一个时序数据库的索引标签集；基于各所述索引标签集，查找目标时序数据对应的目标索引标签，确定存储所述目标时序数据的目标时序数据库，以及所述目标时序数据在所述目标时序数据库中的数据存储地址；基于所述数据存储地址，从所述目标时序数据库中读取所述目标时序数据至所述云端数据库，获取所述目标时序数据。3.根据权利要求1所述的基于分布式系统的数据存储方法，其特征在于，所述设备组信息包括所述当前采集设备的设备识别信息、所述当前采集设备对应当前设备组的组识别信息、所述当前设备组对应的目标数据库的数据库识别信息。4.根据权利要求3所述的基于分布式系统的数据存储方法，其特征在于，所述基于分布式系统，将所述时间序列数据传输至所述目标数据库，包括：基于所述组识别信息，确定所述当前设备组中的至少一个采集设备；基于所述分布式系统，将所述当前设备组中各采集设备存储的所述时间序列数据传输至所述当前设备组的主设备，获得组时序数据；基于所述当前设备组对应的数据库识别信息，确定所述当前设备组的主设备对应的所述目标数据库；基于所述分布式系统，将所述组时序数据从所述当前设备组的主设备传输至所述目标数据库。5.根据权利要求3所述的基于分布式系统的数据存储方法，其特征在于，所述基于当前采集设备对应的设备组信息以及存储于所述当前采集设备中的时间序列数据对应的数据类别，确定所述当前采集设备对应的目标数据库以及所述时间序列数据的索引标签，包括：获取所述时间序列数据的时间戳信息；基于所述时间戳信息、所述数据类别、所述设备识别信息、所述组识别...

【专利技术属性】
技术研发人员：柳博译，
申请(专利权)人：深圳开鸿数字产业发展有限公司，
类型：发明
国别省市：