基于分布式系统的数据存储方法、装置、设备及介质制造方法及图纸

本申请提供一种基于分布式系统的数据存储方法、装置、设备及介质，该方法通过对采集设备的分组，获得当前采集设备的设备组信息，从而确定设备组对应的目标数据库；然后根据设备组信息和时间序列数据的数据类别，生成时间序列数据的索引标签；根据索引标签，确定时间序列数据的目标存储地址；通过分布式系统，将时间序列数据从当前采集设备传输至目标数据库，通过目标存储地址，存储时间序列数据；索引标签包含当前采集设备的分组识别信息和数据识别信息，便于对查询数据的快速定位和读取；通过对设备和时序数据库的分组分布，降低每个设备组对应的时序数据库的数据吞吐量，从而提高时序数据库的数据处理效率。时序数据库的数据处理效率。时序数据库的数据处理效率。

【技术实现步骤摘要】
基于分布式系统的数据存储方法、装置、设备及介质


[0001]本申请涉及数据处理
，尤其涉及一种基于分布式系统的数据存储方法、装置、设备及介质。

技术介绍

[0002]随着互联网科技的发展和应用，每个人将在短短一秒钟产生大约1.7兆字节的数据。这些数据中有时间序列数据由物联网、监控或移动应用程序和设备生成，存储在数据库或数据仓库中，并通过数据挖掘用于机器学习以生成数据智能。
[0003]由于物联网（IoT）设备和应用程序的日益普及，生成的时间序列数据量呈爆炸式增长。这些应用程序需要对边缘端和云端的时间序列数据进行高效管理，以支持高吞吐量引入、低延迟查询和高级时序分析。当今的应用程序依赖于云数据库存储和查询时间序列数据。虽然外包存储方便，但是处理数据时要求的支持高吞吐量、高并发量等性能要求很难达到指标。因此，像FlashDB、Waldo这样的时间序列数据库逐渐流行开来，它们拥有丰富的功能和强大的数据处理效率，高效性得到了广泛认可。
[0004]目标数据库具备以下优势：能够有效处理庞大数据；对重复的部分，InformixTime本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式系统的数据存储方法，其特征在于，所述方法包括：基于当前采集设备对应的设备组信息以及存储于所述当前采集设备中的时间序列数据对应的数据类别，确定所述当前采集设备对应的目标数据库以及所述时间序列数据的索引标签；基于所述索引标签，确定所述时间序列数据在目标数据库中的目标存储地址；基于分布式系统，将所述时间序列数据传输至所述目标数据库，并基于所述目标数据库中的所述目标存储地址，存储所述时间序列数据。2.根据权利要求1所述的基于分布式系统的数据存储方法，其特征在于，所述基于所述目标数据库中的所述目标存储地址，存储所述时间序列数据之后，还包括：基于云端数据库，读取至少一个时序数据库的索引标签集；基于各所述索引标签集，查找目标时序数据对应的目标索引标签，确定存储所述目标时序数据的目标时序数据库，以及所述目标时序数据在所述目标时序数据库中的数据存储地址；基于所述数据存储地址，从所述目标时序数据库中读取所述目标时序数据至所述云端数据库，获取所述目标时序数据。3.根据权利要求1所述的基于分布式系统的数据存储方法，其特征在于，所述设备组信息包括所述当前采集设备的设备识别信息、所述当前采集设备对应当前设备组的组识别信息、所述当前设备组对应的目标数据库的数据库识别信息。4.根据权利要求3所述的基于分布式系统的数据存储方法，其特征在于，所述基于分布式系统，将所述时间序列数据传输至所述目标数据库，包括：基于所述组识别信息，确定所述当前设备组中的至少一个采集设备；基于所述分布式系统，将所述当前设备组中各采集设备存储的所述时间序列数据传输至所述当前设备组的主设备，获得组时序数据；基于所述当前设备组对应的数据库识别信息，确定所述当前设备组的主设备对应的所述目标数据库；基于所述分布式系统，将所述组时序数据从所述当前设备组的主设备传输至所述目标数据库。5.根据权利要求3所述的基于分布式系统的数据存储方法，其特征在于，所述基于当前采集设备对应的设备组信息以及存储于所述当前采集设备中的时间序列数据对应的数据类别，确定所述当前采集设备对应的目标数据库以及所述时间序列数据的索引标签，包括：获取所述时间序列数据的时间戳信息；基于所述时间戳信息、所述数据类别、所述设备识别信息、所述组识别...

【专利技术属性】
技术研发人员：柳博译，
申请(专利权)人：深圳开鸿数字产业发展有限公司，
类型：发明
国别省市：