本申请提供一种数据管理方法、装置、组合库、电子设备及存储介质，该方法包括：获取待管理数据；将待管理数据的索引标识，写入索引库；其中，索引标识包括待管理数据的键值和文件序列号；按照文件序列号，将待管理数据写入存储库。上述方案提供的方法，通过对待管理数据和键值进行分库存储，且存储键值的同时记录其文件序列号，即便后续对键值顺序进行重排序，也不需要重新在系统文件中写入数据，保证了数据管理效率。管理效率。管理效率。
【技术实现步骤摘要】
一种数据管理方法、装置、组合库、电子设备及存储介质
[0001]本申请涉及数据库
，尤其涉及一种数据管理方法、装置、组合库、电子设备及存储介质。
技术介绍
[0002]随着网络技术的发展，越来越多的企业实现了全面的数据化管理，导致每个企业都有大量的时序数据需要统一管理。其中，时序数据具有采集频率快、数据量大、结构化等特点。在物联网系统中采集的时序数据通常又具有多个属性，而时序数据存储系统需要能够根据用户的各种查询需求快速的完成数据的查找。
[0003]在现有技术中，通常用LSM树作为时序数据的数据存储结构，采用归并排序的方式进行数据写入。但由于在写数据过程中，键值需要采用归并排序的方式进行排序，为了使数据与键值之间的保持匹配，有些已经写入系统文件的某键值对应的数据需要经历重复写入，也就无法保证数据管理效率。
技术实现思路
[0004]本申请提供一种数据管理方法、装置、组合库、电子设备及存储介质，以解决现有技术无法保证数据管理效率等缺陷。
[0005]本申请第一个方面提供一种数据管理方法，应用于组合库，所述组合库包括索引库和存储库，所述方法包括：
[0006]获取待管理数据；
[0007]将所述待管理数据的索引标识，写入所述索引库；其中，所述索引标识包括所述待管理数据的键值和文件序列号；
[0008]按照所述文件序列号，将所述待管理数据写入所述存储库。
[0009]可选的，所述待管理数据包括多种类型的子数据，所述组合库包括若干个存储库，所述按照所述文件序列号，将所述待管理数据写入所述存储库，包括：
[0010]根据所述待管理数据包括的各子数据的数据类型，在所述若干个存储库中，筛选各所述子数据对应的目标存储库；
[0011]按照所述文件序列号，将各所述子数据，写入对应的目标存储库。
[0012]可选的，所述索引库包括第一缓存区和第一存储区，所述将所述待管理数据的索引标识，写入所述索引库，包括：
[0013]将所述待管理数据的索引标识写入所述第一缓存区；
[0014]当所述第一缓存区中的索引标识累计量达到预设阈值时，采用归并排序算法，对所述第一缓存区中的索引标识和所述索引库中的索引标识进行统一排序，得到对应的排序结果；
[0015]按照所述排序结果，将所有所述索引标识，写入所述索引库的第一存储区。
[0016]可选的，所述存储库包括第二缓存区和第二存储区，所述方法还包括：
[0017]获取用户的数据读取需求；
[0018]根据所述数据读取需求，依次从所述存储库的第二存储区读取若干条目标数据；
[0019]将所述若干条目标数据写入所述存储库的第二缓存区；
[0020]当所述第二缓存区当前缓存的若干条目标数据满足所述数据读取需求时，统一输出所述若干条目标数据。
[0021]可选的，所述根据所述数据读取需求，依次从所述存储库的第二存储区读取若干条目标数据，包括：
[0022]根据所述数据读取需求，在所述索引库中选择目标索引标识；
[0023]根据所述目标索引标识，确定所述目标数据在所述存储库中的目标文件序列号；
[0024]根据所述目标文件序列号，在所述存储库的第二存储区读取所述目标数据。
[0025]可选的，所述存储库的第二存储区包括多个系统文件，各所述系统文件对应的键值范围不存在交集；
[0026]其中，各所述系统文件均设有文件号，所述文件序列号由多个所述文件号组成。
[0027]本申请第二个方面提供一种数据管理装置，应用于组合库，所述组合库包括索引库和存储库，所述装置包括：
[0028]获取模块，用于获取待管理数据；
[0029]第一管理模块，用于将所述待管理数据的索引标识，写入所述索引库；其中，所述索引标识包括所述待管理数据的键值和文件序列号；
[0030]第二管理模块，用于按照所述文件序列号，将所述待管理数据写入所述存储库。
[0031]可选的，所述待管理数据包括多种类型的子数据，所述组合库包括若干个存储库，所述第二管理模块，具体用于：
[0032]根据所述待管理数据包括的各子数据的数据类型，在所述若干个存储库中，筛选各所述子数据对应的目标存储库；
[0033]按照所述文件序列号，将各所述子数据，写入对应的目标存储库。
[0034]可选的，所述索引库包括第一缓存区和第一存储区，所述第一管理模块，具体用于：
[0035]将所述待管理数据的索引标识写入所述第一缓存区；
[0036]当所述第一缓存区中的索引标识累计量达到预设阈值时，采用归并排序算法，对所述第一缓存区中的索引标识和所述索引库中的索引标识进行统一排序，得到对应的排序结果；
[0037]按照所述排序结果，将所有所述索引标识，写入所述索引库的第一存储区。
[0038]可选的，所述存储库包括第二缓存区和第二存储区，所述装置还包括：
[0039]数据读取模块，用于获取用户的数据读取需求；根据所述数据读取需求，依次从所述存储库的第二存储区读取若干条目标数据；将所述若干条目标数据写入所述存储库的第二缓存区；当所述第二缓存区当前缓存的若干条目标数据满足所述数据读取需求时，统一输出所述若干条目标数据。
[0040]可选的，所述数据读取模块，具体用于：
[0041]根据所述数据读取需求，在所述索引库中选择目标索引标识；
[0042]根据所述目标索引标识，确定所述目标数据在所述存储库中的目标文件序列号；
[0043]根据所述目标文件序列号，在所述存储库的第二存储区读取所述目标数据。
[0044]可选的，所述存储库的第二存储区包括多个系统文件，各所述系统文件对应的键值范围不存在交集；
[0045]其中，各所述系统文件均设有文件号，所述文件序列号由多个所述文件号组成。
[0046]本申请第三个方面提供一种组合库，包括：索引库和存储库；
[0047]所述索引库用于存储待管理数据的索引标识；其中，所述索引标识包括所述待管理数据的键值和文件序列号；
[0048]所述存储库用于存储所述待管理数据，所述待管理数据按照所述文件序列号存储。
[0049]本申请第四个方面提供一种电子设备，包括：至少一个处理器和存储器；
[0050]所述存储器存储计算机执行指令；
[0051]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
[0052]本申请第五个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
[0053]本申请技术方案，具有如下优点：
[0054]本申请提供一种数据管理方法、装置、组合库、电子设备及存储本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据管理方法，应用于组合库，所述组合库包括索引库和存储库，其特征在于，所述方法包括：获取待管理数据；将所述待管理数据的索引标识，写入所述索引库；其中，所述索引标识包括所述待管理数据的键值和文件序列号；按照所述文件序列号，将所述待管理数据写入所述存储库。2.根据权利要求1所述的方法，其特征在于，所述待管理数据包括多种类型的子数据，所述组合库包括若干个存储库，所述按照所述文件序列号，将所述待管理数据写入所述存储库，包括：根据所述待管理数据包括的各子数据的数据类型，在所述若干个存储库中，筛选各所述子数据对应的目标存储库；按照所述文件序列号，将各所述子数据，写入对应的目标存储库。3.根据权利要求1所述的方法，其特征在于，所述索引库包括第一缓存区和第一存储区，所述将所述待管理数据的索引标识，写入所述索引库，包括：将所述待管理数据的索引标识写入所述第一缓存区；当所述第一缓存区中的索引标识累计量达到预设阈值时，采用归并排序算法，对所述第一缓存区中的索引标识和所述索引库中的索引标识进行统一排序，得到对应的排序结果；按照所述排序结果，将所有所述索引标识，写入所述索引库的第一存储区。4.根据权利要求1所述的方法，其特征在于，所述存储库包括第二缓存区和第二存储区，所述方法还包括：获取用户的数据读取需求；根据所述数据读取需求，依次从所述存储库的第二存储区读取若干条目标数据；将所述若干条目标数据写入所述存储库的第二缓存区；当所述第二缓存区当前缓存的若干条目标数据满足所述数据读取需求时，统一输出所述若干条目标数据。5.根据权利要求4所述的方法，其特征在于，所述根据所述...
【专利技术属性】
技术研发人员：王炜灼，
申请(专利权)人：北京力控元通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。