数据存储方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据存储方法、装置、电子设备及计算机可读存储介质，在获取了访问记录信息之后，根据访问记录信息构建待备份数据段列表，再根据待备份数据段中记录的访问时间信息，删除待备份数据段列表中目标数据段的目标文件数据；或者，根据预设的记录时间周期内对待备份数据段的访问频率统计信息，删除待备份数据段列表中目标数据段的目标文件数据，本发明专利技术能够降低第一存储对象中的目标数据段的目标文件数据，节省了存储空间；并将目标文件数据存储到第二存储对象，能够对目标文件数据进行完整备份，保持数据的完整性。本申请可以广泛应用于例如智能手机、平板电脑、笔记本电脑、台式计算机、服务器、车载终端等设备的数据处理技术中。处理技术中。处理技术中。

【技术实现步骤摘要】
数据存储方法、装置、电子设备及计算机可读存储介质


[0001]本专利技术涉及数据处理
，尤其是一种数据存储方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]数据存储技术中的索引(Index)，是一种排序的数据结构，用于协助快速查询、更新相关数据。以数据库存储技术为例，除了实际需要使用的数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构能够指向数据库中实际需要使用的数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构，就是索引。
[0003]随着数据存储中数据规模的增大，索引的存储量也在不断增大，这些索引中包括访问频率低的低频索引、访问频率较高的中频索引以及访问频率很高的高频索引。由于数据查询操作通常带有实时性要求，因此索引一般都存储在读取速度较快的固态硬盘(Solid State Disk或Solid State Drive，简称SSD)中，但固态硬盘的硬件成本较高，因此，相关技术通常将上述访问频率低的低频索引转移到第三方存储介质(例如机械硬盘或其他数据库)中进行备份存储，以节省固态硬盘的存储成本。
[0004]实际应用中，只有访问频率很高的高频索引才需要存储在固态硬盘中，但相关技术的处理中，固态硬盘还存有中频索引，依然会带来较高的存储成本。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种数据存储方法、装置、电子设备及计算机可读存储介质，在兼顾访问效率的同时降低第一存储对象的存储成本。
[0006]本专利技术的第一方面提供了一种数据存储方法，包括：
[0007]获取访问记录信息；
[0008]根据所述访问记录信息构建待备份数据段列表；其中，所述待备份数据段列表包括至少一个待备份数据段；所述待备份数据段记录至少一条所述访问记录信息；所述待备份数据段存储在第一存储对象；
[0009]根据所述待备份数据段中记录的访问时间信息，删除所述待备份数据段列表中目标数据段的目标文件数据；或者，根据预设的记录时间周期内对所述待备份数据段的访问频率统计信息，删除所述待备份数据段列表中目标数据段的目标文件数据；
[0010]将所述目标文件数据存储到第二存储对象，在所述目标数据段中生成所述目标文件数据的索引链接信息；其中，所述索引链接信息用于表征所述目标文件数据在所述第二存储对象中的存储位置，所述第一存储对象的存取速度大于所述第二存储对象的存取速度。
[0011]本专利技术的第二方面提供了一种数据存储装置，包括：
[0012]第一模块，用于获取访问记录信息；
[0013]第二模块，用于根据所述访问记录信息构建待备份数据段列表；其中，所述待备份
数据段列表包括至少一个待备份数据段；所述待备份数据段记录至少一条所述访问记录信息；所述待备份数据段存储在第一存储对象；
[0014]第三模块，用于根据所述待备份数据段中记录的访问时间信息，删除所述待备份数据段列表中目标数据段的目标文件数据；或者，根据预设的记录时间周期内对所述待备份数据段的访问频率统计信息，删除所述待备份数据段列表中目标数据段的目标文件数据；
[0015]第四模块，用于将所述目标文件数据存储到第二存储对象，在所述目标数据段中生成所述目标文件数据的索引链接信息；其中，所述索引链接信息用于表征所述目标文件数据在所述第二存储对象中的存储位置，所述第一存储对象的储存速度大于所述第二存储对象的存储速度。
[0016]可选地，所述第三模块包括：
[0017]第一单元，用于获取所述待备份数据段列表中每个待备份数据段；
[0018]第二单元，用于识别所述待备份数据段的数据访问类型；其中，所述数据访问类型包括本地访问类型、混合访问类型和远程访问类型；
[0019]第三单元，用于根据所述待备份数据段中记录的访问时间信息与预设的高频访问时间窗口值，从本地访问类型的待备份数据段中筛选出目标数据段；或者，根据所述待备份数据段中记录的访问时间信息与预设的中频访问时间窗口值，从混合访问类型的待备份数据段中筛选出目标数据段；
[0020]第四单元，用于删除所述目标数据段的目标文件数据。
[0021]可选地，所述第三单元包括：
[0022]第五单元，用于当所述本地访问类型的待备份数据段已完整存储到所述第二存储对象时，用当前时间减去所述待备份数据段的最新访问时间，得到所述待备份数据段的第一时间窗口值；
[0023]第六单元，用于当所述第一时间窗口值大于所述预设的高频访问时间窗口值，确定所述待备份数据段为第一目标数据段。
[0024]可选地，所述第三单元包括：
[0025]第七单元，用于用当前时间减去所述本地访问类型的待备份数据段的最新访问时间，得到所述待备份数据段的第二时间窗口值；
[0026]第八单元，用于当所述第二时间窗口值大于所述预设的高频访问时间窗口值与中频访问时间窗口值之和时，确定所述待备份数据段为第二目标数据段。
[0027]可选地，所述第三模块包括：
[0028]第九单元，用于获取所述待备份数据段列表中每个待备份数据段，并记录每个所述待备份数据段的访问频率统计信息；
[0029]第十单元，用于根据所述预设的记录时间周期内所述待备份数据段的访问频率统计信息以及预设的高频访问频率阈值和中频访问频率阈值，从所述待备份数据段中筛选出目标数据段；
[0030]第十一单元，用于删除所述目标数据段的目标文件数据。
[0031]可选地，所述第十单元包括：
[0032]第十二单元，用于当所述待备份数据段已完整存储到所述第二存储对象时，从所
述待备份数据段的访问频率统计信息中确定所述待备份数据段在预设的记录时间周期内的被访问频率值；
[0033]第十三单元，用于当所述被访问频率值小于所述高频访问阈值，且所述被访问频率值大于等于所述中频访问阈值时，确定所述待备份数据段为第一目标数据段。
[0034]可选地，所述第十单元包括：
[0035]第十四单元，用于当所述被访问频率值小于所述中频访问阈值时，确定所述待备份数据段为第二目标数据段。
[0036]可选地，所述第四单元和所述第七单元包括以下至少之一：
[0037]第十五单元，用于将所述第一目标数据段中第一文件数据删除，并将所述第一目标数据段的数据访问类型更新为混合访问类型；
[0038]或者，
[0039]第十六单元，用于将所述第二目标数据段中第二文件数据删除，并将所述第二目标数据段的数据访问类型更新为远程访问类型。
[0040]可选地，所述第四模块包括：
[0041]第十七单元，用于在所述目标数据段中生成独立句柄，所述独立句柄用于表征所述索引链接信息；
[0042]或者，
[0043]第十八单元，用于在所述目标数据段的元数据描述文件中加入所述索引链接信息。
[0044]可选地，所述第二模块包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取访问记录信息；根据所述访问记录信息构建待备份数据段列表；其中，所述待备份数据段列表包括至少一个待备份数据段；所述待备份数据段记录至少一条所述访问记录信息；所述待备份数据段存储在第一存储对象；根据所述待备份数据段中记录的访问时间信息，删除所述待备份数据段列表中目标数据段的目标文件数据；或者，根据预设的记录时间周期内对所述待备份数据段的访问频率统计信息，删除所述待备份数据段列表中目标数据段的目标文件数据；将所述目标文件数据存储到第二存储对象，在所述目标数据段中生成所述目标文件数据的索引链接信息；其中，所述索引链接信息用于表征所述目标文件数据在所述第二存储对象中的存储位置，所述第一存储对象的存取速度大于所述第二存储对象的存取速度。2.根据权利要求1所述的一种数据存储方法，其特征在于，所述根据所述待备份数据段中记录的访问时间信息，删除所述待备份数据段列表中目标数据段的目标文件数据，包括：获取所述待备份数据段列表中每个待备份数据段；识别所述待备份数据段的数据访问类型；其中，所述数据访问类型包括本地访问类型、混合访问类型和远程访问类型；根据所述待备份数据段中记录的访问时间信息与预设的高频访问时间窗口值，从本地访问类型的待备份数据段中筛选出目标数据段；或者，根据所述待备份数据段中记录的访问时间信息与预设的中频访问时间窗口值，从混合访问类型的待备份数据段中筛选出目标数据段；删除所述目标数据段的目标文件数据。3.根据权利要求2所述的一种数据存储方法，其特征在于，所述根据所述待备份数据段中记录的访问时间信息与预设的高频访问时间窗口值，从本地访问类型的待备份数据段中筛选出目标数据段，包括：当所述本地访问类型的待备份数据段已完整存储到所述第二存储对象时，用当前时间减去所述待备份数据段的最新访问时间，得到所述待备份数据段的第一时间窗口值；当所述第一时间窗口值大于所述预设的高频访问时间窗口值，确定所述待备份数据段为第一目标数据段。4.根据权利要求3所述的一种数据存储方法，其特征在于，所述根据所述待备份数据段中记录的访问时间信息与预设的中频访问时间窗口值，从混合访问类型的待备份数据段中筛选出目标数据段，包括：用当前时间减去所述本地访问类型的待备份数据段的最新访问时间，得到所述待备份数据段的第二时间窗口值；当所述第二时间窗口值大于所述预设的高频访问时间窗口值与中频访问时间窗口值之和时，确定所述待备份数据段为第二目标数据段。5.根据权利要求1所述的一种数据存储方法，其特征在于，所述根据预设的记录时间周期内对所述待备份数据段的访问频率统计信息，删除所述待备份数据段列表中目标数据段的目标文件数据，包括：获取所述待备份数据段列表中每个待备份数据段，并记录每个所述待备份数据段的访
问频率统计信息；根据所述预设的记录时间周期内所述待备份数据段的访问频率统计信息以及预设的高频访问频率阈值和中频访问频率阈值，从所述待备份数据段中筛选出目标数据段；删除所述目标数据段的目标文件数据。6.根据权利要求5所述的一种数据存储方法，其特征在于，所述根据所述预设的记录时间周期内所述待备份数据段的访问频率统计信息以及预设的高频访问频率阈值和中频访问频率阈值，从所述待备份数据段中筛选出目标数据段，包括：当所述待备份数据段已完整存储到所述第二存储对象时，从所述待备份数据段的访问频率统计信息中确定所述待备份数据段在预设的记录时间周期内的被访问频率值；当所述被访问频率值小于所述高频访问阈值，且所述被访问频率值大于等于所述中频访问阈值时，确定所述待备份数据段为第一目标数据段。7.根据权利要求6所述的一种数据存储方法，其特征在于，所述根据所述预设的...

【专利技术属性】
技术研发人员：毕杰山，姜国强，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：