数据处理方法、装置及计算机可读存储介质制造方法及图纸

本申请提出一种数据处理方法、装置及计算机可读存储介质，其中，方法包括：获取待存储的目标数据和目标数据触发存储的时间戳；将目标数据存储至目标存储表中；基于时间戳为目标数据创建索引，并将索引存储至目标存储表中；按照预设的时间间隔扫描目标存储表中多个数据对应的索引，以确定多个数据中的过期数据。本申请实施例通过基于时间戳创建目标数据的索引，并且将索引存储至存储表中，使得存储表中存储的多个数据基于索引中的时间戳，可以具有有序性。在扫描过期数据时，扫描到时间戳在前的索引对应数据未过期的情况下，在后的多个索引对应的多个数据可以确定为未过期数据，从而简化扫描任务，提高扫描效率，进而提高删除过期数据的及时性。期数据的及时性。期数据的及时性。

【技术实现步骤摘要】
数据处理方法、装置及计算机可读存储介质


[0001]本申请涉及数据库管理
，尤其涉及一种数据处理方法、装置及计算机可读存储介质。

技术介绍

[0002]随着数据业务的不断发展，数据存储的量级也出现井喷式增长，在互联网服务中，通常采用基于分布式键值(Key
‑
Value，KV)存储系统的数据库进行数据存储。
[0003]分布式KV系统中，超过预设的保留时间的数据，被视为过期数据，需要删除。目前，对于过期数据的删除处理，及时性还有待加强。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置及计算机可读存储介质，以解决相关技术存在的问题，技术方案如下：
[0005]第一方面，本申请实施例提供了一种数据处理方法，包括：
[0006]获取待存储的目标数据和目标数据触发存储的时间戳；
[0007]将目标数据存储至目标存储表中；
[0008]基于时间戳为目标数据创建索引，并将索引存储至目标存储表中；
[0009]按照预设的时间间隔扫描目标存储表中多个数据对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待存储的目标数据和所述目标数据触发存储的时间戳；将所述目标数据存储至目标存储表中；基于所述时间戳为所述目标数据创建索引，并将所述索引存储至所述目标存储表中；按照预设的时间间隔扫描所述目标存储表中多个数据对应的所述索引，以确定所述多个数据中的过期数据；所述多个数据包括所述目标数据。2.根据权利要求1所述的方法，其特征在于，还包括：获取所述目标数据的第一业务属性；所述第一业务属性包括目标存储表的存活时间；所述第一业务属性，从预设的多个存储表中确定所述目标存储表。3.根据权利要求1所述的方法，其特征在于，所述索引还包括：所述目标存储表的表名、所述目标数据的键值和/或所述目标存储表的存活时间。4.根据权利要求1所述的方法，其特征在于，还包括：为所述目标存储表分配一个单独的定时器。5.根据权利要求4所述的方法，其特征在于，所述方法用于分布式存储系统中，所述分布式存储系统关联多个服务器，所述多个服务器用于为所述目标存储表分配定时器，所述服务器配置有用于限定定时器分配个数的第一上限值；所述方法还包括：确定目标服务器；所述目标服务器的已分配定时器个数小于所述第一上限值；通过所述目标服务器为所述目标存储表分配所述定时器。6.根据权利要求4所述的方法，其特征在于，所述方法用于分布式存储系统中，所述分布式存储系统关联多个服务器，一个所述服务器包括多个处理器；所述服务器配置有用于限定定时器分配个数的第一上限值；所述处理器配置有用于限定定时器分配个数的第二上限值；所述方法还包括：确定目标服务器，所述目标服务器的已分配定时器个数小于所述第一上限值；确定目标处理器，所述目标处理器的已分配定时器个数小于所述第二上限值；通过所述目标处理器为所述目标存储表分配所述定时器。7.根据权利要求5或6所述的方法，其特征在于，还包括：获取所述目标数据的第二业务属性，所述第二业务属性用于限定所述目标数据所存储服务器可以分配定时器个数的第三上限值；基于所述第二业务属性，确定目标服务器，所述目标服务器的已分配定时器个数小于所述第三上限值；根据所述第二业务属性，更新所述目标服务器可以分配定时器的最大个数为所述第三上限值。8.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：刘易，何钧，张伟丽，梁松涛，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：