数据处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及存储介质，属于通信技术领域。该方法包括：获取数据操作请求对应的主记录；确定所述主记录对应的空闲状态的子记录，其中，所述子记录是基于所述主记录对应的预设拆分规则所创建的；基于所述数据操作请求，对所述空闲状态的子记录进行更新；基于更新后的空闲状态的子记录，对所述主记录进行更新。故本申请将主记录拆分成多条子记录，在数据访问更新过程中不再直接对主记录进行数据更新操作，而是对子记录进行数据更新操作，避免了单记录由于记录锁导致的更新性能瓶颈，进一步提升了数据更新的整体性能，提升了数据更新访问的并发性能。提升了数据更新访问的并发性能。提升了数据更新访问的并发性能。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请涉及通信
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]目前的数据库处理技术中，采用垂直(纵向)拆分或水平拆分的切分模式对数据库进行拆分，即将同一数据库中的数据分散存放到多个数据库上，拆分维度在数据库表级，对数据更新性能提升有限。

技术实现思路

[0003]本申请的主要目的在于提供一种数据处理方法、装置、设备及存储介质，旨在解决现有数据切分模式对数据更新性能提升有限的技术问题。
[0004]为实现上述目的，本申请提供一种数据处理方法、装置、设备及存储介质，包括以下步骤：
[0005]获取数据操作请求对应的主记录；
[0006]确定所述主记录对应的空闲状态的子记录，其中，所述子记录是基于所述主记录对应的预设拆分规则所创建的；
[0007]基于所述数据操作请求，对所述空闲状态的子记录进行更新；
[0008]基于更新后的空闲状态的子记录，对所述主记录进行更新。
[0009]可选地，所述确定所述主记录对应的空闲状态的子记录的步骤，包括：
[0010]若所述主记录对应的记录池中存在空闲状态的子记录，则从所述记录池中获取空闲状态的子记录；
[0011]若所述主记录对应的记录池中不存在空闲状态的子记录，则基于预设拆分规则，获取空闲状态的子记录。
[0012]可选地，所述预设拆分规则包括最大数量阈值，所述若所述主记录对应的记录池中不存在空闲状态的子记录，则基于预设拆分规则，获取空闲状态的子记录的步骤，包括：
[0013]若所述记录池中不存在空闲状态的子记录且不存在子记录，或者若所述记录池中不存在空闲状态的子记录且子记录数量未达到最大数量阈值，则创建空闲状态的子记录，并将创建的空闲状态的子记录加入至所述记录池；
[0014]若所述记录池中不存在空闲状态的子记录，且子记录数量达到最大数量阈值，则在锁定状态的子记录完成更新后，对其进行解锁以及状态的更新，得到空闲状态的子记录，或者对数据已回收状态的子记录进行状态更新，得到空闲状态的子记录。
[0015]可选地，所述基于所述数据操作请求，对所述空闲状态的子记录进行更新的步骤，包括：
[0016]若所述空闲状态的子记录的数据更新额度满足更新条件，则基于所述数据操作请求，对所述空闲状态的子记录进行更新；
[0017]若所述空闲状态的子记录的数据更新额度不满足更新条件，则基于预设拆分规则
中的数据划扣额度阈值，从所述主记录的数据变更额度中划扣指定数据额度到所述空闲状态的子记录，直至所述空闲状态的子记录的数据更新额度满足更新条件；
[0018]基于所述数据操作请求，对所述空闲状态的子记录进行更新；
[0019]其中，所述更新条件为所述空闲状态的子记录的数据更新额度大于或等于所述数据操作请求对应的数值。
[0020]可选地，所述基于所述数据操作请求，对所述空闲状态的子记录进行更新的步骤，包括：
[0021]对所述空闲状态的子记录进行锁定，得到锁定状态的子记录；
[0022]基于所述数据操作请求，对所述锁定状态的子记录进行更新；
[0023]在更新结束后，对所述锁定状态的子记录进行解锁，得到更新后的空闲状态的子记录。
[0024]可选地，所述基于更新后的空闲状态的子记录，对所述主记录进行更新的步骤，包括：
[0025]周期性获取所述主记录对应的记录池中更新后的空闲状态的子记录，并统计更新后的空闲状态的子记录的数量；
[0026]在所述更新后的空闲状态的子记录的数量大于预设拆分规则中的最小数量阈值时，监测更新后的空闲状态的子记录所对应的空闲时间；
[0027]若所述空闲时间大于预设拆分规则中的空闲时间阈值，则将所述更新后的空闲状态的子记录中的数据更新至所述主记录，并将所述更新后的空闲状态的子记录的状态更新为数据已回收状态。
[0028]可选地，所述基于更新后的空闲状态的子记录，对所述主记录进行更新的步骤之后，还包括：
[0029]周期性获取所述主记录对应的记录池中的数据已回收状态的子记录；
[0030]监测所述数据已回收状态的子记录所对应的回收时间；
[0031]若所述回收时间大于预设拆分规则中的回收时间阈值，则从所述主记录对应的记录池中删除所述数据已回收状态的子记录。
[0032]此外，为实现上述目的，本申请还提供一种数据处理装置，所述装置包括：
[0033]获取模块，用于获取数据操作请求对应的主记录；
[0034]确定模块，用于确定所述主记录对应的空闲状态的子记录，其中，所述子记录是基于所述主记录对应的预设拆分规则所创建的；
[0035]第一更新模块，用于基于所述数据操作请求，对所述空闲状态的子记录进行更新；
[0036]第二更新模块，用于基于更新后的空闲状态的子记录，对所述主记录进行更新。
[0037]此外，为实现上述目的，本申请还提供一种数据处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序配置为实现如上所述的数据处理方法的步骤。
[0038]此外，为实现上述目的，本申请还提供一种存储介质，其特征在于，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。
[0039]本申请公开了一种数据处理方法、装置、设备及存储介质，与现有技术中，数据切
分模式对数据更新性能提升有限相比，本申请首先获取数据操作请求对应的主记录，确定主记录对应的空闲状态的子记录，其中，子记录是基于主记录对应的预设拆分规则所创建的，然后基于数据操作请求对空闲状态的子记录进行数更新，最后基于更新后的空闲状态的子记录，对主记录进行更新，所以本申请将主记录拆分成多条子记录，在数据访问更新过程中不再直接对主记录进行数据更新操作，而是对子记录进行数据更新操作，避免了单记录由于记录锁导致的更新性能瓶颈，进一步提升了数据更新的整体性能，提升了数据更新访问的并发性能。
附图说明
[0040]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0041]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042]图1为本申请数据处理方法第一实施例的流程示意图；
[0043]图2为本申请数据处理方法中步骤S20的细化步骤流程示意图；
[0044]图3为本申请数据处理方法中步骤S30的细化步骤流程示意图；
[0045]图4为本申请数据处理方法中步骤S40的细化步骤流程示意图；
[0046]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：获取数据操作请求对应的主记录；确定所述主记录对应的空闲状态的子记录，其中，所述子记录是基于所述主记录对应的预设拆分规则所创建的；基于所述数据操作请求，对所述空闲状态的子记录进行更新；基于更新后的空闲状态的子记录，对所述主记录进行更新。2.如权利要求1所述的数据处理方法，其特征在于，所述确定所述主记录对应的空闲状态的子记录的步骤，包括：若所述主记录对应的记录池中存在空闲状态的子记录，则从所述记录池中获取空闲状态的子记录；若所述主记录对应的记录池中不存在空闲状态的子记录，则基于预设拆分规则，获取空闲状态的子记录。3.如权利要求2所述的数据处理方法，其特征在于，所述预设拆分规则包括最大数量阈值，所述若所述主记录对应的记录池中不存在空闲状态的子记录，则基于预设拆分规则，获取空闲状态的子记录的步骤，包括：若所述记录池中不存在空闲状态的子记录且不存在子记录，或者若所述记录池中不存在空闲状态的子记录且子记录数量未达到最大数量阈值，则创建空闲状态的子记录，并将创建的空闲状态的子记录加入至所述记录池；若所述记录池中不存在空闲状态的子记录，且子记录数量达到最大数量阈值，则在锁定状态的子记录完成更新后，对其进行解锁以及状态的更新，得到空闲状态的子记录，或者对数据已回收状态的子记录进行状态更新，得到空闲状态的子记录。4.如权利要求1所述的数据处理方法，其特征在于，所述基于所述数据操作请求，对所述空闲状态的子记录进行更新的步骤，包括：若所述空闲状态的子记录的数据更新额度满足更新条件，则基于所述数据操作请求，对所述空闲状态的子记录进行更新；若所述空闲状态的子记录的数据更新额度不满足更新条件，则基于预设拆分规则中的数据划扣额度阈值，从所述主记录的数据额度中划扣指定数据额度到所述空闲状态的子记录，直至所述空闲状态的子记录的数据更新额度满足更新条件；基于所述数据操作请求，对所述空闲状态的子记录进行更新；其中，所述更新条件为所述空闲状态的子记录的数据更新额度大于或等于所述数据操作请求对应的数值。5.如权利要求1或4所述的数据处理方法，其特征在于，所...

【专利技术属性】
技术研发人员：林浩，陈黎明，张小磊，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：