数据存储方法、装置及存储介质制造方法及图纸

本申请提供一种数据存储方法、装置及存储介质，该方法通过对热库中的待处理数据表，创建查询并发线程，进而，基于该查询并发线程，确定上述待处理数据表中每一数据表的相关配置，并根据该相关配置，将上述热库中的相关数据复制到冷库，并在上述热库中删除满足预设删除条件的数据。其中，无须大量的改造业务系统代码，因此只需投入很少的人力成本就可以完成冷热库分离。而且，本申请实施例可以被多个业务接入，具有通用能力，更进一步的提高效率，减少人力成本。另外，本申请实施例可以在数据迁移过程中随时调整相关数据，以保证数据迁移不会影响业务系统正常的服务能力，可以做到平滑迁移。移。移。

【技术实现步骤摘要】
数据存储方法、装置及存储介质


[0001]本申请涉及数据存储
，尤其涉及一种数据存储方法、装置及存储介质。

技术介绍

[0002]数据量激增带来存储需求的不断提高，导致单个数据库出现性能瓶颈。为了解决该问题，现有对数据库进行冷库和热库分离来优化存储空间，将近期产生、高频访问的热数据存储在热库，过去产生、不常访问的冷数据存储在冷库。
[0003]相关技术中，现有在进行冷库和热库分离时，通常基于双写、数据库日志同步等进行数据迁移。以双写为例，双写的步骤是：业务系统将原数据库全量数据备份到冷库；将产生的数据双写到两个库；删除原数据库历史数据。
[0004]但是，现有在进行冷库和热库分离时，数据迁移需要改造业务系统代码，需要各个业务各自定制，导致工程周期长、人工成本高。

技术实现思路

[0005]为解决现有技术中存在的问题，本申请提供一种数据存储方法、装置及存储介质。
[0006]第一方面，本申请实施例提供一种数据存储方法，所述方法包括：
[0007]根据热库中的待处理数据表，创建查询并发线程，其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：根据热库中的待处理数据表，创建查询并发线程，其中，所述待处理数据表中的每一个数据表分别对应所述查询并发线程中的一个线程；基于所述查询并发线程，确定所述待处理数据表中每一数据表的相关配置；根据所述待处理数据表中每一数据表的相关配置，从所述待处理数据表中获取满足预设迁移条件的目标数据表；基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关数据，在所述热库中删除满足预设删除条件的数据。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据表，将所述热库中的相关数据复制到冷库，包括：获取所述目标数据表中的各个迁移基准字段，所述各个迁移基准字段中的每一迁移基准字段用于唯一标识所述目标数据表中的一条数据；在所述冷库中查询所述各个迁移基准字段对应的数据；根据查询结果，将所述热库中的相关数据复制到所述冷库。3.根据权利要求2所述的方法，其特征在于，所述根据查询结果，将所述热库中的相关数据复制到所述冷库，包括：若所述冷库中没有迁移基准字段i对应的数据，则将所述迁移基准字段i对应的数据复制到所述冷库，其中，所述迁移基准字段i为所述各个迁移基准字段中的任意一个迁移基准字段，i＝1,
…
,n，n等于所述各个迁移基准字段的数目；若所述冷库中有所述迁移基准字段i对应的数据，则将所述冷库中所述迁移基准字段i对应的数据与所述热库中所述迁移基准字段i对应的数据进行比较，若比较不同，则基于所述热库中所述迁移基准字段i对应的数据，更新所述冷库中所述迁移基准字段i对应的数据。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据热库中的待处理数据表，创建查询并发线程，包括：根据所述待处理数据表，为所述待处理数据表中的每一个数据表创建查询锁和游标值，其中，所述查询锁包括锁标识和锁状态，所述游标值包括由关键字
‑
值组成的映射表，关键字表示游标字段，值表示当前的游标值；根据所述待处理数据表中的每一个数据表创建的查询锁和游标值，以及预设分片大小和预设分片游标字段，创建所述查询并发线程，其中，所述预设分片大小表示每次读取数据条数，所述预设分片游标字段用于标识所述查询并发线程中每个线程读取的数据。5.根据权利要求1至3中任一项所述的方法，其特征在于，在所述基于所述目标数据表，将所述热库中的相关数据复制到冷库，并根据复制到所述冷库的所述热库中的相关...

【专利技术属性】
技术研发人员：方飞，黄跃文，吕昊航，黎勇，
申请(专利权)人：杭州优行科技有限公司，
类型：发明
国别省市：