一种数据清理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种数据清理方法、装置、设备及介质。该方法包括：当满足数据清理条件时，根据数据库的事务状态信息及全局历史数据链表，确定数据库在当前时刻的全局事务信息；确定全局历史数据链表中待判断的当前历史数据，基于全局事务信息及预设时间窗口，对当前历史数据进行清理判断；在清理判断结果满足清理条件时进行当前历史数据的清理。通过全局事务信息及预设时间窗口综合对当前历史数据进行清理判断，在满足清理条件时进行当前历史数据的清理，实现了对历史版本数据周期性的自动清理，及时释放了磁盘空间，避免了历史版本数据被提前清理的问题，同时满足了全局事务的一致性。性。性。

【技术实现步骤摘要】
一种数据清理方法、装置、设备及介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据清理方法、装置、设备及介质。

技术介绍

[0002]分布式数据库是将业务的结构化查询语言(StructuredQuery Language，SQL)请求分解到多个单机数据库上执行。在单机数据库使用全局多版本并发控制技术时，会产生数据的多个版本，如果不及时清理历史版本数据的话，会造成数据文件的膨胀。
[0003]目前，进行单机数据库历史数据清理的方式为单机数据库会遍历所有当前活跃的事务，找到最早创建快照的事务oldest_trx，用它的本地事务快照判断生成历史数据版本的事务trx1是否在oldest_trx创建快照之前提交，如果是，那么这个历史数据版本可以清理；否则，不能清理。基于此方法的核心是如果事务trx1修改的最新版本数据已经可以被当前所有活跃事务基于本地事务快照读到，那么就不再需要事务trx1生成的历史版本数据了。
[0004]但是这种判断方式使用的是最早创建快照的事务的本地事务快照，如果使用所有活跃事务中最小的分布式事务快照s本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据清理方法，其特征在于，包括：当满足数据清理条件时，根据数据库的事务状态信息及全局历史数据链表，确定所述数据库在当前时刻的全局事务信息；确定所述全局历史数据链表中待判断的当前历史数据，基于所述全局事务信息及预设时间窗口，对所述当前历史数据进行清理判断；在清理判断结果满足清理条件时进行所述当前历史数据的清理。2.根据权利要求1所述的方法，其特征在于，所述根据数据库的事务状态信息及全局历史数据链表，确定所述数据库在当前时刻的全局事务信息，包括：根据数据库的事务状态信息，确定所述数据库中的最早事务快照，并判断所述数据库在当前时刻是否存在活跃事务；根据活跃事务判断结果及确定出的上一最小快照时间戳，确定数据库在当前时刻的当前最小快照时间戳；将所述当前最小快照时间戳及所述最早事务快照作为所述全局事务信息。3.根据权利要求2所述的方法，其特征在于，所述根据活跃事务判断结果，及确定出的上一最小快照时间戳，确定数据库在当前时刻的当前最小快照时间戳，包括：当所述活跃事务判断结果为存在活跃事务时，确定所述数据库中包括活跃事务的快照时间戳的最小值，并将所述最小值作为所述中间最小时间戳；当所述活跃事务判断结果为不存在活跃事务时，则获取所述数据库的最大时间戳，并基于所述最大时间戳确定所述中间最小时间戳；根据所述中间最小时间戳及所述上一最小快照时间戳，确定所述当前最小快照时间戳。4.根据权利要求1所述的方法，其特征在于，所述确定所述全局历史数据链表中待判断的当前历史数据，基于所述全局事务信息及预设时间窗口，对所述当前历史数据进行清理判断，包括：对所述全局历史数据链表进行遍历，根据上一历史数据的上一清理判断结果，确定待判断的当前历史数据，并获取所述当前历史数据所属事务的全局提交时间戳；通过所述全局事务信息中包括的最早事务快照判断所述当前历史数据是否可清理，确定第一判断结果；通过所述全局提交时间戳、所述全局事务信息中包括的当前最小快照时间戳及所述预设时间窗口判断所述当前历史数据是否可清理，确定第二判断结果；根据所述第一判断结果及所述第二判断结果，对所述当前历史数据进行清理判断，确定所述当前历史数据的清理判断结果。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一判断结果及所述第二判断结果，对所述当前历史数据进行清理判断，确定所述当前历史数据的清理判断结果，包括：若所述第一判断结果及所述第二判断结果均为清理时，则将执行清理所述当前历史数据作为所述清理判断结果；否则，将不执行清理所述当前历史数据作为...

【专利技术属性】
技术研发人员：丛阳，
申请(专利权)人：星环信息科技上海股份有限公司，
类型：发明
国别省市：