一种数据更新的同步方法及相关装置制造方法及图纸

本申请公开了一种数据更新的同步方法及相关装置，该方法包括：在B+树数据库的B+树数据表同步至LSM树数据库得到LSM树数据表后，获取B+树数据表的当前B+树数据更新信息；其中，LSM树数据表包括删除标识列和数据版本列；在当前B+树数据更新信息的基础上，对插入数据、插入数据对应的删除标识字段值和数据版本字段值进行配置，得到LSM树数据插入信息；以LSM树数据插入信息更新LSM树数据表。可见，该方式将当前B+树数据更新信息转换为LSM树数据插入信息，使得LSM树数据库在数据更新时，基于LSM树数据插入信息执行高性能的数据插入操作，B+树数据库与LSM树数据库之间同步数据更新代价降低且效率提高。降低且效率提高。降低且效率提高。

【技术实现步骤摘要】
一种数据更新的同步方法及相关装置


[0001]本申请涉及数据处理
，尤其涉及一种数据更新的同步方法及相关装置。

技术介绍

[0002]B+树数据库中数据量增大时，B+树关系数据库对数据分析的性能会降低，需要将B+树数据库中数据同步到日志化结构合并(英文：Log Structured Merge，缩写：LSM)树数据库，以进行专业的数据分析。当B+树数据库中数据发生更新时，LSM树数据库中对应的数据也需要更新。
[0003]在数据更新方面，对B+树数据库中数据可以进行原地更新，该方式使得B+树数据库的事务支持更加友好；而对LSM树数据库中对应的数据进行同步的原地更新，需要在LSM树数据库中重写对应的整个数据块，该方式代价高、效率低；从而导致B+树数据库中数据更新在同步至LSM树数据库时，存在代价高、效率低的问题。

技术实现思路

[0004]有鉴于此，本申请提供一种数据更新的同步方法及相关装置，使得B+树数据库中数据更新在同步至LSM树数据库时，代价降低且效率提高。
[0005]第一方面，本申请实施例提供了一种数据更新的同步方法，所述方法包括：
[0006]在B+树数据库的B+树数据表同步至日志化结构合并LSM树数据库获得LSM树数据表后，获取所述B+树数据表的当前B+树数据更新信息；所述LSM树数据表包括删除标识列和数据版本列；
[0007]基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息；
[0008]基于所述LSM树数据插入信息，更新所述LSM树数据表。
[0009]可选的，所述当前B+树数据更新信息包括当前B+树数据修改信息、当前B+树数据删除信息和当前B+树数据插入信息中至少一种。
[0010]可选的，所述当前B+树数据更新信息包括所述当前B+树数据修改信息，所述基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息，包括：
[0011]获取所述当前B+树数据修改信息对应的旧数据记录、新数据记录和更新次数；
[0012]将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除、所述旧数据记录对应的数据版本字段值表示所述更新次数，以及所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除、所述新数据记录对应的数据版本字段值表示所述更新次数，获得所述LSM树数据插入信息。
[0013]可选的，所述当前B+树数据更新信息包括所述当前B+树数据删除信息，所述基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版
本字段值进行配置，获得LSM树数据插入信息，包括：
[0014]获取所述当前B+树数据删除信息对应的旧数据记录和更新次数；
[0015]将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除和所述旧数据记录对应的数据版本字段值表示所述更新次数，获得所述LSM树数据插入信息。
[0016]可选的，所述当前B+树数据更新信息包括所述当前B+树数据插入信息，所述基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息，包括：
[0017]获取所述当前B+树数据插入信息对应的新数据记录和更新次数；
[0018]将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除和所述新数据记录对应的数据版本字段值表示所述更新次数，获得所述LSM树数据插入信息。
[0019]可选的，所述方法还包括：
[0020]在对所述LSM树数据表进行数据记录查询时，以所述数据记录查询请求携带的数据记录标识、表示非删除的删除标识字段值和所述数据记录标识对应的表示最新更新次数的数据版本字段值为查询条件，查询所述LSM树数据表中数据记录。
[0021]可选的，所述方法还包括：
[0022]在所述LSM树数据表中增加时间戳列，所述时间戳列对应的时间戳字段值用于记录B+树数据更新信息对应的更新时间；
[0023]在所述B+树数据表数据更新后，读取所述B+树数据表中数据记录，获得所述B+树数据表中各字段列对应的第一统计数据和读取时间；
[0024]在间隔所述读取时间预设时间段后，以每个数据记录标识、表示非删除的删除标识字段值、所述数据记录标识对应的表示最新更新次数的数据版本字段值和表示早于所述读取时间的时间戳字段值为读取条件，读取所述LSM树数据表中数据记录，获得所述LSM树数据表中所述各字段列对应的第二统计数据；
[0025]若所述第二统计数据与所述第一统计数据不一致，提示所述LSM树数据表与所述B+树数据表之间数据不一致。
[0026]第二方面，本申请实施例提供了一种数据更新的同步装置，所述装置包括：
[0027]获取单元，用于在B+树数据库的B+树数据表同步至日志化结构合并LSM树数据库获得LSM树数据表后，获取所述B+树数据表的当前B+树数据更新信息；所述LSM树数据表包括删除标识列和数据版本列；
[0028]第一获得单元，用于基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息；
[0029]更新单元，用于基于所述LSM树数据插入信息，更新所述LSM树数据表。
[0030]可选的，所述当前B+树数据更新信息包括当前B+树数据修改信息、当前B+树数据删除信息和当前B+树数据插入信息中至少一种。
[0031]可选的，所述当前B+树数据更新信息包括所述当前B+树数据修改信息，所述第一获得单元，用于：
[0032]获取所述当前B+树数据修改信息对应的旧数据记录、新数据记录和更新次数；
[0033]将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除、所述旧数据记录对应的数据版本字段值表示所述更新次数，以及所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除、所述新数据记录对应的数据版本字段值表示所述更新次数，获得所述LSM树数据插入信息。
[0034]可选的，所述当前B+树数据更新信息包括所述当前B+树数据删除信息，所述第一获得单元，用于：
[0035]获取所述当前B+树数据删除信息对应的旧数据记录和更新次数；
[0036]将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除和所述旧数据记录本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据更新的同步方法，其特征在于，包括：在B+树数据库的B+树数据表同步至日志化结构合并LSM树数据库获得LSM树数据表后，获取所述B+树数据表的当前B+树数据更新信息；所述LSM树数据表包括删除标识列和数据版本列；基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息；基于所述LSM树数据插入信息，更新所述LSM树数据表。2.根据权利要求1所述的方法，其特征在于，所述当前B+树数据更新信息包括当前B+树数据修改信息、当前B+树数据删除信息和当前B+树数据插入信息中至少一种。3.根据权利要求2所述的方法，其特征在于，所述当前B+树数据更新信息包括所述当前B+树数据修改信息，所述基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息，包括：获取所述当前B+树数据修改信息对应的旧数据记录、新数据记录和更新次数；将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除、所述旧数据记录对应的数据版本字段值表示所述更新次数，以及所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除、所述新数据记录对应的数据版本字段值表示所述更新次数，获得所述LSM树数据插入信息。4.根据权利要求2所述的方法，其特征在于，所述当前B+树数据更新信息包括所述当前B+树数据删除信息，所述基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息，包括：获取所述当前B+树数据删除信息对应的旧数据记录和更新次数；将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除和所述旧数据记录对应的数据版本字段值表示所述更新次数，获得所述LSM树数据插入信息。5.根据权利要求2所述的方法，其特征在于，所述当前B+树数据更新信息包括所述当前B+树数据插入信息，所述基于所述当前B+树数据更新信息，对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置，获得LSM树数据插入信息，包括：获取所述当前B+树数据插入信息对应的新数据记录和更新次数；将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值，配置为所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除和所述新数据记录对应的数据版本字段值表示所述更新次数，获得所述LSM树数据插入信息。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：在对所述LSM树数据表进行数据记录查询时，以所述数据记录查询请求携带的数据记录标识、表示非删除的删除标识字段值和所述数据记录标识对应的表示最新更新次数的数据版本字段值为查询条件，查询所述LSM树数据表中数据记录。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述LSM树数据表中增加时间戳列，所述时间戳列对应的时间戳字段值用于记录B+树数据更新信息对应的更新时间；
在所述B+树数据表数据更新后，读取所述B+树数据表中数据记录，获得所述B+树数据表中各字段列对应的第一统计数据和读取时间；在间隔所述读取时间预设时间段后，以每个数据记录标识、表示非删除的删除标识字段值、所述数据记录标识对应的表示最新更新次数的数据版本字段值和表示早于所述读取时间的时间戳字段值为读取条件，读取所述LSM树数据表中数据记录，获得所述LSM树数据表中所述各字段列对应的第二统...

【专利技术属性】
技术研发人员：严翔，程磊，张峰，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：