一种数据处理方法、存储介质与设备技术

本发明专利技术涉及数据库领域，特别是涉及一种数据处理方法、存储介质与设备。该数据处理方法包括：在解析事务时，获取事务内数据操作的属性信息，其中，数据操作的属性信息包括数据操作的数量、每条数据操作的操作类型和操作对象的至少之一；根据数据的属性信息，判断事务是否符合预设的批量入库条件；若是，则以预设标记方式标记事务。本发明专利技术的数据处理方法，对符合预设的批量入库条件进行标记的事务进行标记，实现了将可以以批量入库的方式入库的事务和其他日志区分开来，避免了在批量入库阶段内不必要的报错问题，从而保证了数据同步的稳定性。性。性。

【技术实现步骤摘要】
一种数据处理方法、存储介质与设备


[0001]本专利技术涉及数据库领域，特别是涉及一种数据处理方法、存储介质与设备。

技术介绍

[0002]在利用数据同步软件进行数据实时同步时分为三个阶段：第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。
[0003]在第二阶段进行增量数据同步时，通过分析数据库日志获取增量数据，从而实现数据实时同步是一种常用的实时数据复制技术。这种技术通过解析源数据库的在线日志或者归档日志，获得数据的增删改变化，再将这些变化以事务为单位转换为同步软件内部特定的消息格式，通过数据同步软件的私有传输协议发送到目标端数据同步软件，最后目标端同步软件将获取到的事务日志恢复成目标数据库支持的SQL语句并在目标端数据库上执行，来实现数据的实时同步，进而保持源端和目标数据库的数据一致性。
[0004]实际上由于数据同步软本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：在解析事务时，获取所述事务内数据操作的属性信息，其中，所述数据操作的属性信息包括数据操作的数量、每条数据操作的操作类型和操作对象的至少之一；根据所述数据的属性信息，判断所述事务是否符合预设的批量入库条件；若是，则以预设标记方式标记所述事务。2.根据权利要求1所述的数据处理方法，其中，所述操作类型包括插入、更新和删除，所述预设的批量入库条件为事务仅包括针对同一操作对象的插入操作且插入操作的数量大于等于预设数量阈值；并且根据所述数据的属性信息，判断所述事务是否符合预设的批量入库条件的步骤包括：判断所述事务内数据操作的数量是否大于等于所述预设数量阈值；若否，则确定所述事务不符合预设的批量入库条件；若是，则根据每条数据操作的操作类型和操作对象，判断所述事务是否仅包括针对同一操作对象的插入操作；若否，则确定所述事务不符合预设的批量入库条件；若是，则确定所述事务符合预设的批量入库条件。3.根据权利要求2所述的数据处理方法，其中，根据每条数据操作的操作类型和操作对象，判断所述事务是否仅包括针对同一操作对象的插入操作的步骤包括：由头至尾依次确定所述事务内每条数据操作的操作类型和操作对象；在所述事务内数据操作的操作类型均为插入且操作对象均相同的情况下，确定所述事务仅包括针对同一操作对象的插入操作；在任一条数据操作的操作类型不为插入或任一条数据操作的操作对象与上一条数据操作的操作对象不相同的情况下，确定所述事务不是仅包括针对同一操作对象的插入操作。4.根据权利要求1所述的数据处理方法，其中，所述操作类型包括插入、更新和删除，所述预设的批量入库条件为事务内连续针对同一操作对象的插入操作的数量大于等于预设数量阈值；并且根据所述数据的属性信息，判断所述事务是否符合预设的批量入库条件的步骤包括：根据每条数据操作的操作类型和操作对象，判断所述事务是否包含连续针对同一操作对象的多条插入操作；若否，则确定所述事务不符合预设的批量入库条件；若是，则判断所述事务包含的所述连续针对同一操作对象的插入操作的数量是否大于等于所述预设数量阈值；若否，则确定所述事务不符合预设的批量入库条件；若是，则确定所述事务符...

【专利技术属性】
技术研发人员：王凯龙，冷建全，
申请(专利权)人：北京人大金仓信息技术股份有限公司，
类型：发明
国别省市：