数据增量同步方法及装置制造方法及图纸

本申请实施例提供一种数据增量同步方法及装置，通过接收同步信息，并接收每批次同步的待同步数据量；基于待同步数据量和同步信息，在待同步数据源中确定当前批次的待同步数据，确定字段映射规则；当目标索引名称对应的目标文件存在的情况下，对比数据源中待同步数据的版本号与待同步搜索服务器中所保存数据的版本号，若版本号不相同，基于预设冲突策略进行处理；基于待同步数据确定对于待同步搜索服务器的批量插入命令，使待同步搜索服务器响应于批量插入命令，按照字段映射规则写入待同步数据；重复执行上述步骤，直至不存在剩余数据或达到同步结束位置。该方法有效解决了数据一致性差等方面的不足，显著提升了数据同步一致性、效率和鲁棒性。

【技术实现步骤摘要】

本申请涉及数据处理，具体涉及一种数据增量同步方法及装置。

技术介绍

1、将数据源中的数据高效、准确的同步至带搜索服务器是常见的需求，现有技术中，通常可以通过固定字段映射规则进行全量或定时增量的方式进行同步，然而，上述方式在处理数据结构动态变化的情况下显得僵化，需要频繁人工接入调整固定字段映射规则，维护成本较高。

2、同时，在数据同步过程中若存在版本冲突，缺乏灵活有效的自动化处理机制，导致同步的数据不一致或同步终端，且每批处理的待同步数据量设置不当或数据超限容易导致同步失败，难以准确定位恢复点，影响同步效率和可靠性，尤其在待同步数据量较大的情况下，适应性和容错性较差，难以满足高效、稳定的数据同步需求。

技术实现思路

1、针对现有技术中的问题，本申请提供一种数据增量同步方法及装置，能够有效解决传统技术在同步数据的过程中效率较低，维护成本高昂，数据一致性难以保障且鲁棒性较差等方面的不足，显著提升数据同步的效率和鲁棒性。

2、为了解决上述问题中的至少一个，本申请提供以下技术方案：

本文档来自技高网...

【技术保护点】

1.一种数据增量同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，基于所述待同步数据量和所述同步信息，在所述待同步数据源中确定当前批次的待同步数据，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述待同步数据量和所述同步信息，在所述待同步数据源中确定当前批次的待同步数据，包括：

4.根据权利要求1所述的方法，其特征在于，基于当前所述批次的待同步数据，动态生成待同步搜索服务器的字段映射规则，包括：

5.根据权利要求1所述的方法，其特征在于，在重复执行所述基于所述待同步数据量和所述同步信息，在所述待同步数据...

【技术特征摘要】

1.一种数据增量同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，基于所述待同步数据量和所述同步信息，在所述待同步数据源中确定当前批次的待同步数据，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述待同步数据量和所述同步信息，在所述待同步数据源中确定当前批次的待同步数据，包括：

4.根据权利要求1所述的方法，其特征在于，基于当前所述批次的待同步数据，动态生成待同步搜索服务器的字段映射规则，包括：

5.根据权利要求1所述的方法，其特征在于，在重复执行所述基于所述待同步数据量和所述同步信息，在所述待同步数据源中确定当前批次的待同步数据的步骤，直至所述待同步数据源中不存在剩余数据或达到所述同步...

【专利技术属性】
技术研发人员：明治，徐建，焦永利，
申请(专利权)人：富盛科技股份有限公司，
类型：发明
国别省市：