一种数据同步自动遍历方法技术

本发明专利技术公开了一种数据同步自动遍历方法，包括获取当前待同步数据的主键信息；将遍历结果存储到链表中；计算所需遍历数据库表中数据总量，根据预设数值进行强行分页，在分页节点添加页面标识作为遍历的结点；判断每条数据链表内是否存在所述页面标识，若存在，则遍历下一页数据；判断已遍历数据链表内是否存在未遍历数据；直至全部数据库表内数据遍历完毕，结束遍历完成数据同步。本发明专利技术通过在数据同步的遍历过程中，进行全部数据的分页处理，分页遍历数据库表内的数据，减小对CPU的损耗，降低单元数据对服务器的压力，提高系统的吞吐率和性能。能。

【技术实现步骤摘要】
一种数据同步自动遍历方法


[0001]本
技术实现思路
涉及数据处理
，尤其涉及一种数据同步自动遍历方法。

技术介绍

[0002]在软件系统开发过程中，无可避免的需要需要存储大量数据，为了数据维护、查找方便，在处理存储大量数据时，为了保证数据本身能够及时更新、删除，需要对数据库的全量数据进行同步时，以及避免遍历操作长时间独占CPU，使用遍历list获得每一个数据。
[0003]分段遍历过程中，通常需要先了解应用程序的运行逻辑，然后根据程序运行逻辑编写针对这个应用程序的测试程序，来实现遍历整个应用程序界面的工作，但是当不知道应用程序运行逻辑的情况下是很难正常进行遍历工作的，无法实现批量的自动遍历；另外直接全量数据进行遍历的方法性能比较低，同时也容易损耗CPU，影响程序性能。

技术实现思路

[0004]本
技术实现思路
所要解决的技术问题是针对
技术介绍
中所涉及到的缺陷，提供一种数据同步自动遍历方法，通过设置遍历分页节点进行数据遍历，保证数据快速遍历完毕，复杂度低且性能效率高。
[0005]本专利技术内容的目的及解决的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步自动遍历方法，其特征在于，包括以下步骤：(1)获取当前待同步数据的主键信息，所述主键信息中包括数据标识和数据文本；(2)将遍历结果存储到链表中；(3)计算所需遍历数据库表中数据总量，根据预设数值进行强行分页，每页数据条数固定，在分页节点添加页面标识作为遍历的结点；(4)判断每条数据链表内是否存在所述页面标识，若存在，则遍历下一页数据；(5)判断已遍历数据链表内是否存在未遍历数据，对比已遍历链表数据数量和遍历前设定的数据数量是否一致，如果不是，则重复此步骤；(6)直至已遍历数据链表数据数量达到遍历界面最大值，全部数据库表内数据遍历完毕，结束遍历完成数据同步。2.根据权利要求1所述的数据同步自动遍历方法，其特征在于，所述分页后每页数据数量为提前设定。3.根据权利要求1所述的数据同步自动遍历方法，其特征在于，所述数据库表中存在空页时，跳过空页后进行遍历。4.根据权利要求3所述的数据同步自动遍历方法，其特征在于，所述数据库表中的数据为有序数据集合。5.根据权利要求1所述的数据同步自动遍历方法，其特征在于，根据数据...

【专利技术属性】
技术研发人员：董罡，杨雷，李印，吕浩，
申请(专利权)人：中企云链北京金融信息服务有限公司，
类型：发明
国别省市：