数据处理方法、装置、设备及介质制造方法及图纸

本发明专利技术的实施方式提供了一种数据处理方法、装置、设备及介质。本发明专利技术的实施方式通过基于业务库的日志数据，确定待核对数据的核对需求信息，不同的核对需求信息对应于不同的数据获取位置，以便可以基于待核对数据的核对需求信息，确定待核对数据的目标数据获取位置，从而从目标数据获取位置处获取待核对数据，进而基于待核对数据进行数据核对处理，以在保证数据核对过程的实时性的前提下，实现对数据核对过程的分流处理，降低频繁访问业务数据库中同一位置的情况的出现，减少业务侵入压力，保障数据安全。数据安全。数据安全。

【技术实现步骤摘要】
数据处理方法、装置、设备及介质


[0001]本专利技术的实施方式涉及数据处理
，更具体地，本专利技术的实施方式涉及一种数据处理方法、装置、设备及介质。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着数据规模的增加，数据管理系统面临着更多的挑战，数据核对作为一种用于确保数据的准确性、完整性和一致性的重要技术，在数据管理系统中发挥着重要的作用。
[0004]通过数据核对处理，可以对不同数据源、不同数据副本或不同数据集之间的数据进行比对和验证，以保证数据的准确性、完整性和一致性。

技术实现思路

[0005]在本上下文中，本专利技术的实施方式期望提供一种数据处理方法、装置、设备及介质，以实现针对业务数据库的数据核对处理，保障数据安全。
[0006]在本专利技术实施方式的第一方面中，提供了一种数据处理方法，该方法包括：
[0007]基于业务数据库的日志数据，确定待核对数据的核对需求信息，核对需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：基于业务数据库的日志数据，确定待核对数据的核对需求信息，所述核对需求信息用于指示所述待核对数据包括的数据类型；基于所述核对需求信息，确定所述待核对数据的目标数据获取位置，不同的核对需求信息对应于不同的数据获取位置；从所述目标数据获取位置处，获取所述待核对数据；基于所述待核对数据进行数据核对处理。2.根据权利要求1所述的方法，其特征在于，所述基于所述核对需求信息，确定所述待核对数据的目标数据获取位置，包括：若所述核对需求信息指示所述待核对数据仅包括增量数据，则将所述业务数据库的目标日志文件作为所述目标数据获取位置；若所述核对需求信息指示所述待核对数据中包括非增量数据，则将所述业务数据库的目标日志文件和业务备库作为所述目标数据获取位置。3.根据权利要求1所述的方法，其特征在于，所述从所述目标数据获取位置处，获取所述待核对数据，包括：若所述核对需求信息指示所述待核对数据仅包括增量数据，则基于所述业务数据库的日志文件中的日志数据，获取目标增量数据，作为所述待核对数据；若所述核对需求信息指示所述待核对数据中包括非增量数据，则基于所述业务数据库的日志文件中的日志数据，获取目标增量数据，并从所述业务数据库的业务备库中获取目标存量数据，将所述增量数据和所述目标存量数据，作为所述待核对数据。4.根据权利要求1所述的方法，其特征在于，所述从所述目标数据获取位置处，获取所述待核对数据之后，所述方法还包括：根据预先设置好的任务关联规则，将所述待核对数据加入至目标任务队列中。5.根据权利要求4所述的方法，其特征在于，所述基于所述待核对数据进行数据核对处理，包括：轮询所述目标任务队列，以从所述目标任务队列中获取至少一个核对任务对应的待核对数据；对于任一核对任务，基于所述核对任务对应的待核对数据进行数据核对处理。6.根据权利要求5所述的方法，其特征在于，所述待核对数据由来自多个数据源的数据组成，来自不同数据源的数据...

【专利技术属性】
技术研发人员：马雪琴，赵阳，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：