一种分布式系统的数据检核方法、装置、设备及介质制造方法及图纸

本申请提供了一种分布式系统的数据检核方法、装置、设备及介质，本申请涉及数据处理技术领域，该方法通过为同一业务作业下产生的各记录文件设置相同的数据结构，以在数据检核阶段根据目标文件的文件标识确定待检核文件之后，根据目标文件的数据结构信息确定检核字段在目标文件中的第一字段值以及该检核字段在各待处理文件中的第二字段值。进而根据第一字段值与各第二字段值的比对结果生成满足检核条件的检核记录。上述检核流程无需人工参与，具备检核效率较高、避免人为误差的优点。避免人为误差的优点。避免人为误差的优点。

【技术实现步骤摘要】
一种分布式系统的数据检核方法、装置、设备及介质


[0001]本申请涉及数据处理
，具体涉及一种分布式系统的数据检核方法、装置、设备及介质。

技术介绍

[0002]分布式系统(Distributed System)是多个处理机通过通信线路互连而构成的松散耦合的系统，因其与单机系统相比，具备资源共享、可靠性高、通信快捷等诸多优点而被广泛应用。
[0003]分布式系统中不同的作业、作业步可能在不同节点服务器上执行。其作业过程中产生的作业记录文件会被分割成多份，存于不同的存储空间。业务处理中多需要对作业记录文件进行检核分析，例如统计某一作业流程中产生的问题记录时，需查找该业务流程产生的全部作业记录文件，并检核这些作业记录文件中是否记录有表征该问题记录的目标字段。
[0004]目前针对分布式系统的数据检核主要由人工执行，具体需要检核人员根据指示检核范围的索引找到对应的检核文件，并对检核文件进行人工检核。上述检核方式存在检核周期较长、误差较大的问题。

技术实现思路

[0005]本申请实施例提供一种分布式系统的数据检核方法、装置、设备及介质，用于解决目前检核方式存在的检核周期较长、误差较大的问题。
[0006]为达到上述目的，本申请实施例的技术方案是这样实现的：
[0007]第一方面，本申请实施例提供了一种分布式系统的数据检核方法，所述方法包括：
[0008]响应于检核指示，接收目标文件的文件信息和检核信息；其中，所述目标文件为批处理执行任一业务作业时产生的记录文件；所述文件信息包括文件标识和表征目标文件数据结构的数据结构信息，所述检核信息包括检核字段和所述检核字段关联的检核条件，所述检核字段为所述目标文件对应数据结构中的至少一个字段；
[0009]基于所述文件标识确定待检核的存储空间，并从所述存储空间中确定与所述目标文件对应的各待检核文件；其中，所述待检核文件与所述目标文件为同一业务作业下产生的记录文件，同一业务作业下产生的各记录文件的数据结构相同；
[0010]根据所述数据结构信息确定所述检核字段在所述目标文件中的第一字段值，以及所述检核字段在各所述待检核文件中的第二字段值；根据所述第一字段值与各所述第二字段值的比对结果生成满足所述检核条件的检核记录。
[0011]在一些可能的实施例中，所述文件标识为所述目标文件在存储空间中的存储索引，所述文件标识包括表征所述目标文件的第一标识，表征所述目标文件对应业务作业的第二标识，以及表征所述业务作业的批处理次数的第三标识。
[0012]在一些可能的实施例中，所述分布式系统中包含多个存储分区，每一存储分区对
应唯一数据平台；所述数据平台用于批处理执行业务作业后将产生的记录文件存于所述数据平台对应的各存储分区；
[0013]所述文件信息还包括检核范围；所述基于所述文件标识确定待检核的存储空间，包括：
[0014]基于所述文件标识确定所述目标文件的存储索引；
[0015]根据所述检核范围和所述存储索引确定所述待检核的存储空间。
[0016]在一些可能的实施例中，所述检核范围包括表征以数据平台为单位进行检核的第一检核范围，以存储分区为单位进行检核的第二检核范围；所述根据所述检核范围和所述存储索引确定所述待检核的存储空间，包括：
[0017]若所述检核范围为所述第一检核范围，则根据所述存储索引确定产生所述目标文件的数据平台，并将所述数据平台下的全部存储分区作为所述存储空间；
[0018]若所述检核范围为所述第二检核范围，则根据所述存储索引确定存储所述目标文件的目标存储分区，并将所述目标存储分区作为所述存储空间。
[0019]在一些可能的实施例中，所述检核条件包括查重检核和范围检核；所述根据所述第一字段值与各所述第二字段值的比对结果生成满足所述检核条件的检核记录，包括：
[0020]若所述检核条件为查重检核，则根据所述比对结果从各所述第二字段值中确定第一目标字段值；其中，第一目标字段值与第一字段值相同；
[0021]若所述检核条件为范围检核，则根据所述比对结果从各所述第二字段值中确定第二目标字段值；其中，第二目标字段值处于指定数值范围内，所述指定数值范围是根据所述第一字段值确定的；
[0022]基于目标字段值的数量生成所述检核记录；其中，所述目标字段值为所述第一目标字段值或所述第二目标字段值。
[0023]在一些可能的实施例中，所述数据结构信息用于记录所述目标文件对应数据结构中包含的字段，以及每一字段的偏移量和字段长度。
[0024]第二方面，本申请实施例提供了一种分布式系统的数据检核装置，所述装置包括：
[0025]信息获取模块，被配置为执行响应于检核指示，接收目标文件的文件信息和检核信息；其中，所述目标文件为批处理执行任一业务作业时产生的记录文件；所述文件信息包括文件标识和表征目标文件数据结构的数据结构信息，所述检核信息包括检核字段和所述检核字段关联的检核条件，所述检核字段为所述目标文件对应数据结构中的至少一个字段；
[0026]文件获取模块，被配置为执行基于所述文件标识确定待检核的存储空间，并从所述存储空间中确定与所述目标文件对应的各待检核文件；其中，所述待检核文件与所述目标文件为同一业务作业下产生的记录文件，同一业务作业下产生的各记录文件的数据结构相同；
[0027]检核记录模块，被配置为执行根据所述数据结构信息确定所述检核字段在所述目标文件中的第一字段值，以及所述检核字段在各所述待检核文件中的第二字段值；根据所述第一字段值与各所述第二字段值的比对结果生成满足所述检核条件的检核记录。
[0028]在一些可能的实施例中，所述文件标识为所述目标文件在存储空间中的存储索引，所述文件标识包括表征所述目标文件的第一标识，表征所述目标文件对应业务作业的
第二标识，以及表征所述业务作业的批处理次数的第三标识。
[0029]在一些可能的实施例中，所述分布式系统中包含多个存储分区，每一存储分区对应唯一数据平台；所述数据平台用于批处理执行业务作业后将产生的记录文件存于所述数据平台对应的各存储分区；
[0030]所述文件信息还包括检核范围；执行所述基于所述文件标识确定待检核的存储空间，所述文件获取模块被配置为：
[0031]基于所述文件标识确定所述目标文件的存储索引；
[0032]根据所述检核范围和所述存储索引确定所述待检核的存储空间。
[0033]在一些可能的实施例中，所述检核范围包括表征以数据平台为单位进行检核的第一检核范围，以存储分区为单位进行检核的第二检核范围；执行所述根据所述检核范围和所述存储索引确定所述待检核的存储空间，所述文件获取模块被配置为：
[0034]若所述检核范围为所述第一检核范围，则根据所述存储索引确定产生所述目标文件的数据平台，并将所述数据平台下的全部存储分区作为所述存储空间；
[0035]若所述检核范围为所述第二检核范围，则根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式系统的数据检核方法，其特征在于，所述方法包括：响应于检核指示，接收目标文件的文件信息和检核信息；其中，所述目标文件为批处理执行任一业务作业时产生的记录文件；所述文件信息包括文件标识和表征目标文件数据结构的数据结构信息，所述检核信息包括检核字段和所述检核字段关联的检核条件，所述检核字段为所述目标文件对应数据结构中的至少一个字段；基于所述文件标识确定待检核的存储空间，并从所述存储空间中确定与所述目标文件对应的各待检核文件；其中，所述待检核文件与所述目标文件为同一业务作业下产生的记录文件，同一业务作业下产生的各记录文件的数据结构相同；根据所述数据结构信息确定所述检核字段在所述目标文件中的第一字段值，以及所述检核字段在各所述待检核文件中的第二字段值；根据所述第一字段值与各所述第二字段值的比对结果生成满足所述检核条件的检核记录。2.根据权利要求1所述的方法，其特征在于，所述文件标识为所述目标文件在存储空间中的存储索引，所述文件标识包括表征所述目标文件的第一标识，表征所述目标文件对应业务作业的第二标识，以及表征所述业务作业的批处理次数的第三标识。3.根据权利要求2所述的方法，其特征在于，所述分布式系统中包含多个存储分区，每一存储分区对应唯一数据平台；所述数据平台用于批处理执行业务作业后将产生的记录文件存于所述数据平台对应的各存储分区；所述文件信息还包括检核范围；所述基于所述文件标识确定待检核的存储空间，包括：基于所述文件标识确定所述目标文件的存储索引；根据所述检核范围和所述存储索引确定所述待检核的存储空间。4.根据权利要求3所述的方法，其特征在于，所述检核范围包括表征以数据平台为单位进行检核的第一检核范围，以存储分区为单位进行检核的第二检核范围；所述根据所述检核范围和所述存储索引确定所述待检核的存储空间，包括：若所述检核范围为所述第一检核范围，则根据所述存储索引确定产生所述目标文件的数据平台，并将所述数据平台下的全部存储分区作为所述存储空间；若所述检核范围为所述第二检核范围，则根据所述存储索引确定存储所述目标文件的目标存储分区，并将所述目标存储分区作为所述存储空间。5.根据权利要求1所述的方法，其特征在于，所述检核条件包括查重检核和范围检核；所述根据所述第一字段值与各所述第二字段值的比对结果生成满足所述检核条件的检核记录，包括：若所述检核条件为查重检核，则根据...

【专利技术属性】
技术研发人员：王平殿，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：