数据处理方法、电子设备及存储介质技术

本申请实施例涉及信息技术领域，具体涉及一种数据处理方法、电子设备及存储介质。在该方法中，电子设备可以在获取到的日志文件中，确定内容缺失的日志文件。接下来，电子设备可以基于内容缺失的日志文件得到日志标志位。并在下次数据处理时，基于日志标志位获取日志文件。这样，在下次获取日志文件时，电子设备就可以再次获取到本次确定的内容缺失的日志文件。可以缓解在数据处理过程中的漏数现象，进而可以提升源端与目标端数据的一致性，从而减少目标端的数据失真的问题。标端的数据失真的问题。标端的数据失真的问题。

【技术实现步骤摘要】
数据处理方法、电子设备及存储介质


[0001]本申请实施例涉及信息
，具体涉及一种数据处理方法、电子设备及存储介质。

技术介绍

[0002]数据集成，是指将数据在逻辑上或物理上进行集中；如，通过源端数据库的日志文件，将源端数据库中的数据集成到目标端数据库。
[0003]在从源端数据库获取日志文件时，存在获取到内容缺失的日志文件的情况，这会导致这些内容缺失的日志文件中的日志数据，未集成到目标端数据库，也就是产生漏数现象，会造成源端数据库与目标端数据库不一致，产生目标端的数据失真问题。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、电子设备及存储介质，可以缓解在数据集成过程中的漏数现象，进而可以提升源端与目标端数据的一致性，从而减少目标端的数据失真的问题。
[0005]为达到上述目的，本申请的实施例采用如下技术方案：第一方面，本申请提供了一种数据处理方法，该方法可以应用于数据存储系统中的电子设备。其中，电子设备可以是例如，个人计算机、笔记本电脑等等，具有数据传输及处理能力的电子设备；该数据存储系统包括源端数据库和目标端数据库。该方法包括：电子设备根据第一标识范围从源端数据库获取日志文件，该第一标识范围用于指示电子设备待获取的日志文件的日志数据标识的范围；获取到的日志文件用于对目标端数据库进行数据操作。接下来，若电子设备从获取到的日志文件中确定存在至少一个遗漏日志文件，则电子设备基于至少一个遗漏日志文件的起点日志数据标识和第一标识范围得到日志标志位。上述遗漏日志文件是包括的日志数据发生遗漏的日志文件。然后，电子设备根据上述日志标志位确定第二标识范围，并根据第二标识范围从所述源端数据库获取日志文件。其中，遗漏日志文件的起点日志数据标识是，该遗漏日志文件包括的第一条日志数据的日志数据标识。
[0006]在上述方法中，电子设备通过从第一次获取到的日志文件（也就是，使用第一标识范围获取到的日志文件）中确定遗漏日志文件，并根据该遗漏日志文件得到日志标志位。并根据标志位得到第二标识范围，根据第二标识范围从源端数据库获取日志文件（也就是，第二次从源端数据库获取日志文件）。这样，在第一次获取到的日志文件中的遗漏日志文件，就可以通过日志标志位和第二标识范围在第二次从源端数据库获取到；缓解在数据集成过程中的漏数现象，可以提升源端与目标端数据的一致性，从而减少目标端的数据失真问题。
[0007]在第一方面的一种可能的设计中，上述电子设备基于至少一个遗漏日志文件的起点日志数据标识和第一标识范围得到日志标志位，可以包括：在电子设备从根据第一标识范围获取到的日志文件中确定存在一个遗漏日志文件的情况下，电子设备将上述一个遗漏日志文件的起点日志数据标识和第一标识范围的范围起点中，（数值）最大的日志数据标识
作为日志标志位。或者，在电子设备从根据第一标识范围获取到的日志文件中确定存在至少两个遗漏日志文件的情况下，电子设备在至少两个遗漏日志文件中确定目标遗漏日志文件；将目标遗漏日志文件的起点日志数据标识和第一标识范围的范围起点中，（数值）最大的日志数据标识作为日志标志位；其中，目标遗漏日志文件是至少两个遗漏日志文件中起点日志数据标识最小的遗漏日志文件，目标遗漏日志文件的起点日志数据标识是该目标遗漏日志文件包括的第一条日志数据的日志数据标识。
[0008]可以理解的，日志标志位与第二标识范围的范围起点正相关；以及日志数据标识会和日志数据的生成时间相关。也就是说，日志标识位越小，第二标识范围的范围起点也会越小；电子设备使用第二标识范围从源端数据库获取到的日志文件也会越多，以及电子设备获取到的日志文件中日志数据的生成时间也会越早，与电子设备的当前时间也会相差越多。可见，日志标志位越小，电子设备在通过第二标识范围获取日志文件，进行数据集成的实时性也就越低。在这种设计中，电子设备通过尽量将日志数据标识位设置得大，可以使得电子设备既可以在第二次从源端获取日志文件时，获取到电子设备在第一次从源端数据库获取日志文件时确定的遗漏日志文件，又可以使电子设备获取的日志文件数量比较少，还可以在一定程度上控制从源端数据库获取日志文件的时效性。这样，可以既缓解在数据集成时的漏数问题，又可以提高电子设备进行数据集成的实时性。
[0009]在第一方面的另一种可能的设计中，上述电子设备从获取到的日志文件中确定存在至少一个遗漏日志文件，可以包括：从获取到的日志文件中读取日志数据，若存在读取不到日志数据的日志文件，则确定存在至少一个遗漏日志文件。
[0010]在第一方面的另一种可能的设计中，上述电子设备从获取到的日志文件中确定存在至少一个遗漏日志文件，还可以包括：从基于第一标识范围获取到的日志文件中读取日志数据，将读取不到日志数据的日志文件，作为遗漏日志文件。
[0011]在第一方面的又一种可能的设计中，上述电子设备根据第一标识范围从源端数据库获取日志文件，可以包括：若电子设备未获取到与第一标识范围对应的每个日志文件，则电子设备重新根据第一标识范围获取日志文件，直至获取到与第一标识范围对应的每个日志文件。之后，电子设备基于获取到的与所述第一标识范围对应的每个日志文件，对目标端数据库进行数据操作。
[0012]可以理解的，考虑到在电子设备在根据第一标识范围从源端数据库获取日志文件的过程中，电子设备可能获取不到与第一标识范围对应的每个日志文件。基于此，在这种设计中，电子设备可以判断是否获取到与第一标识范围对应的每个日志文件，如未获取到则重新从源端数据库获取日志文件。直至电子设备获取到了与第一标识范围对应的每个日志文件。这样可以缓解，因为电子设备获取不到与第一标识范围对应的每个日志文件，而在电子设备的后续数据处理过程中导致的漏数现象。可以进一步地提升源端与目标端数据的一致性，从而缓解目标端的数据失真问题。
[0013]在第一方面的又一种可能的设计中，上述电子设备未获取到的且与所述第一标识范围对应的日志文件包括：切换日志文件；切换日志文件可以理解位源端数据库正在进行归档操作的日志文件。
[0014]在第一方面的另一种可能的设计中，上述电子设备根据第一标识范围从源端数据库获取日志文件，包括：若未获取到与第一标识范围对应的每个日志文件，则重新根据第一
标识范围获取日志文件；直至根据第一标识范围获取日志文件的获取次数大于或者等于预设的次数阈值（如，5次、10次）。接下来，电子设备根据最后一次获取到的日志文件对目标端数据库进行数据操作。
[0015]可以理解的，考虑到如果源端数据库频繁地产生切换日志文件，电子设备就会重复地从源端获取日志文件，电子设备没有执行后续数据集成步骤，源端数据库中的数据到目标端数据库的时延会比较长，这会影响数据集成的实时性。基于此，在这种设计中，在电子设备从源端数据库获取日志文件的获取次数过多时，电子设备不会再次从源端数据库获取日志文件，直接基于最后一次获取到的日志文件对目标端数据库进行数据操作，这样可以使得源端数据库生成的日志文件可以及时的集成至目标端数据库，可以减少源端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：根据第一标识范围从源端数据库获取日志文件，所述第一标识范围用于指示待获取的日志文件的日志数据标识的范围；若从获取到的日志文件中确定存在至少一个遗漏日志文件，则基于所述至少一个遗漏日志文件的起点日志数据标识和所述第一标识范围得到日志标志位；所述遗漏日志文件是从所述源端数据库获取到的且日志数据发生遗漏的日志文件；根据所述日志标志位确定第二标识范围，根据所述第二标识范围从所述源端数据库获取日志文件；其中，从所述源端数据库获取到的日志文件用于对目标端数据库进行数据操作。2.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个遗漏日志文件的起点日志数据标识和所述第一标识范围得到日志标志位，包括：在从根据所述第一标识范围获取到的日志文件中确定存在一个遗漏日志文件的情况下，将所述一个遗漏日志文件的起点日志数据标识和所述第一标识范围的范围起点中，最大的日志数据标识作为所述日志标志位；或者，在从根据所述第一标识范围获取到的日志文件中确定存在至少两个遗漏日志文件的情况下，在所述至少两个遗漏日志文件中确定目标遗漏日志文件；将所述目标遗漏日志文件的起点日志数据标识和所述第一标识范围的范围起点中，最大的日志数据标识作为所述日志标志位；其中，所述目标遗漏日志文件是所述至少两个遗漏日志文件中，起点日志数据标识最小的遗漏日志文件。3.根据权利要求1所述的方法，其特征在于，所述从获取到的日志文件中确定存在至少一个遗漏日志文件，包括：从基于第一标识范围获取到的日志文件中读取日志数据，若存在读取不到日志数据的日志文件，则确定存在至少一个遗漏日志文件。4.根据权利要求1所述的方法，其特征在于，所述根据第一标识范围从源端数据库获取日志文件，包括：若未获取到与所述第一标识范围对应的每个日志文件，则重新根据所述第一标识范围获取日志文件，直至获取到与所述第一标识范围对应的每个日志文件；所述方法还包括：基于获取到的与所述第一标识范围对应的每个日志文件，对所述目标端数据库进行数据操作。5.根据权利要求1所述的方法，其特征在于，所述根据第一标识范围从源端数据库获取日志文件，包括：若未获取到与所述第一标识范围对应的每个日志文件，则重新根据所述第一标识范围获取日志文件，直至根据所述第一标识范围获取日志文件的获取次数大于或者等于预设的次数阈值；所述方法还包括：根...

【专利技术属性】
技术研发人员：曾文，李义，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：