一种数据处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及存储介质，所述方法包括：在配置文件中，确定第一掩码字段和第一掩码类型；所述第一掩码类型为所述第一掩码字段所属的掩码类型；获得第一数组和针对所述第一掩码字段的第一数值；所述第一数组包括按照数值大小排序的至少三个第二数值；一个所述第二数值用于指向一个日志信息；所述第一数值用于指向所述第一掩码字段；在所述第一数组中，查找与所述第一数值相同的目标第二数值；将所述目标第二数值指向的日志信息，确定为待掩码数据；对所述待掩码数据，执行所述第一掩码类型对应的掩码操作。对于本申请的方案，在对日志信息进行掩码时，减小了数据处理量，提高了处理效率。提高了处理效率。提高了处理效率。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，涉及但不限于数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机技术的飞速发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性和实时性要求，也对技术提出了更高的要求。
[0003]相关技术中，对于日志信息的掩码问题，通常需要知道哪个交易需要掩码，然后针对该需掩码的交易的多个日志信息进行全文检索，找到含有敏感字段(掩码字段)的目标日志信息(待掩码数据)；再确定该掩码字段对应的掩码类型，对该目标日志信息执行与该掩码类型对应的掩码处理。
[0004]其中，在确定待掩码数据时，一般处理方式为：通过遍历的方式，在多个个日志信息中查找包含第一掩码字段的日志信息，作为待掩码数据。这样，在对日志信息进行掩码时的数据处理量较大，处理效率较低。

技术实现思路

[0005]本申请提供一种数据处理方法及装置、设备、存储介质，在对日志信息进行掩码时，减小了数据处理量，提高了处理效率。
[0006]本申请的技术方案是这样实现的：
[0007]本申请提供了一种数据处理方法，所述方法包括：在配置文件中，确定第一掩码字段和第一掩码类型；所述第一掩码类型为所述第一掩码字段所属的掩码类型；
[0008]获得第一数组和针对所述第一掩码字段的第一数值；所述第一数组包括按照数值大小排序的至少三个第二数值；一个所述第二数值用于指向一个日志信息；所述第一数值用于指向所述第一掩码字段；
[0009]在所述第一数组中，查找与所述第一数值相同的目标第二数值；
[0010]将所述目标第二数值指向的日志信息，确定为待掩码数据；
[0011]对所述待掩码数据，执行所述第一掩码类型对应的掩码操作。
[0012]本申请提供了一种数据处理装置，所述装置包括：
[0013]第一确定单元，用于在配置文件中，确定第一掩码字段和第一掩码类型；所述第一掩码类型为所述第一掩码字段所属的掩码类型；
[0014]获得单元，用于获得第一数组和针对所述第一掩码字段的第一数值；所述第一数组包括按照数值大小排序的至少三个第二数值；一个所述第二数值用于指向一个日志信息；所述第一数值用于指向所述第一掩码字段；
[0015]查找单元，用于在所述第一数组中查找与所述第一数值相同的目标第二数值；
[0016]第二确定单元，用于将所述目标第二数值指向的日志信息，确定为待掩码数据；
[0017]执行单元，用于对所述待掩码数据，执行所述第一掩码类型对应的掩码操作。
[0018]本申请还提供了一种电子设备，包括：存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据处理方法。
[0019]本申请还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法。
[0020]本申请所提供的数据处理方法、装置、设备及存储介质，包括：在配置文件中，确定第一掩码字段和第一掩码类型；所述第一掩码类型为所述第一掩码字段所属的掩码类型；获得第一数组和针对所述第一掩码字段的第一数值；所述第一数组包括按照数值大小排序的至少三个第二数值；一个所述第二数值用于指向一个日志信息；所述第一数值用于指向所述第一掩码字段；在所述第一数组中，查找与所述第一数值相同的目标第二数值；将所述目标第二数值指向的日志信息，确定为待掩码数据；对所述待掩码数据，执行所述第一掩码类型对应的掩码操作。对于本申请的方案，获得第一掩码字段对应的第一数值，以及多个日志信息对应的第二数值；将在多个日志信息中查找待掩码数据的过程，转换为在多个第二数值组成的第一数组中查找第一数值的过程；由于数值的查找过程数据处理量较小，所以本申请的方案在对日志信息进行掩码时，减小了数据处理量，提高了处理效率。
附图说明
[0021]图1为本申请实施例提供的数据处理系统的一种可选的结构示意图；
[0022]图2为本申请实施例提供的数据处理方法的一种可选的流程示意图
[0023]图3为本申请实施例提供的数据处理方法的一种可选的流程示意图；
[0024]图4为本申请实施例提供的数据处理方法的一种可选的流程示意图；
[0025]图5为本申请实施例提供的数据处理方法的一种可选的流程示意图；
[0026]图6为本申请实施例提供的掩码后的日志文件的一种可选的示意图；
[0027]图7为本申请实施例提供的数据处理装置的一种可选的结构示意图；
[0028]图8为本申请实施例提供的电子设备的一种可选的结构示意图。
具体实施方式
[0029]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0030]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0031]在以下的描述中，所涉及的术语“第一\第二\第三”仅是为例区别不同的对象，不代表针对对象的特定排序，不具有先后顺序的限定。可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0032]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，
不是旨在限制本申请。
[0033]本申请实施例可提供数据处理方法及装置、设备和存储介质。实际应用中，数据处理方法可由数据处理装置实现，数据处理装置中的各功能实体可以由电子设备的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
[0034]本申请实施例提供的数据处理方法应用于数据处理系统，数据处理系统包括数据处理端。
[0035]数据处理端用于执行：在配置文件中，确定第一掩码字段和第一掩码类型；所述第一掩码类型为所述第一掩码字段所属的掩码类型；获得第一数组和针对所述第一掩码字段的第一数值；所述第一数组包括按照数值大小排序的至少三个第二数值；一个所述第二数值用于指向一个日志信息；所述第一数值用于指向所述第一掩码字段；在所述第一数组中，查找与所述第一数值相同的目标第二数值；将所述目标第二数值指向的日志信息，确定为待掩码数据；对所述待掩码数据，执行所述第一掩码类型对应的掩码操作。
[0036]可选的，数据处理系统还可以包括客户端。客户端用于采集日志信息，并将采集的日志信息发送至数据处理端进行处理。
[0037]作为一示例，数据处理系统的结构可如图1所示，包括：数据处理端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：在配置文件中，确定第一掩码字段和第一掩码类型；所述第一掩码类型为所述第一掩码字段所属的掩码类型；获得第一数组和针对所述第一掩码字段的第一数值；所述第一数组包括按照数值大小排序的至少三个第二数值；一个所述第二数值用于指向一个日志信息；所述第一数值用于指向所述第一掩码字段；在所述第一数组中，查找与所述第一数值相同的目标第二数值；将所述目标第二数值指向的日志信息，确定为待掩码数据；对所述待掩码数据，执行所述第一掩码类型对应的掩码操作。2.根据权利要求1所述的方法，其特征在于，所述在所述第一数组中，查找与所述第一数值相同的目标第二数值，包括：确定第一参数和第二参数；所述第一参数为一；所述第二参数为N；所述N用于表征所述第一数组的长度；判断所述第一数组中，下标为第三参数的第二数值与所述第一数值之间的大小关系；所述第三参数为所述第一参数与所述第二参数的平均值；若所述下标为第三参数的第二数值等于所述第一数值，则确定所述目标第二数值为所述下标为第三参数的第二数值；若所述下标为第三参数的第二数值小于所述第一数值，则修改所述第一参数为所述第三参数加一，并执行所述判断所述第一数组中，下标为第三参数的第二数值与所述第一数值之间的大小关系；若所述下标为第三参数的第二数值大于所述第一数值，则修改所述第二参数为所述第三参数减一，并执行所述判断所述第一数组中，下标为第三参数的第二数值与所述第一数值之间的大小关系。3.根据权利要求2所述的方法，其特征在于，在所述判断所述第一数组中，下标为第三参数的第二数值与所述第一数值之间的大小关系之前，所述方法还包括：基于所述第一数组，确定第一参考值；将所述第一数值减去，所述第一数组中下标为所述第一参数的第二数值的结果，确定为第二参考值；确定第一筛选数量为所述第二参考值除以所述第一参考值的结果；按照下标增大的方向，将所述第一数组中下标为所述第一参数起，所述第一筛选数量的第二数值过滤掉。4.根据权利要求2所述的方法，其特征在于，在所述判断所述第一数组中，下标为第三参数的第二数值与所述第一数值之间的大小关系之前，所述方法还包括：基于所述第一数组，确定第一参考值；将所述第一数组中下标为所述第二参数的第二数值，...

【专利技术属性】
技术研发人员：康志鹏，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：