数据处理方法技术

本说明书公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、存储介质以及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种数据处理方法
、
装置
、
存储介质以及电子设备
。

技术介绍

[0002]相关技术中，按照数据的延迟情况，数据时效性一般分为离线
、
准实时
、
实时，那么可根据上述时效性将数据划分为离线数据
、
准实时数据
、
实时数据
。
离线数据，指的是在今天处理的
N
天前的数据
。
准实时数据，指的是在当前小时处理的
N
小时前的数据
。
实时数据，指的是在当前时刻处理的当前的数据
。
[0003]离线数据处理也称之为“批处理”，数据产生之后，不会立即进行清洗，而是在固定的周期进行抽取
、
转换
、
加载
。
例如每天在凌晨2：
00
之后，处理前一天产生的数据
。
目前，存在大量离线加工数据的场景，在这些场景中，主要是对离线数据做加工处理
(
比如聚合
、
清洗等
)
，加工后再回流至在线服务的存储系统中，供下游调用方使用
。

技术实现思路

[0004]本说明书提供了一种数据处理方法
、
装置
、
存储介质以及电子设备，可在发现离线数据中的异常数据时，及时对离线数据进行相应的处理任务，避免异常数据对后续的处理任务造成影响，从而减小离线数据的风险
。
所述技术方案如下：
[0005]第一方面，本说明书提供了一种数据处理方法，所述方法包括：
[0006]获取离线事务表数据和全量事务表数据；
[0007]基于所述离线事务表数据和所述全量事务表数据进行新场景检测，确定所述离线事务表数据对应的新场景字段信息；
[0008]基于所述新场景字段信息确定针对所述离线事务表数据的管理任务，基于所述管理任务对所述离线事务表数据进行处理
。
[0009]第二方面，本说明书提供了一种数据处理装置，所述装置包括：
[0010]数据获取模块，用于获取离线事务表数据和全量事务表数据；
[0011]场景检测模块，用于基于所述离线事务表数据和所述全量事务表数据进行新场景检测，确定所述离线事务表数据对应的新场景字段信息；
[0012]数据管理模块，用于基于所述新场景字段信息确定针对所述离线事务表数据的管理任务，基于所述管理任务对所述离线事务表数据进行处理
。
[0013]第三方面，本说明书提供了一种计算机存储介质，所述计算机存储介质有多条指令，所述指令适于由处理器加载并执行上述的方法步骤
。
[0014]第四方面，本说明书提供了一种计算机程序产品，所述计算机程序产品存储有至少一条指令，所述至少一条指令由处理器加载并执行上述的方法步骤
。
[0015]第五方面，本说明书提供了一种电子设备，可包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述存储器加载并执行上述的方法步骤
。
[0016]本说明书提供的技术方案带来的有益效果至少包括：
[0017]本说明书实施例中，获取离线事务表数据和全量事务表数据，然后基于该离线事务表数据和该全量数据表数据进行新场景检测，确定离线事务表数据对应的新场景字段信息，基于该新场景字段信息确定针对上述离线事务表数据的管理任务，基于该管理任务对上述离线事务表数据进行处理
。
本说明书实施例可在检测离线事务表数据对应的新场景字段信息后，根据新场景字段信息确定相应的管理任务，并根据管理任务对离线事务表数据及时进行处理，因此，本说明实施例可在发现离线数据中的异常数据时，及时对离线数据进行相应的处理任务，避免异常数据对后续的处理任务造成影响，从而减小离线数据的风险
。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0019]图1是本说明书实施例提供的一种数据处理方法的流程示意图；
[0020]图2是本说明书实施例提供的一种场景划分的原理示意图；
[0021]图3是本说明书实施例提供的又一种数据处理方法的流程示意图；
[0022]图4是本说明书实施例提供的一种电子设备与事务管理终端的交互场景图；
[0023]图5是本说明书实施例提供的又一种电子设备与事务管理终端的交互场景图；
[0024]图6是本说明书实施例提供的一种数据处理装置的结构示意图；
[0025]图7是本说明书实施例提供的一种电子设备的结构示意图
。
具体实施方式
[0026]为使得本说明书实施例的专利技术目的
、
特征
、
优点能够更加的明显和易懂，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而非全部实施例
。
基于本说明书中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围
。
[0027]在本说明书的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性
。
在本说明书的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含
。
例如包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程
、
方法
、
产品或设备固有的其他步骤或单元
。
对于本领域的普通技术人员而言，可以具体情况理解上述术语在本说明书中的具体含义
。
此外，在本说明书的描述中，除非另有说明，“多个”是指两个或两个以上
。“和
/
或”，描述关联对象的关联关系，表示可以存在三种关系，例如，
A
和
/
或
B
，可以表示：单独存在
A
，同时存在
A
和
B
，单独存在
B
这三种情况
。
字符“/”一般表示前后关联对象是一种“或”的关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，所述方法包括：获取离线事务表数据和全量事务表数据；基于所述离线事务表数据和所述全量事务表数据进行新场景检测，确定所述离线事务表数据对应的新场景字段信息；基于所述新场景字段信息确定针对所述离线事务表数据的管理任务，基于所述管理任务对所述离线事务表数据进行处理
。2.
根据权利要求1所述的方法，所述基于所述离线事务表数据和所述全量事务表数据进行新场景检测，确定所述离线事务表数据对应的新场景字段信息，包括：获取场景识别规则，基于所述场景识别规则确定所述全量事务表数据对应的第一场景字段信息和所述离线事务表数据对应的第二场景字段信息；确定所述第二场景字段信息中除所述第一场景字段信息之外的第三场景字段信息，基于所述第三场景字段信息确定所述离线事务表数据对应的新场景字段信息
。3.
根据权利要求2所述的方法，所述方法还包括：检测所述第二场景字段信息中是否存在标记场景字段信息；若所述第二场景字段信息中存在所述标记场景字段信息，则将所述标记场景字段信息确定为所述离线事务表数据对应的新场景字段信息
。4.
根据权利要求2所述的方法，所述获取场景识别规则，基于所述场景识别规则确定所述全量事务表数据对应的第一场景字段信息和所述离线事务表数据对应的第二场景字段信息，包括：确定针对所述离线事务表数据的场景识别字段，基于所述场景识别字段确定场景识别规则，基于所述场景识别规则确定所述全量事务表数据对应的第一场景字段信息和所述离线事务表数据对应的第二场景字段信息；和
/
或，获取场景识别模型，采用所述场景识别模型确定所述全量事务表数据对应的第一场景字段信息和所述离线事务表数据对应的第二场景字段信息，其中，所述场景识别模型基于已标注场景字段信息标签的样本事务数据对机器学习模型训练得到
。5.
根据权利要求4所述的方法，所述确定针对所述离线事务表数据的场景识别字段，包括：获取参考事务语义类型与参考场景识别字段对应的字段映射表；确定所述离线事务表数据对应的目标事务语义类型，在所述字段映射表中查询所述目标事务语义类型对应的目标场景识别字段，将所述目标场景识别字段确定为针对所述离线事务表数据的场景识别字段
。6.
根据权利要求1所述的方法，所述基于所述新场景字段信息确定针对所述离线事务表数据的管理任务，包括：确定所述新场景字段信息对应的场景类别；若所述场景类别不属于场景类别集合，...

【专利技术属性】
技术研发人员：罗小松，韦于评，
申请(专利权)人：重庆蚂蚁消费金融有限公司，
类型：发明
国别省市：