数据处理方法及装置、电子设备、存储介质制造方法及图纸

本申请提供了一种数据处理方法及装置、电子设备、存储介质，该方法包括：流式获取目标业务对象的业务数据；从业务数据中获取目标业务对象的对象标识，并根据对象标识从键值型的目标数据库中获取目标业务对象对应的对象信息；根据对象信息对所述业务数据进行有效性校验，并在校验通过的情况下，将所述业务数据作为目标数据进行存储；其中，目标数据库用于存储多个业务对象在当前时刻对应的信息记录，信息记录为键值对格式，键值对以业务对象的对象标识为键，并且以业务对象的对象信息为值。本申请实施例能够快速、高效且准确地对业务应用生成的业务数据进行数据匹配处理，得到满足用户需求的业务数据。求的业务数据。求的业务数据。

【技术实现步骤摘要】
数据处理方法及装置、电子设备、存储介质


[0001]本申请涉及计算机
，特别涉及一种数据处理方法及装置、电子设备、存储介质。

技术介绍

[0002]随着互联网技术的不断发展，业务应用在运行过程中，每时每刻都会产生大量的业务数据，而为了方便用户检测业务情况，通常需要使用数据匹配应用来从业务应用大量产生的业务数据中筛取满足用户需求的业务数据进行展示，以供用户查看。例如，在电商促销场景中，电子设备通常可以基于数据匹配应用对电商应用产生的商品订单数据进行匹配处理，以向用户展示不同类型商品的销售数据。
[0003]目前在实现数据匹配处理时，一般是基于大处理数据框架，例如Spark框架对业务应用产生的业务数据进行匹配处理。然而，由于Spark是基于批处理机制进行数据处理，因此该种方法通常存在数据处理延迟、效率低下以及可能出现匹配结果不准确的问题。

技术实现思路

[0004]本申请提供一种数据处理方法及装置、电子设备、存储介质，以快速、高效且准确地对业务应用生成的业务数据进行数据匹配处理，得到满足用户需求的业务数据。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：流式获取目标业务对象的业务数据；从所述业务数据中获取所述目标业务对象的对象标识，并根据所述对象标识从键值型的目标数据库中获取所述目标业务对象对应的对象信息，其中，所述对象信息中包括用于指示所述目标业务对象是否为有效对象的信息；根据所述对象信息对所述业务数据进行有效性校验，并在校验通过的情况下，将所述业务数据作为目标数据进行存储；其中，所述目标数据库用于存储多个业务对象在当前时刻对应的信息记录，所述信息记录为键值对格式，所述键值对以业务对象的对象标识为键，并且以业务对象的对象信息为值。2.根据权利要求1所述的方法，其特征在于，所述目标数据库中所存储的任一业务对象在当前时刻对应的信息记录通过以下步骤获得：流式获取待处理的源信息数据，其中，所述源信息数据包括业务对象的对象标识和对象信息；基于所述目标数据库通过单线程对存储在内存中的数据进行操作的机制，将所述源信息数据更新至所述目标数据库中。3.根据权利要求2所述的方法，其特征在于，所述流式获取待处理的源信息数据，包括：获取第一业务应用推送的所述源信息数据，其中，所述第一业务应用为用于生成所述源信息数据的任意应用；根据所述源信息数据，生成第一任务消息并将所述第一任务消息写入至第一消息队列中；使用第一流计算作业从所述第一消息队列中获取所述第一任务消息，以流式获得所述源信息数据。4.根据权利要求1所述的方法，其特征在于，所述流式获取目标业务对象的业务数据，包括：获取第二业务应用推送的所述业务数据，其中，所述第二业务应用为用于生成所述业务数据的任意应用；根据所述业务数据，生成第二任务消息并将所述第二任务消息写入至第二消息队列；使用第二流计算作业从所述第二消息队列中获取所述第二任务消息，以流式获得所业务数据。5.根据权利要求1所述的方法，其特征在于，所述目标数据库所存储的任一业务对象的信息记录中的对象信息为用于表示所述业务对象是否有效的有效性标识；所述根据所述对象标识从键值型的目标数据库中获取所述目标业务对象对应的对象信息，包括：从所述目标数...

【专利技术属性】
技术研发人员：李智，郭剑霓，吴海英，郭江，刘磊，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：