业务数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种业务数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域。本方法通过接收业务系统产生的业务数据，可对待处理业务数据进行及时处理，以得到待处理业务数据中的数据标识和数据内容，将数据标识和数据内容存储至业务数据散列表中以对业务数据散列表进行更新；进一步地，将业务数据散列表转换为业务数据维度表的形式发送至数据存储系统，从而可根据业务数据维度表中的数据信息实现对数据存储系统中当前存储的业务数据维度表的及时更新，本方法可实现数据维度表的实时更新，减少待处理业务数据的等待时间，保证来自业务系统的待处理业务数据能够被及时处理，从而提高了数据维度表的更新效率。从而提高了数据维度表的更新效率。从而提高了数据维度表的更新效率。

【技术实现步骤摘要】
业务数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种业务数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着网络技术的不断发展，通过对海量大数据的分析可帮助企业更好的发展，也可帮助企业为用户提供更优质的服务。而维度表可方便的用于对海量大数据进行存储以及查询。
[0003]现有技术中，通常采用hive数据仓库分析框架实现对维度表存储的数据的更新，但是由于hive框架无法做到对维度表的实时更新，导致维度表的数据更新效率较低。

技术实现思路

[0004]本申请针对上述现有技术中的不足，提供一种业务数据处理方法、装置、电子设备及存储介质，以便于解决现有技术中存在的数据维度表更新效率较低的问题。
[0005]本申请实施例采用的技术方案如下：
[0006]第一方面，本申请实施例提供了一种业务数据处理方法，包括：
[0007]接收目标业务系统发送的待处理业务数据，所述待处理业务数据中至少包括数据标识及数据内容；
[0008]将所述数据标识以及所述数据内容转换为键值对的方式存储至业务数据散列表中；
[0009]将所述业务数据散列表中以键值对方式存储的数据标识及数据内容转换为业务数据维度表，所述业务数据维度表包括数据标识、数据内容以及数据标识与数据内容的对应关系；
[0010]将所述业务数据维度表发送至数据存储系统，以对数据存储系统中当前存储的业务数据维度表进行更新。
[0011]第二方面，本申请实施例还提供了一种业务数据处理装置，包括：接收模块、存储模块、转换模块、发送模块；
[0012]所述接收模块，用于接收目标业务系统发送的待处理业务数据，所述待处理业务数据中至少包括数据标识及数据内容；
[0013]所述存储模块，用于将所述数据标识以及所述数据内容转换为键值对的方式存储至业务数据散列表中；
[0014]所述转换模块，用于将所述业务数据散列表中以键值对方式存储的数据标识及数据内容转换为业务数据维度表，所述业务数据维度表包括数据标识、数据内容以及数据标识与数据内容的对应关系；
[0015]所述发送模块，用于将所述业务数据维度表发送至数据存储系统，以对数据存储系统中当前存储的业务数据维度表进行更新。
[0016]第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的业务数据处理方法。
[0017]第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的业务数据处理方法。
[0018]本申请的有益效果是：
[0019]本申请提供一种业务数据处理方法、装置、电子设备及存储介质，通过接收业务系统产生的业务数据，可对待处理业务数据进行及时处理，以得到待处理业务数据中的数据标识和数据内容，将数据标识和数据内容存储至业务数据散列表中以对业务数据散列表进行更新；进一步地，将业务数据散列表转换为业务数据维度表的形式发送至数据存储系统，从而可根据业务数据维度表中的数据信息实现对数据存储系统中当前存储的业务数据维度表的及时更新，本方法可实现数据维度表的实时更新，减少待处理业务数据的等待时间，保证来自业务系统的待处理业务数据能够被及时处理，从而提高了数据维度表的更新效率。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
[0021]图1为本申请实施例提供的一种业务数据处理系统的架构示意图；
[0022]图2为本申请实施例提供的一种业务数据处理方法的流程示意图；
[0023]图3为本申请实施例提供的另一种业务数据处理方法的流程示意图；
[0024]图4为本申请实施例提供的又一种业务数据处理方法的流程示意图；
[0025]图5为本申请实施例提供的另一种业务数据处理方法的流程示意图；
[0026]图6为本申请实施例提供的又一种业务数据处理方法的流程示意图；
[0027]图7为本申请实施例提供的一种业务数据处理方法的完整流程示意图；
[0028]图8为本申请实施例提供的一种业务数据处理装置的示意图；
[0029]图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0030]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
[0031]另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0032]需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0033]图1为本申请实施例提供的一种业务数据处理系统的架构示意图，如图1所示，业务数据处理系统可包括：业务系统、数据处理引擎、数据存储系统。其中，数据处理引擎可以是Flink计算框架，也可以是其它的可多线程并发运行的计算框架或应用程序等，例如Spark计算框架或者Storm计算框架等。数据处理引擎上并行运行有多个数据接收线程、多个数据处理线程。另外，数据处理引擎上还可运行有数据收集器。其中，数据收集器可以是通过c++、java或python等计算机编程语言所编写的功能模块或者独立的应用程序实现。各数据接收线程的运行逻辑相同，各数据处理线程的运行逻辑也相同，在本方法步骤执行初始，各数据接收线程和各数据处理线程均预先启动，以等待接收数据或是处理数据。
[0034]数据接收线程可从业务系统接收业务数据，并将接收的业务数据发送至数据处理线程(其中，数据接收线程和数据处理线程的数量并非一一对应的，且每个数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务数据处理方法，其特征在于，包括：接收目标业务系统发送的待处理业务数据，所述待处理业务数据中至少包括数据标识及数据内容；将所述数据标识以及所述数据内容转换为键值对的方式存储至业务数据散列表中；将所述业务数据散列表中以键值对方式存储的数据标识及数据内容转换为业务数据维度表，所述业务数据维度表包括数据标识、数据内容以及数据标识与数据内容的对应关系；将所述业务数据维度表发送至数据存储系统，以对数据存储系统中当前存储的业务数据维度表进行更新。2.根据权利要求1所述的方法，其特征在于，所述方法应用于数据处理引擎，所述数据处理引擎包括至少一个数据接收线程，所述接收目标业务系统发送的待处理业务数据，包括：通过各数据接收线程分别并行接收目标业务系统发送的待处理业务数据。3.根据权利要求2所述的方法，其特征在于，所述数据处理引擎还包括至少一个数据处理线程，所述方法还包括：在所述数据处理引擎启动时，所述数据处理引擎包含的每个数据处理线程读取所述数据存储系统的历史业务数据维度表；所述历史业务数据维度表包含历史数据标识、历史数据内容以及历史数据标识与历史数据内容的对应关系；将所述历史业务数据维度表中存储的历史数据标识及历史数据内容以键值对的方式存储至所述业务数据散列表中；所述将所述数据标识以及所述数据内容转换为键值对的方式存储至业务数据散列表中，包括：通过目标数据处理线程将目标数据标识与所述目标数据处理线程中当前存储的业务数据散列表中各数据标识进行匹配，确定当前存储的业务数据散列表中是否存在所述目标数据标识，所述目标数据处理线程根据各数据处理线程当前的空闲程度从各数据处理线程中确定；若否，则通过所述目标数据处理线程将所述目标数据标识以及目标数据内容转换为键值对的方式存储至所述目标数据处理线程中当前存储的业务数据散列表中，得到新的业务数据散列表。4.根据权利要求3所述的方法，其特征在于，所述通过目标数据处理线程将目标数据标识与所述目标数据处理线程中当前存储的业务数据散列表中各数据标识进行匹配，确定当前存储的业务数据散列表中是否存在所述目标数据标识之前，包括：通过所述目标数据处理线程，接收由数据接收线程发送的待处理业务数据；根据目标数据标识、以及所述待处理业务数据中包含的各数据标识，从所述待处理业务数据中提取所述目标数据标识、以及所述目标数据标识对应的目标数据内容。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：通过所述目标数据处理线程，将所述目标数据标识以及所述目标数据内容同步至数据处理线程中除所述目标数据处理线程之外的其它各数据处理线程，以在其它各数据处理线程上得到新的业务数据散列表。
6.根据权利要求5所述的方法，其特征在于，所述将所述目标数据标识以及所述目标数据内容同步至数据处理线程中除所述目标数据处理线程...

【专利技术属性】
技术研发人员：徐帅，刘勇成，胡志鹏，袁思思，程龙，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：