数据处理方法、设备及存储介质技术

本申请提供一种数据处理方法、设备及存储介质，该方法包括获取数据源信息，并根据数据源信息生成多个任务，并将多个任务发送至任务队列，获取服务器信息，并根据服务器信息将任务队列中待处理任务分发给目标服务器，以使目标服务器接收待处理任务，并根据待处理任务将所述待处理任务对应的数据导入结果库，获取应用程序接口API的配置信息，并根据所述配置信息，从结果库中提取所述配置信息对应的目标数据，并对目标数据进行拼装，获得输出数据，将输出数据通过所述API发送给数据可视化大屏。本申请提供的数据处理方法，能够提高数据可视化系统的通用性和数据处理效率，提高系统开发和维护的自动化水平，降低人工成本。降低人工成本。降低人工成本。

【技术实现步骤摘要】
数据处理方法、设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、设备及存储介质。

技术介绍

[0002]随着通信技术的发展，企业的数字化能力越来越受到重视。其中，数据可视化不仅可以为企业发展策略的制定提供数据支撑，还可以为一线运营提供数据支持，因此，数据可视化的研究是众多企业的首要任务。
[0003]现有技术中，数据可视化系统的方案中通常针对不同的可视化大屏的显示任务，进行专门的数据提取和接口的设计。
[0004]然而，实现本申请过程中，专利技术人发现现有技术中至少存在如下问题：现有的数据可视化系统通用性较差，每增加一个可视化大屏，即需要新设计一套数据提取和接口的设计，系统的开发和维护的人工成本比例大，自动化水平较低，且现有方案中采用单线程从数据库中获取数据，发送给数据可视化大屏，数据生成时间长，数据处理效率较低。

技术实现思路

[0005]本申请提供一种数据处理方法、设备及存储介质，以提高数据可视化系统的通用性和数据处理效率，且提高系统开发和维护的自动化水平，降低人工成本。
[0006]第一方面，本申请提供一种数据处理方法，包括：
[0007]获取数据源信息，并根据所述数据源信息生成多个任务，并将多个所述任务发送至任务队列；
[0008]获取服务器信息，并根据所述服务器信息将所述任务队列中待处理任务分发给目标服务器，以使目标服务器接收所述待处理任务，并根据所述待处理任务将所述待处理任务对应的数据导入结果库；
[0009]获取应用程序接口API的配置信息，并根据所述配置信息，从所述结果库中提取所述配置信息对应的目标数据，并对所述目标数据进行拼装，获得输出数据；
[0010]将所述输出数据通过所述API发送给数据可视化大屏，以使所述数据可视化大屏显示所述输出数据。
[0011]在一种可能的设计中，所述数据源信息包括数据源所在分布式数据库中的数据库位置和分库数量；所述根据所述数据源信息生成多个任务，包括：
[0012]根据所述数据库位置和所述分库数量，生成多个子进程，获得多个任务；其中，不同子进程对应不同分库，多个子进程与多个任务是一一对应的。
[0013]在一种可能的设计中，所述根据所述数据库位置和所述分库数量，生成多个子进程，获得多个任务之后，还包括：
[0014]针对每个分库，若存在剩余数据，则继续生成新的子进程，获得新的任务，直至所述分库不存在剩余数据，并将所述新的任务发送至所述任务队列。
[0015]在一种可能的设计中，所述服务器信息包括：空闲服务器数量和服务器IP地址，所
述根据所述服务器信息将所述任务队列中待处理任务分发给目标服务器，包括：
[0016]监控所述任务队列的状态；
[0017]若所述任务队列中存在待处理任务，则将待处理任务加入在途任务队列；
[0018]唤醒目标服务器，以使所述目标服务器根据所述待处理任务将所述待处理任务对应的数据导入结果库。
[0019]在一种可能的设计中，所述唤醒目标服务器之后，还包括：
[0020]获取所述待处理任务的处理结果；
[0021]若所述处理结果为处理成功，则从所述在途任务队列中删除所述待处理任务，继续监听；
[0022]若所述处理结果为处理失败，则将所述待处理任务重新放入任务队列中，并从所述在途任务队列中删除所述待处理任务。
[0023]在一种可能的设计中，所述配置信息包括接口根表和接口层级；所述获取应用程序接口API的配置信息，并根据所述配置信息，从所述结果库中提取所述配置信息对应的目标数据，并对所述目标数据进行拼装，包括：
[0024]加载规则引擎；
[0025]从所述规则引擎中获取所述配置信息；
[0026]根据所述接口根表和所述接口层级，构建层级结构树；
[0027]根据所述层级结构树，从所述结果库中提取的所述层级结构树对应的目标数据，并对所述目标数据进行拼装。
[0028]在一种可能的设计中，所述配置信息包括目标格式，所述将所述输出数据通过所述API发送给数据可视化大屏之前，还包括：
[0029]将所述输出数据的数据格式转换成所述目标格式，并将格式转换后的所述输出数据通过所述API发送给数据可视化大屏。
[0030]第二方面，本申请提供一种数据处理设备，包括：
[0031]任务生成模块，用于获取数据源信息，并根据所述数据源信息生成多个任务，并将多个所述任务发送至任务队列；
[0032]任务分发模块，用于获取服务器信息，并根据所述服务器信息将所述任务队列中待处理任务分发给目标服务器，以使目标服务器接收所述待处理任务，并根据所述待处理任务将所述待处理任务对应的数据导入结果库；
[0033]拼装模块，用于获取应用程序接口API的配置信息，并根据所述配置信息，从所述结果库中提取所述配置信息对应的目标数据，并对所述目标数据进行拼装，获得输出数据；
[0034]发送模块，用于将所述输出数据通过所述API发送给数据可视化大屏，以使所述数据可视化大屏显示所述输出数据。
[0035]第三方面，本申请提供一种数据处理设备，包括：数据可视化大屏、至少一个处理器和存储器；
[0036]所述存储器存储计算机执行指令；所述数据可视化大屏与所述至少一个处理器连接，用于显示输出数据；
[0037]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。
[0038]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的方法。
[0039]第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的方法。
[0040]本申请提供的数据处理方法、设备及存储介质，该方法首先获取数据源信息，并根据所述数据源信息生成多个任务，并将多个所述任务发送至任务队列，获取服务器信息，并根据所述服务器信息将所述任务队列中待处理任务分发给目标服务器，以使目标服务器接收所述待处理任务，并根据所述待处理任务将所述待处理任务对应的数据导入结果库，获取应用程序接口API的配置信息，并根据所述配置信息，从所述结果库中提取所述配置信息对应的目标数据，并对所述目标数据进行拼装，获得输出数据，将所述输出数据通过所述API发送给数据可视化大屏，以使所述数据可视化大屏显示所述输出数据。本申请提供的数据处理方法，通过在采用任务队列的基础上，进行任务分发处理，将各可视化大屏所需的数据预先存储在结果库中，以便数据可视化大屏快速提取，提高了处理效率，并且基于API接口配置信息进行输出数据的拼接，能够适用多种大屏，适应性强，适用范围大，降低了系统开发和维护的人工成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据源信息，并根据所述数据源信息生成多个任务，并将多个所述任务发送至任务队列；获取服务器信息，并根据所述服务器信息将所述任务队列中待处理任务分发给目标服务器，以使目标服务器接收所述待处理任务，并根据所述待处理任务将所述待处理任务对应的数据导入结果库；获取应用程序接口API的配置信息，并根据所述配置信息，从所述结果库中提取所述配置信息对应的目标数据，并对所述目标数据进行拼装，获得输出数据；将所述输出数据通过所述API发送给数据可视化大屏，以使所述数据可视化大屏显示所述输出数据。2.根据权利要求1所述的方法，其特征在于，所述数据源信息包括数据源所在分布式数据库中的数据库位置和分库数量；所述根据所述数据源信息生成多个任务，包括：根据所述数据库位置和所述分库数量，生成多个子进程，获得多个任务；其中，不同子进程对应不同分库，多个子进程与多个任务是一一对应的。3.根据权利要求2所述的方法，其特征在于，所述根据所述数据库位置和所述分库数量，生成多个子进程，获得多个任务之后，还包括：针对每个分库，若存在剩余数据，则继续生成新的子进程，获得新的任务，直至所述分库不存在剩余数据，并将所述新的任务发送至所述任务队列。4.根据权利要求1所述的方法，其特征在于，所述服务器信息包括：空闲服务器数量和服务器IP地址，所述根据所述服务器信息将所述任务队列中待处理任务分发给目标服务器，包括：监控所述任务队列的状态；若所述任务队列中存在待处理任务，则将待处理任务加入在途任务队列；唤醒目标服务器，以使所述目标服务器根据所述待处理任务将所述待处理任务对应的数据导入结果库。5.根据权利要求4所述的方法，其特征在于，所述唤醒目标服务器之后，还包括：获取所述待处理任务的处理结果；若所述处理结果为处理成功，则从所述在途任务队列中删除所述待处理任务，继续监听；若所述处理结果为处理失败，则将所述待处理任务重新放入任务队列中，并从所述在途任务队列中删除所述待处理任务。6.根据权利要求1
‑
5任一项所...

【专利技术属性】
技术研发人员：鲁楠，张学勇，王雷，刘学成，徐振华，关默然，林少宝，吕俊超，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：