分布式数据计算分析方法、装置、设备和存储介质制造方法及图纸

本申请公开了一种分布式数据计算分析方法、装置、设备和存储介质。方法包括获取待分析项目，生成对应的分析模型；获取待计算数据，将待计算数据分割为多个数据块；创建计算分析任务，利用计算分析任务对每个数据块进行计算分析，得到对应的临时分析结果；将每个临时分析结果进行合并，得到最终数据分析结果。本申请基于Python语言搭建，采用多级方式，首先进行待分析项目分割，然后再进行数据分割，针对每一个数据块进行分析后将临时分析结果合并，得到最终数据分析结果，只需部署Python应用环境，部署简单，数据整合容易。本申请解决相关技术中针对海量数据的分析计算大多依赖于框架，存在搭建部署较为复杂，且不易进行数据整合的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
分布式数据计算分析方法、装置、设备和存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种分布式数据计算分析方法、装置、设备和存储介质。

技术介绍

[0002]分布式数据处理是利用分布式计算技术对数据进行处理。随着数据量的急剧膨胀，互联网公司所面对的数据量已经达到PB级别，传统集中式数据处理已经渐渐无法适应市场需求。一个分布式网络由若干台可互相通信的计算机组成，每台计算机都拥有自己的处理器和存储设备，原先集中在单节点上的庞大计算任务被负载均衡地分派给分布式网络中的计算机上并行地进行处理。
[0003]目前市场上地分布式数据分析方式存在很多框架，比如Spark、Dash、Loky、Celery等，但是这些框架在特定场景中都存在不足之处，例如Spark部署较为麻烦；Dash功能强大但底层结构独特，不便于数据整合；Loky文档较少，比较底层，但使用门槛较高；Celery需要嵌入代码，性能较低。
[0004]现有技术中针对海量数据的分析计算大多依赖于框架，搭建部署较为复杂，且不易进行数据整合。
[0005]针对相关技术中针对海量数据的分析计算大多依赖于框架，存在搭建部署较为复杂，且不易进行数据整合的问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]本申请的主要目的在于提供一种分布式数据计算分析方法、装置、设备和存储介质，以解决相关技术中针对海量数据的分析计算大多依赖于框架，存在搭建部署较为复杂，且不易进行数据整合的问题。
[0007]为了实现上述目的，第一方面，本申请提供了一种分布式数据计算分析方法。
[0008]根据本申请的方法包括：
[0009]获取待分析项目，根据待分析项目的类型生成对应的分析模型；
[0010]获取待分析项目的待计算数据；
[0011]根据分析模型对应的预设分割规则将待计算数据分割为多个数据块；
[0012]创建计算分析任务，利用计算分析任务对每个数据块进行计算分析，得到对应的临时分析结果；
[0013]将每个临时分析结果进行合并，得到最终数据分析结果。
[0014]在本申请一种可能的实现方式中，预设分割规则为：将待计算数据平均分割为多个数据块，数据块的个数与系统空闲进程数量相同。
[0015]在本申请一种可能的实现方式中，计算分析任务的数量与数据块的数量相同。
[0016]在本申请一种可能的实现方式中，利用计算分析任务对每个数据块进行计算分析，得到对应的临时分析结果，具体为：利用每个计算分析任务并行对每个数据块进行计算
分析，得到对应的临时分析结果。
[0017]在本申请一种可能的实现方式中，将每个临时分析结果进行合并，得到最终数据分析结果，包括：
[0018]根据分析模型对应的合并计算框架对每个临时分析结果进行合并，生成最终结果文件，得到最终数据分析结果。
[0019]在本申请一种可能的实现方式中，方法支持单机应用和多机分布式应用。
[0020]第二方面，本申请还提供了一种分布式数据计算分析装置，装置包括：
[0021]获取模块，用于获取待分析项目和待分析项目的待计算数据；
[0022]处理模块，用于根据待分析项目的类型生成对应的分析模型；
[0023]根据分析模型对应的预设分割规则将待计算数据分割为多个数据块；
[0024]创建计算分析任务，利用计算分析任务对每个数据块进行计算分析，得到对应的临时分析结果；
[0025]合并输出模块，用于将每个临时分析结果进行合并，得到最终数据分析结果。
[0026]在本申请一种可能的实现方式中，处理模块包括：
[0027]并行处理单元，用于利用每个计算分析任务并行对每个数据块进行计算分析，得到对应的临时分析结果。
[0028]在本申请一种可能的实现方式中，合并输出模块具体用于：
[0029]根据分析模型对应的合并计算框架对每个临时分析结果进行合并，生成最终结果文件，得到最终数据分析结果。
[0030]第三方面，本申请还提供了一种分布式数据计算分析电子设备，电子设备包括：
[0031]一个或多个处理器；
[0032]存储器；以及
[0033]一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现第一方面中任一项的分布式数据计算分析方法。
[0034]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行第一方面任一项的分布式数据计算分析方法中的步骤。
[0035]在本申请实施例中，提供一种分布式数据计算分析方法，基于Python语言搭建，采用多级方式，首先进行待分析项目分割，然后再对待分析项目的待计算数据进行数据分割，针对每一个数据块进行分析后将临时分析结果合并，得到最终数据分析结果，只需要部署Python应用环境即可实现，部署简单，数据整合容易，易于扩展；进而解决相关技术中针对海量数据的分析计算大多依赖于框架，存在搭建部署较为复杂，且不易进行数据整合的技术问题。
附图说明
[0036]构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0037]图1是根据本申请实施例提供的一种分布式数据计算分析方法的一个实施例流程
示意图；
[0038]图2是根据本申请实施例提供的一种分布式数据计算分析装置的一个实施例结构示意图；
[0039]图3是根据本申请实施例提供的一种分布式数据计算分析电子设备的一个实施例结构示意图。
具体实施方式
[0040]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0041]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0042]在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据计算分析方法，其特征在于，所述方法基于Python语言搭建，所述方法包括：获取待分析项目，根据所述待分析项目的类型生成对应的分析模型；获取所述待分析项目的待计算数据；根据所述分析模型对应的预设分割规则将所述待计算数据分割为多个数据块；创建计算分析任务，利用所述计算分析任务对每个所述数据块进行计算分析，得到对应的临时分析结果；将每个所述临时分析结果进行合并，得到最终数据分析结果。2.如权利要求1所述的方法，其特征在于，所述预设分割规则为：将所述待计算数据平均分割为多个所述数据块，所述数据块的个数与系统空闲进程数量相同。3.如权利要求1所述的方法，其特征在于，所述计算分析任务的数量与所述数据块的数量相同。4.如权利要求3所述的方法，其特征在于，所述利用所述计算分析任务对每个所述数据块进行计算分析，得到对应的临时分析结果，具体为：利用每个所述计算分析任务并行对每个所述数据块进行计算分析，得到对应的临时分析结果。5.如权利要求1所述的方法，其特征在于，所述将每个所述临时分析结果进行合并，得到最终数据分析结果，包括：根据所述分析模型对应的合并计算框架对每个所述临时分析结果进行合并，生成最终结果文件，得到最终数据分析结果...

【专利技术属性】
技术研发人员：黄培，
申请(专利权)人：上海众言网络科技有限公司，
类型：发明
国别省市：