一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法，该方法通过从分布式数据库中读取待处理数据；根据待处理数据，建立数据分析模型；基于数据分析模型，运用分布式计算框架处理待处理数据，得出数据分析结果；将数据分析结果存储至MySQL分布式集群。通过分布式处理框架，高效并行处理大数据；利用MySQL分布式集群存储结果，使得数据处理高效、并发且安全可靠，满足大数据处理需求。此外，本发明专利技术还公开了一种数据处理装置，与上述方法有一一对应优点。

Data processing method and device

The invention discloses a method for processing data, this method by reading the data to be processed from distributed databases; according to the data to be processed, a data analysis model; data analysis model based on the computational framework of process data to be processed by the distributed data analysis; data analysis results stored in MySQL distributed cluster. Through distributed processing framework, efficient parallel processing of large data; using MySQL distributed cluster storage results, making data processing efficient, concurrent and safe and reliable, to meet the needs of large data processing. In addition, the invention also discloses a data processing device, which has one to one correspondence advantages with the above methods.

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及大数据
，特别涉及一种数据处理方法及装置。
技术介绍
随着信息技术以及计算机应用的蓬勃发展，行业应用系统的规模也得以极速拓展，产生了海量数据。动辄数百TB乃至PB规模的行业大数据已经远远超出了现有传统计算机技术和信息系统的处理能力。大数据的数据规模巨大、数据流转高速、数据类型多样性和价值密度较低的特征，以及大数据结构的无序性、非关系型等特点使得传统的数据处理方法无法满足处理要求。
技术实现思路
本专利技术的目的是提供一种数据处理方法及装置，目的在于解决现有数据处理方法无法满足大数据的处理要求的问题为解决上述技术问题，本专利技术提供一种数据处理方法，该方法包括：从分布式数据库中读取待处理数据；根据所述待处理数据，建立数据分析模型；基于所述数据分析模型，运用分布式计算框架处理所述待处理数据，得出数据分析结果；将所述数据分析结果存储至MySQL分布式集群。可选地，在所述将所述数据分析结果存储至MySQL分布式集群之后还包括：从所述MySQL分布式集群中读取并展示所述数据分析结果。可选地，所述将所述数据分析结果存储至MySQL分布式集群包括：当存储空间不足时，动态增加MySQL分布式存储节点；将所述数据分析结果存储至新增MySQL分布式存储节点。此外，本专利技术还提供了一种数据处理装置，该装置包括：读取模块，用于从分布式数据库中读取待处理数据；模型建立模块，用于根据所述待处理数据，建立数据分析模型；分布式处理模块，用于基于所述数据分析模型，运用分布式计算框架处理所述待处理数据，得出数据分析结果；分布式存储模块，用于将所述数据分析结果存储至MySQL分布式集群。可选地，还包括：展示模块，用于从所述MySQL分布式集群中读取并展示所述数据分析结果。可选地，所述分布式存储模块包括：节点动态增减单元，用于当存储空间不足时，动态增加MySQL分布式存储节点；存储单元，用于将所述数据分析结果存储至新增MySQL分布式存储节点。本专利技术所提供的一种数据处理方法及装置，从分布式数据库中读取待处理数据；根据待处理数据，建立数据分析模型；基于数据分析模型，运用分布式计算框架处理待处理数据，得出数据分析结果；将数据分析结果存储至MySQL分布式集群。本申请通过分布式处理框架，高效并行处理大数据；利用MySQL分布式集群存储结果，使得数据处理高效、并发且安全可靠，满足大数据处理需求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的数据处理方法的一种具体实施方式的流程示意图；图2为本专利技术实施例提供的MySQL集群架构图；图3为本专利技术实施例提供的数据处理的另一流程示意图；图4为本专利技术实施例提供的数据处理装置的结构示意框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1为本专利技术实施例提供的数据处理方法的一种具体实施方式的流程示意图，该方法包括以下步骤：步骤101：从分布式数据库中读取待处理数据。可以理解，上述待处理数据可以是存储在分布式数据库中的数据，具体可以从相关领域的服务器中收集后存储至该分布式数据库。步骤102：根据所述待处理数据，建立数据分析模型。步骤103：基于所述数据分析模型，运用分布式计算框架处理所述待处理数据，得出数据分析结果。上述数据分析结果可以具体为对大数据分析得出的规律，该规律可以指导优化相应领域的业务。上述分布式计算框架的具体类型可以根据需求进行选取，在此不作限定。步骤104：将所述数据分析结果存储至MySQL分布式集群。MySQL分布式集群具有高效、安全并发等特性，其具体由一组计算机构成，其每台计算机上均运行着多种进程，其中包括MySQL服务器(mysqld)、NDBCluster的数据节点(ndbd)、管理服务器(mgmd)等，具体架构可以参见图2，图2为本专利技术实施例提供的MySQL集群架构图。如图2所示，MySQL集群由管理层Management、存储层Storage、服务器层SQL、应用程序层Applications。每个MySQLServer上有多个或一个所需的Application，NDBCluster中有多个ndbd节点。将数据分析结果存储至MySQL分布式集群可以便于数据的高效展示，即利用MySQL的并发高效特性，使得展示也十分高效。故在本专利技术的一些实施例中，在上述将所述数据分析结果存储至MySQL分布式集群之后还可以包括：从所述MySQL分布式集群中读取并展示所述数据分析结果。为适应大数据的大规模读写请求，MySQL分布式集群可以动态增减存储节点，以实现存储容量的线性扩展。在本专利技术的一些实施例中，上述将所述数据分析结果存储至MySQL分布式集群的过程可以具体为：当存储空间不足时，动态增加MySQL分布式存储节点；将所述数据分析结果存储至新增MySQL分布式存储节点。当然，在存储空间有剩余时，也可以相应减少存储节点，避免资源的浪费。为更好地介绍本实施例提供的数据处理流程，下面将结合图3进行介绍，图3为本专利技术实施例提供的数据处理的另一流程示意图。如图3所示，基于分布数据库的数据Data建立数据分析模型，且分布式处理从分布式数据库读取的数据，接着将数据分析结果存储至MySQLCluster节点上，且可以高效地从其读取数据分析结果进行展示。本实施例所提供的数据处理方法，通过从分布式数据库中读取待处理数据；根据待处理数据，建立数据分析模型；基于数据分析模型，运用分布式计算框架处理待处理数据，得出数据分析结果；将数据分析结果存储至MySQL分布式集群。通过分布式处理框架，高效并行处理大数据；利用MySQL分布式集群存储结果，使得数据处理高效、并发且安全可靠，满足大数据处理需求。下面对本专利技术实施例提供的一种数据处理装置进行介绍，下文描述的一种数据处理装置与上文描述的一种数据处理方法可相互对应参照。请参考图4，图4为本专利技术实施例提供的数据处理装置的结构示意框图，该装置包括：读取模块41，用于从分布式数据库中读取待处理数据；模型建立模块42，用于根据所述待处理数据，建立数据分析模型；分布式处理模块43，用于基于所述数据分析模型，运用分布式计算框架处理所述待处理数据，得出数据分析结果；分布式存储模块44，用于将所述数据分析结果存储至MySQL分布式集群。在本专利技术的一些实施例中，上述装置还可以包括：展示模块，用于从所述MySQL分布式集群中读取并展示所述数据分析结果。在本专利技术的一些实施例中，上述分布式存储模块可以包括：节点动态增减单元，用于当存储空间不足时，动态增加MySQL分布式存储节点；存储单元，用于将所述数据分析结果存储至新增MySQL分布式存储节点。本实施例所提本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：从分布式数据库中读取待处理数据；根据所述待处理数据，建立数据分析模型；基于所述数据分析模型，运用分布式计算框架处理所述待处理数据，得出数据分析结果；将所述数据分析结果存储至MySQL分布式集群。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从分布式数据库中读取待处理数据；根据所述待处理数据，建立数据分析模型；基于所述数据分析模型，运用分布式计算框架处理所述待处理数据，得出数据分析结果；将所述数据分析结果存储至MySQL分布式集群。2.如权利要求1所述的数据处理方法，其特征在于，在所述将所述数据分析结果存储至MySQL分布式集群之后还包括：从所述MySQL分布式集群中读取并展示所述数据分析结果。3.如权利要求1或2所述的数据处理方法，其特征在于，所述将所述数据分析结果存储至MySQL分布式集群包括：当存储空间不足时，动态增加MySQL分布式存储节点；将所述数据分析结果存储至新增MySQL分布式存储节点。4.一种数据处理装...

【专利技术属性】
技术研发人员：杨吉东，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41