处理大数据的方法及系统技术方案

本发明专利技术公开了一种处理大数据的方法，所述方法包括如下步骤：服务器获取待处理的大数据；服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理；服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。本发明专利技术提供的技术方案具有处理效率低的优点。

【技术实现步骤摘要】
处理大数据的方法及系统
本专利技术涉及数据处理领域，尤其涉及一种处理大数据的方法及系统。
技术介绍
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。现有的大数据处理限于负载均衡的处理，无法将同类采集设备的处理分类处理，处理效率低。
技术实现思路
本申请提供一种处理大数据的方法。其解决现有技术的技术方案处理效率低的缺点。一方面，提供一种处理大数据的方法，所述方法包括如下步骤：处理大数据的方法，所述方法包括如下步骤：服务器获取待处理的大数据；服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理；服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。可选的，所述方法还包括：服务器依据负载均衡原则对该处理设备的负载进行分配。可选的，所述方法还包括：服务器如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。第二方面，提供一种处理大数据的系统，所述系统包括：获取单元，用于获取待处理的大数据；处理单元，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。可选的，所述系统还包括：处理单元，用于服务器依据负载均衡原则对该处理设备的负载进行分配。可选的，所述系统还包括：处理单元，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。第三方面，提供一种服务器，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，所述无线收发器，用于获取待处理的大数据；所述处理器，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。可选的，所述处理器，用于服务器依据负载均衡原则对该处理设备的负载进行分配。可选的，所述处理器，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。本专利技术提供的技术方案将处理的数据按采集设备的类别进行分类处理，所以其具有处理效率高的优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术第一较佳实施方式提供的一种处理大数据的方法的流程图；图2为本专利技术第二较佳实施方式提供的一种处理大数据的系统的结构图。图3为本专利技术第二较佳实施方式提供的一种服务器的硬件结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1是本专利技术第一较佳实施方式提出的一种处理大数据的方法，该方法如图1所示，包括如下步骤：步骤S101、服务器获取待处理的大数据。步骤S102、服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理。步骤S103、服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。本专利技术提供的技术方案将处理的数据按采集设备的类别进行分类处理，所以其具有处理效率高的优点。可选的，服务器依据负载均衡原则对该处理设备的负载进行分配。可选的，服务器如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。请参考图2，图2是本专利技术第二较佳实施方式提出的一种处理大数据的系统，该系统如图2所示，包括：获取单元201，用于获取待处理的大数据；处理单元202，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。本专利技术提供的技术方案将处理的数据按采集设备的类别进行分类处理，所以其具有处理效率高的优点。可选的，处理单元202，用于服务器依据负载均衡原则对该处理设备的负载进行分配。可选的，处理单元202，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。参阅图3，图3为一种服务器30，包括：处理器301、无线收发器302、存储器303和总线304，无线收发器302用于与外部设备之间收发数据。处理器301的数量可以是一个或多个。本申请的一些实施例中，处理器301、存储器302和收发器303可通过总线304或其他方式连接。服务器30可以用于执行图1的步骤。关于本实施例涉及的术语的含义以及举例，可以参考图1对应的实施例。此处不再赘述。无线收发器302，用于获取待处理的大数据。其中，存储器303中存储程序代码。处理器901用于调用存储器903中存储的程序代码，用于执行以下操作：处理器301，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。需要说明的是，这里的处理器301可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器(CentralProcessingUnit，CPU)，也可以是特定集成电路(ApplicationSpecificIntegratedCircuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digitalsingnalprocessor，DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，FPGA)。存储器303可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器303可以包括随机存储器(RAM)，也可以包括非易失性存储器(non-volatilememory)，例如磁盘存储器，闪存(Flash)等。总线304可以是工业标准体系结构(IndustryStandardArchitecture，ISA)总线、外部设备互连(PeripheralComponent，PCI)总线或扩展工业标准体系结构(ExtendedIndustryStandardArchitecture本文档来自技高网...

【技术保护点】
一种处理大数据的方法，其特征在于，所述方法包括如下步骤：服务器获取待处理的大数据；服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理；服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。

【技术特征摘要】
1.一种处理大数据的方法，其特征在于，所述方法包括如下步骤：服务器获取待处理的大数据；服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理；服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：服务器依据负载均衡原则对该处理设备的负载进行分配。3.根据权要求2所述的方法，其特征在于，所述方法还包括：服务器如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。4.一种处理大数据的系统，其特征在于，所述系统包括：获取单元，用于获取待处理的大数据；处理单元，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。5.根据权利要求4所述的系统，其特征在于，所述系统还包...

【专利技术属性】
技术研发人员：马岩，
申请(专利权)人：深圳市博信诺达经贸咨询有限公司，
类型：发明
国别省市：广东,44