海量异构数据的存储方法及系统技术方案

本发明专利技术公开了一种海量异构数据的存储方法及系统，包括：客户端、负载均衡器、数据加载服务器和统一数据管理单元，客户端负责采集和接收用户数据，向负载均衡器发出数据加载请求；负载均衡器动态分配数据加载服务器给客户端；加载服务器根据统一数据管理单元中数据管理节点的管理信息，将客户端的数据加载至数据存储节点；统一数据管理单元包括数据存储节点和数据管理节点。本发明专利技术海量异构数据的存储方法及系统可以对包含结构化数据、半结构化数据和非结构数据的大数据进行统一加载，实现了海量结构化数据、半结构化数据和非结构化数据的有效结合和统一存储管理，与传统的结构化数据库相比，解决了半结构化和非结构化数据的存储问题，有效降低了数据管理方面的成本。

【技术实现步骤摘要】
海量异构数据的存储方法及系统
本专利技术涉及数据存储领域，尤其涉及海量异构数据的存储方法。
技术介绍
在信息时代，伴随着互联网、多媒体、社会媒体以及物联网、云计算的发展，越来越多的数据将被收集，而这些数据的产生更是异常庞杂，更带来了数据的指数级的增长趋势。它的特征之一就是数据的密集爆发，随之而来的就是数据的处理难度不断加大，人们也意识到数据带来的商业价值非常巨大。然而，海量数据并不仅仅意味着数据量的爆炸性增长，它还涉及到多种异构的数据类型，结构化、半结构化和非结构化并存的状态。互联网中出现诸如图片、音频、视频等非结构化数据越来越多，甚至增长速度远远超过了结构化数据的增速。如果从这些非结构化数据中挖掘商业价值，成为我们面临的又一难题。多源、异构是海量数据的特点，如何实现高效、智能的存储和分析处理这些海量数据？非结构化和半结构化数据正在呈海量增长趋势，如何对其进行有效的数据管理和应用？如此种种问题，逐渐成为了新时代共同的挑战。目前，针对海量数据复杂的处理需求，对不同类型数据的联合分析、复杂的关联查询、快速检索等，仅仅通过结构化的数据处理方式是无法满足的。而通过目前流行的Hadoop以及它的一些子项目来处理，也仅仅是支持单一类型、静态的数据进行分析处理，仍然不能有效地支持多来源、异构、动态、海量数据的分析处理。有效地将多来源、异构、动态、海量数据进行统一存储和分析处理是当前迫切需要解决的问题。
技术实现思路
本专利技术的目的是要提供一种海量异构数据的存储方法及系统，可以解决上述现有技术问题中的一种或多种。本专利技术海量异构数据的存储方法及系统可以对包含结构化数据、半结构化数据和非结构数据的大数据进行统一加载，实现了海量结构化数据、半结构化数据和非结构化数据的有效结合和统一存储管理与传统的结构化数据库相比，解决了半结构化和非结构化数据的存储问题，有效降低了数据管理方面的成本。根据本专利技术的一方面，提供了一种海量异构数据的存储方法，包括:多个数据加载服务器在负载均衡器上进行注册；客户端向负载均衡器发出数据加载请求；负载均衡器动态分配数据加载服务器给客户端，客户端向该数据加载服务器传输数据；数据加载服务器根据统一数据管理单元中数据管理节点的管理信息，将客户端的数据加载至数据存储节点。在一些实施方式中，负载均衡器接受请求并且根据数据加载服务器的不同处理能力，给每个数据加载服务器分配不同的权值，以便数据加载服务器能够接受相应权值数的服务请求，负载均衡器将权值与连接数比值最大的数据加载服务器分配给客户端。充分使用数据加载服务器。在一些实施方式中，数据加载服务器依据数据的元数据信息进行数据分类，并将其加载至相应的数据存储节点中。由此，具有支持多来源、异构数据的存储能力。在一些实施方式中，数据管理节点还实时监控数据存储节点的定期心跳包，一个心跳包的消息到达表示这个数据存储节点是正常工作状态，数据管理节点根据这个消息定期验证数据存储节点是否处于正常工作状态，并周期性根据数据的属性将数据划分为不同类型，分类存储至各个的数据存储节点中。由此，具有支持动态、海量数据的存储能力。根据本专利技术的另方面，提供了一种海量异构数据的存储系统，其中，包括:客户端，负责采集和接收用户数据，向负载均衡器发出数据加载请求；负载均衡器，动态分配所述数据加载服务器给客户端；数据加载服务器，根据统一数据管理单元中数据管理节点的管理信息，将客户端的数据加载至数据存储节点；统一数据管理单元，包括数据存储节点和数据管理节点。在一些实施方式中，数据存储节点存储结构化数据、半结构化数据和非结构化数据。在一些实施方式中，数据管理节点存储元数据信息。在一些实施方式中，元数据信息包括数据的属性和配置信息、数据结构、数据存储位置信息。【附图说明】图1为本专利技术一种实施方式的海量异构数据的存储方法的数据传输结构示意图；图2为本专利技术海量异构数据的存储方法及系统的工作流程图；图3为本专利技术海量异构数据的存储方法及系统加权最少连接调度算法的流程图。【具体实施方式】下面结合附图及具体实施例对专利技术作进一步的详细描述说明。图1示意性地显示了本专利技术的一种实施方式的海量异构数据的存储方法的数据传输结构。如图1、2所示，根据本专利技术的一个实施方式，提供了一种海量异构数据的存储方法，包括:多个数据加载服务器30在负载均衡器20上进行注册；客户端10向负载均衡器20发出数据加载请求；负载均衡器20动态分配数据加载服务器30给客户端10，客户端10向该数据加载服务器30传输数据；数据加载服务器30根据统一数据管理单元40中数据管理节点41的管理信息，将客户端10的数据加载至数据存储节点42。本专利技术海量异构数据的存储方法包括，在步骤SI中，多个数据加载服务器30把各自的实例程序在负载均衡器20上进行注册并启动。在步骤S2中，客户端10向负载均衡器20发出数据加载请求，在步骤S3中，负载均衡器20接受数据加载请求并且根据对数据加载服务器30的不同处理能力，给每个数据加载服务器30分配不同的权值，在步骤S4中，负载均衡器20根据数据加载服务器30的负载情况，动态地调整其权值，系统管理员也可以动态地设置数据加载服务器30的权值，权值表示各个数据加载服务器30的处理性能。权值越大则数据加载服务器30性能越强，在步骤S5中，负载均衡器20将权值与连接数比值最大的数据加载服务器30分配给该客户端10。如图3所示，加权最少连接调度算法，包括如下步骤:步骤101:随机确定遍历起始地址，首先处理器确定一个随机数，如可以选取0-100的随机数对服务器组中服务器台数求余后加I得到的一个随机数，假设确定的随机数为3 ；步骤102:遍历所有首数，也就是处理器从第3台服务器开始遍历所有数据加载服务器的连接数；步骤103:判断是否存在最小首数；步骤104:如果存在最小首数，则根据权值与首数(连接数)的比值大小选择比值最大的数据加载服务器接入；步骤105:如果不存在最小首数，则随机选择数据加载服务器接入；负载均衡器的负载策略是采用了加权最少连接调度(Weighted Least-Connection Scheduling)算法,此算法是在最少连接数调度算法的基础上的改进。而最少连接调度(Least-Connection Scheduling)算法是把新的连接请求分配到当前连接数最少的服务器。它通过服务器当前所活跃的连接数来估计服务器的负载情况。加权最少连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。对加权最少连接调度算法流程进行示例说明。假设有一组服务器S ={SO, SI,..., Sn-1}，W(Si)表示服务器Si的权值，C(Si)表示服务器Si的当前连接数。所有服务器当前连接数的总和为CSUM = XC(Si) (i = 0，l，...，n-l)当前的新连接请求会被发送服务器Sm,当且仅当服务器Sm满足以下条件(C(Sm)/CSUM)/W(Sm) = min{ (C(Si)/CSUM)/W(Si)} (i = 0，1，...，n-1)，其中W(Si)不为零，因为CSUM在这一轮查找中是个常数，所以判断条件可以简化为 C(Sm) /ff (Sm) = min {C(Si)/ff (Si)} (i = O, 本文档来自技高网...

【技术保护点】
一种海量异构数据的存储方法，包括:多个数据加载服务器在负载均衡器上进行注册；客户端向负载均衡器发出数据加载请求；负载均衡器动态分配数据加载服务器给客户端，客户端向数据加载服务器传输数据；数据加载服务器根据统一数据管理单元系统中数据管理节点的管理信息，将客户端的数据加载至数据存储节点。

【技术特征摘要】
2014.03.28 CN 201410124411.11.一种海量异构数据的存储方法，包括: 多个数据加载服务器在负载均衡器上进行注册； 客户端向负载均衡器发出数据加载请求； 负载均衡器动态分配数据加载服务器给客户端，客户端向数据加载服务器传输数据； 数据加载服务器根据统一数据管理单元系统中数据管理节点的管理信息，将客户端的数据加载至数据存储节点。2.根据权利要求1所述海量异构数据的存储方法，其中，所述负载均衡器接受请求并且根据数据加载服务器的不同处理能力，给每个数据加载服务器分配不同的权值，以便所述数据加载服务器能够接受相应权值数的服务请求，所述负载均衡器将权值与连接数比值最大的数据加载服务器分配给所述客户端。3.根据权利要求1所述海量异构数据的存储方法，其中，所述数据加载服务器依据数据的元数据信息进行数据分类，并将其加载至相应的数据存储节点。4.根据权利要求1或2所述海量异构数据的存储方法，其中，所...

【专利技术属性】
技术研发人员：吴礼裔，
申请(专利权)人：广东轩辕网络科技股份有限公司，
类型：发明
国别省市：广东;44