海量异构数据的存储方法及系统技术方案

本发明专利技术公开了一种海量异构数据的存储方法及系统，包括：客户端、负载均衡器、数据加载服务器和统一数据管理单元，客户端负责采集和接收用户数据，向负载均衡器发出数据加载请求；负载均衡器动态分配数据加载服务器给客户端；加载服务器根据统一数据管理单元中数据管理节点的管理信息，将客户端的数据加载至数据存储节点；统一数据管理单元包括数据存储节点和数据管理节点。本发明专利技术海量异构数据的存储方法及系统可以对包含结构化数据、半结构化数据和非结构数据的大数据进行统一加载，实现了海量结构化数据、半结构化数据和非结构化数据的有效结合和统一存储管理，与传统的结构化数据库相比，解决了半结构化和非结构化数据的存储问题，有效降低了数据管理方面的成本。

【技术实现步骤摘要】
海量异构数据的存储方法及系统
本专利技术涉及数据存储领域，尤其涉及海量异构数据的存储方法。
技术介绍
在信息时代，伴随着互联网、多媒体、社会媒体以及物联网、云计算的发展，越来越多的数据将被收集，而这些数据的产生更是异常庞杂，更带来了数据的指数级的增长趋势。它的特征之一就是数据的密集爆发，随之而来的就是数据的处理难度不断加大，人们也意识到数据带来的商业价值非常巨大。然而，海量数据并不仅仅意味着数据量的爆炸性增长，它还涉及到多种异构的数据类型，结构化、半结构化和非结构化并存的状态。互联网中出现诸如图片、音频、视频等非结构化数据越来越多，甚至增长速度远远超过了结构化数据的增速。如果从这些非结构化数据中挖掘商业价值，成为我们面临的又一难题。多源、异构是海量数据的特点，如何实现高效、智能的存储和分析处理这些海量数据？非结构化和半结构化数据正在呈海量增长趋势，如何对其进行有效的数据管理和应用？如此种种问题，逐渐成为了新时代共同的挑战。目前，针对海量数据复杂的处理需求，对不同类型数据的联合分析、复杂的关联查询、快速检索等，仅仅通过结构化的数据处理方式是无法满足的。而通过目前流行的Hadoo本文档来自技高网...

【技术保护点】
一种海量异构数据的存储方法，包括:多个数据加载服务器在负载均衡器上进行注册；客户端向负载均衡器发出数据加载请求；负载均衡器动态分配数据加载服务器给客户端，客户端向数据加载服务器传输数据；数据加载服务器根据统一数据管理单元系统中数据管理节点的管理信息，将客户端的数据加载至数据存储节点。

【技术特征摘要】
2014.03.28 CN 201410124411.11.一种海量异构数据的存储方法，包括: 多个数据加载服务器在负载均衡器上进行注册； 客户端向负载均衡器发出数据加载请求； 负载均衡器动态分配数据加载服务器给客户端，客户端向数据加载服务器传输数据； 数据加载服务器根据统一数据管理单元系统中数据管理节点的管理信息，将客户端的数据加载至数据存储节点。2.根据权利要求1所述海量异构数据的存储方法，其中，所述负载均衡器接受请求并且根据数据加载服务器的不同处理能力，给每个数据加载服务器分配不同的权值，以便所述数据加载服务器能够接受相应权值数的服务请求，所述负载均衡器将权值与连接数比值最大的数据加载服务器分配给所述客户端。3.根据权利要求1所述海量异构数据的存储方法，其中，所述数据加载服务器依据数据的元数据信息进行数据分类，并将其加载至相应的数据存储节点。4.根据权利要求1或2所述海量异构数据的存储方法，其中，所...

【专利技术属性】
技术研发人员：吴礼裔，
申请(专利权)人：广东轩辕网络科技股份有限公司，
类型：发明
国别省市：广东;44