The invention belongs to the field of data management technology, to provide a large data storage management system, including: cloud data server and at least one intelligent terminal; the cloud data server and the wireless communication intelligent terminal connection; among them, the cloud data server comprises a data acquisition unit, data classification unit and parallel data processing unit, data recovery unit, data storage unit and a cloud database; reasonable structure, stable operation, improve the efficiency of data processing and error detection rate, and reduce the complexity of data management, reduce the computational load of the system.
【技术实现步骤摘要】
一种大数据存储管理系统
本专利技术属于数据管理领域,尤其涉及一种大数据存储管理系统。
技术介绍
随着计算机技术的飞速发展,各行各领域数据的呈几何级快速增长。这些数据来自各方面,从搜集天气情况的感测器、数码图片、在线的视频资料,到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀,各行业累积的数据量越来越巨大,数据类型也越来越多、数据结构越来越复杂,已经超越了传统数据管理系统、处理模式的能力范围,传统的串行数据库系统已经难以适应这种飞速增长的应用需求,在生产实践中表现出明显的能力不足,无法满足大数据时代的数据存储需求。在现有技术中,集中式的数据存储方案的数据处理效率低、容灾能力低,系统恢复时间长;分布式的数据存储方案采用DHT方式访问用户数据,以单播方式查找,当发现一个节点失效时,才向另一节点发起查找请求,更新等操作也类似,同样存在数据处理效率低、容灾能力低,并且,实施时需要有繁琐的HASH计算和路由查找过程,实现复杂,同时也有可能出现数据不一致的情况。
技术实现思路
为了克服上述现有技术所存在的问题,本专利技术实施例提供一种大数据存储管理系统,结构合理、运行稳定,提高了数据处理效率和检错率,并降低了对相关数据管理的复杂度,减轻了系统的运算负荷。本专利技术实施例是这样实现的,一种大数据存储管理系统,包括:云数据服务器以及至少一个智能终端;所述云数据服务器与所述智能终端无线通信连接;其中,所述云数据服务器,包括:数据采集单元、数据分类编号单元、数据并行处理单元、数据恢复单元、数据存储单元以及云数据库;所述数据采集单元采集所述智能终端上的数 ...
【技术保护点】
一种大数据存储管理系统,其特征在于,包括:云数据服务器以及至少一个智能终端;所述云数据服务器与所述智能终端无线通信连接;其中,所述云数据服务器,包括:数据采集单元、数据分类编号单元、数据并行处理单元、数据恢复单元、数据存储单元以及云数据库;所述数据采集单元采集所述智能终端上的数据,并对数据进行初步分类,并将相同类别的数据压缩处理后传输至数据分类编号单元;所述数据分类编号单元将压缩处理后的数据再次分类压缩处理,并将不同类别的相同类型的压缩数据进行数据位置,数据时间,数据容量的类别进行分类,并生成数据分类编号;所述数据并行处理单元采用并行数据预处理技术,设有Map/Reduce处理模型,通过调用Map函数,将每个处理任务由多个Map任务并行处理,这些Map任务被分配到所属处理任务分配的执行节点上执行,再通过调用Reduce函数,分别对每个处理任务的各Map任务的处理结果进行合并操作,完成数据预处理;所述数据存储单元将预处理后的每一个压缩数据按着生成的编号依次存入云数据库;所述数据恢复单元针硬盘驱动器的检错机制,将该机制进行优化从而提高系统的检错效率,从而保证系统实现大数据有效地存储。
【技术特征摘要】
1.一种大数据存储管理系统,其特征在于,包括:云数据服务器以及至少一个智能终端;所述云数据服务器与所述智能终端无线通信连接;其中,所述云数据服务器,包括:数据采集单元、数据分类编号单元、数据并行处理单元、数据恢复单元、数据存储单元以及云数据库;所述数据采集单元采集所述智能终端上的数据,并对数据进行初步分类,并将相同类别的数据压缩处理后传输至数据分类编号单元;所述数据分类编号单元将压缩处理后的数据再次分类压缩处理,并将不同类别的相同类型的压缩数据进行数据位置,数据时间,数据容量的类别进行分类,并生成数据分类编号;所述数据并行处理单元采用并行数据预处理技术,设有Map/Reduce处理模型,通过调用Map函数,将每个处理任务由多个Map任务并行处理,这些Map任务被分配到所属处理任务分配的执行节点上执行,再通过调用Reduce函数,分别对每个处理任务的各Map任务的处理结果进行合并操作,完成数据预处理;所述数据存储单元将预处理后的每一个压缩数据按着生成的编号依次存入云数据库;所述数据恢复单元针硬盘驱动器的检错机制,将该机...
【专利技术属性】
技术研发人员:陈钦鹏,
申请(专利权)人:深圳齐心集团股份有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。