一种NoSQL大数据管理系统的设计技术方案

本发明专利技术针对目前数据管理系统的不足，在NoSQL大数据上设计的数据管理系统；该系统包括面向磁盘的读写方式，即将修改和删除操作都追加写到文件末尾,而读数据时利用时间戳过滤掉旧信息,返回给用户最新版本的数据；同时flash的内存扩展缓存，混合使用RAM和flash内存,将所有的key‑value对存于flash内存中,并将少量的key‑value对的元信息存在RAM中支持快速插入和查询，为用户提供如何利用最小RAM存储最多的flash中的key‑value对以及恰当的多级存储策略。

Design of a NoSQL large data management system

In view of the shortcomings of the current data management system, the data management system is designed on NoSQL large data. The system includes a disk oriented reading and writing method, the forthcoming modification and deletion operations are added to the end of the file, while the data are filtered out of the old information with time stamps when reading the data, and the data of the latest version of the user are returned; and flas H's memory extension cache, mixed with RAM and flash memory, saves all key value pairs in flash memory, and supports a small amount of key value pair information in RAM to support fast inserts and queries in order to provide users with how to use the least RAM storage at most flash key pairs and the appropriate multilevel storage strategy.

【技术实现步骤摘要】
一种NoSQL大数据管理系统的设计
本专利技术涉及大数据信息管理领域，使用了key-value和NoSQL数据库方面的技术。
技术介绍
随着信息科技的发展,大数据广泛存在,如企业数据、统计数据、科学数据、医疗数据、互联网数据、移动数据、物联网数据等等,大数据带来了大机遇,同时也为有效管理和利用大数据提出了挑战；在性能上,NoSQL数据存储系统都具有传统关系数据库所不能满足的特性,是面向应用需求而提出的各具特色的产品。
技术实现思路
系统的总体设计1.系统包括key-value型、key-document型和key-column型存储；Key-Value键值对数据模型实际上是一个映射,即key是查找每条数据地址的唯一关键字,value是该数据实际存储的内容.例如键值对:(“20091234”,“张三”),其key:“20091234”是该数据的唯一入口,而value:“张三”是该数据实际存储的内容.Key-Value数据模型典型是采用哈希函数实现关键字到值的映射,查询时,基于key的hash值直接定位到数据所在的点,实现快速查询,并支持大数据量和高并发查询；Key-Column型数据模型主要来自Google的BigTable目前流行的开源项目Hbase和Cassandra也采用了该种模型.Column型数据模型可以理解成一个多维度的映射,主要包含column,row和columnfamily等概念.简单来说,key-column型数据模型是通过多层的映射模拟了传统表的存储格式,实际上类似于key-value数据模型,需要通过key进行查找.因此,key-column型数据模型是key-value数据模型的一种扩展；2.在采用master-slave结构的系统中,master节点负责管理整个系统,监视slave节点的运行状态,同时为其下的每一个slave节点分配存储的范围,是查询和写入的入口.master节点一般全局只有1个,该节点的状态将严重影响整个系统的性能,当master节点宕机时,会引起整个系统的瘫痪.实践中,经常设置多个副本master节点,通过联机热备的方式提高系统的容错性.slave节点是数据存储节点,通常也维护一张本地数据的索引表.系统通过添加slave节点来实现系统的水平扩展.在master-slave框架下,master节点一直处于监听状态,而slave节点之间尽量避免直接通信以减少通信代价.在运行过程中,salve节点不断地向master节点报告自身的健康状况和负载情况,当某个节点宕机或负载过高时,由master节点统一调度,或者将此节点的数据重新分摊给其他节点,或者通过加入新节点的方式来调节.BigTable,Hbase是典型的master-slave结构的key-value存储系统.在P2P环形结构中,系统节点通过分布式哈希算法在逻辑上组成一个环形结构,其中的每个node节点不但存储数据,而且管理自己负责的区域.P2P环形结构没有master节点,可以灵活地添加节点来实现系统扩充,节点加入时只需与相邻的节点进行数据交换,不会给整个系统带来较大的性能抖动.P2P环形结构没有中心点,每个节点必须向全局广播自己的状态信息.例如,目前流行的采用P2P环形结构的Cassandra和Dynamo系统采用Gossip机制来进行高效的消息同步。本文档来自技高网...

【技术保护点】
1.一种NoSQL大数据管理系统的设计,其特征在于，采用master节点负责管理整个系统,监视slave节点的运行状态,同时为其下的每一个slave节点分配存储的范围,是查询和写入的入口；系统节点通过分布式哈希算法在逻辑上组成一个环形结构,其中的每个node节点不但存储数据,而且管理自己负责的区域。

【技术特征摘要】
1.一种NoSQL大数据管理系统的设计,其特征在于，采用master节点负责管理整个系统,监视slave节点的运行状态,同时为其下的每一个slave节...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙云昊信息科技有限公司，
类型：发明
国别省市：湖南,43