【技术实现步骤摘要】
一种大数据存储系统
本专利技术属于数据存储
,具体的,涉及一种大数据存储系统。
技术介绍
随着互联网技术的高速发展,人们对于数据的存储也有着越来越高的需求,数据只会不断的增长,而在这一过程中,如何将增长的数据信息存储起来是存储系统的发展中最基本的问题,大数据通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据,大数据存储是将这些数据集持久化到计算机中。随着大数据应用的爆发性增长,它已经衍生出了自己独特的架构,而且也直接推动了存储、网络以及计算技术的发展,毕竟处理大数据这种特殊的需求是一个新的挑战,硬件的发展最终还是由软件需求推动的,就这个例子来说,我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展,提高存储系统的存储能力,可以从两方面入手,一方面为通过拓展存储系统的存储空间,对海量数据进行存储,这也是现有技术中主要的操作方法,但单从拓展存储空间下手会快速提高存储新系统的硬件成本,因此还可以从对存储空间内的存储内容进行整改,剔除重复的、检索意义不高的内容,释放存储空间,从而达到提高存储系统存储能力的效果,为了解决这一问题,本专利技术提供了以下技术方案。
技术实现思路
本专利技术的目的在于提供一种大数据存储系统。本专利技术需要解决的技术问题为:1、现有技术中,用户用于连接存储系统的链接密钥容易被盗取,从而出现恶意利用链接密钥不断的对存储系统进行访问的事件,导致网络宽带被大量占用,影响正常用户对存储系统的访问; ...
【技术保护点】
1.一种大数据存储系统,其特征在于,包括控制器,控制器连接有信息传输模块与若干个分布式数据库,分布式数据库数量可拓展,所述分布式数据库包括存储数据库与数据处理模块,所述信息传输模块连接有分级模块、阅览模块、信息评阅模块、访问模块与检索模块,所述分级模块连接有数据编录模块,所述控制器还连接有标识模块、暂存模块、自动检索模块、统计模块、验证模块与数据分类模块;/n所述访问模块通过信息传输模块与控制器向验证模块传输访问认证信息,当访问认证信息通过验证模块的验证时,对应用户能够登录并对数据库中的数据进行访问查看;/n所述验证模块用于对访问模块发出的访问认证信息进行验证,并对通过验证的账号登录状况进行监督;/n所述标示模块用于生成账号并对账号标记,所标记账号分为高权限用户账号与普通权限用户账号,标记模块生成的账号分至各用户;/n所述数据编录模块用于输入待存储数据,同时高权限用户能够通过数据编录模块对二级数据进行修改,数据编录模块中输入的待存储数据经分级模块设定权限后传输至暂存模块;/n所述存储数据库用于存储数据编录模块输入的数据;/n所述数据处理模块用于响应控制器的控制命令对存储数据库中的数据进 ...
【技术特征摘要】
1.一种大数据存储系统,其特征在于,包括控制器,控制器连接有信息传输模块与若干个分布式数据库,分布式数据库数量可拓展,所述分布式数据库包括存储数据库与数据处理模块,所述信息传输模块连接有分级模块、阅览模块、信息评阅模块、访问模块与检索模块,所述分级模块连接有数据编录模块,所述控制器还连接有标识模块、暂存模块、自动检索模块、统计模块、验证模块与数据分类模块;
所述访问模块通过信息传输模块与控制器向验证模块传输访问认证信息,当访问认证信息通过验证模块的验证时,对应用户能够登录并对数据库中的数据进行访问查看;
所述验证模块用于对访问模块发出的访问认证信息进行验证,并对通过验证的账号登录状况进行监督;
所述标示模块用于生成账号并对账号标记,所标记账号分为高权限用户账号与普通权限用户账号,标记模块生成的账号分至各用户;
所述数据编录模块用于输入待存储数据,同时高权限用户能够通过数据编录模块对二级数据进行修改,数据编录模块中输入的待存储数据经分级模块设定权限后传输至暂存模块;
所述存储数据库用于存储数据编录模块输入的数据;
所述数据处理模块用于响应控制器的控制命令对存储数据库中的数据进行处理;
所述数据编录模块输入的待存储数据进入存储数据库的流程为:
步骤一:待存储数据传输至分级模块,分级模块将待存储数据分为一级数据与二级数据,其中一级数据为所有用户可发布、所有用户不可修改只可查阅的数据,二级数据为高权限用户可发布,所有用户可以查阅,高权限用户能够进行修改的数据;
步骤二:待存储数据传输至暂存模块,自动检索模块对待存储数据的标题进行检索,当待存储数据的标题中θ%的字符包含于分布式数据库中已经存储的数据A1、A2、......、An的标题中,则定义此待存储数据与已经存储的信息A1、A2、......、An为同一类数据,其中θ为预设值;
步骤三:控制器分析已经存储的数据A1、A2、......、An在分布式数据库中的分布状况,得到已经存储的数据A1、A2、......、An在各个分布式数据库中的存储数量B1、B2、......、Bn,取B1、B2、......、Bn中最小的存储数量Bk对应的分布式数据库Ck中,将该待存储数据传输至Ck中,若同时出现多个存储数量为Bk的分布式数据库C1、C2、......Cn,则待存储数据随机存储分布式数据库C1、C2、......Cn中的一个;
所述阅览模块用于查询阅览数据库中的现有数据;
所述信息评阅模块用于对数据库中的现有数据进行评价,评价分为赞同与不赞同,评价由接入存储系统的用户进行,每一个账号能够对一条数据信息进行一次评价;
所述数据分类模块用于对数据编录模块输入的数据按照所属检索领域进行分类,检索领域包括但...
【专利技术属性】
技术研发人员:任伟,蔡军杰,陆琴亚,
申请(专利权)人:杭州桐硕教育科技有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。