一种海量非结构化数据的存储系统和管理方法技术方案

本发明专利技术公开了一种海量非结构化数据存储系统，该系统包括：在线存储池，由高速存储阵列组成，实现各种终端或应用系统的非结构化数据的实时高速存储和访问。近线归档池，由大容量存储阵列组成，实现在线存储池数据的定期归档和备份。离线归档池，由大容量磁带库组成，实现近线归档池数据的定期归档和备份。各类终端或应用系统，产生和实际使用非结构化数据的设备。针对公开的海量非结构化数据存储系统，本发明专利技术还公开了一种海量非结构化数据存储的管理方法。本发明专利技术公开的海量非结构化数据存储系统及管理方法提供了统一的基于存储池的空间管理功能，可以支持PB级存储容量和支持数千客户端的并发访问，不但简化了各种不同类型存储设备的管理，同时节约了存储系统的成本和资金支出。

【技术实现步骤摘要】

本专利技术涉及通信领域，尤其涉及。
技术介绍
随着互联网的高速普及，各种终端和桌面系统，比如智能手机、PAD、笔记本、桌面电脑等设备越来越多，造成系统数据生产越来越快，呈几何级膨胀态势，长期下来，这些数据生产系统上积累的数据和文件越来越多，大量分散在终端和应用系统中的各种报表、资料等文件会造成生产系统性能越来越慢，无法快速有效的查找数据，从而只有不断通过增加服务器和存储设备来增加系统性能，成本越来越高；同时数据的不断增加，数据量过于庞大，备份越来越困难，系统在出现故障时能否恢复变得越来越渺茫；虽然有RAID热备技术，但增加的设备特别是硬盘会给系统带来更多的系统故障点，系统进入越来越难维护的怪圈。目前许多企业提供了使用服务器进行云存储的解决方案，但是访问速度和存储容量一直是存储器存在的一对固有矛盾，使用传统的NAS服务器进行文件存储，存在容量上的限制，需要企业不断增加新设备以应对新增加的数据存储要求和不可预测的工作负载。这将会导致成本不断上升，包括设备实施、空间占用、能源以及日常IT管理成本，对存储的数据和文件，目前也没有高效的查找需要数据的方法。因此，亟需一种低成本构建且效率速度高的海量非结构化数据的存储系统和管理方法。
技术实现思路
本专利技术的目的之一在于提供一种海量非结构化数据的存储系统。本专利技术的另一目的在于提供一种针对海量非结构化数据存储系统进行管理的方法。为了实现本专利技术的第一个目的，本专利技术提供的技术方案为:提供一种海量非结构化数据的存储系统，包括:在线存储池，由高速存储阵列组成，实现各种终端或应用系统的非结构化数据的实时高速存储和访问。近线归档池，由大容量存储阵列组成，实现在线存储池数据的定期归档和备份。离线归档池，由大容量磁带库组成，实现近线归档池数据的定期归档和备份。各类终端或应用系统，产生和实际使用非结构化数据的设备。具体地，所述终端或应用系统的非结构化数据通过本地数据传输代理模块实现数据监控和传输。具体地，所述终端或应用系统及各级存储设备使用文件占位符代表非结构化数据，实际使用时，依次从下级存储或归档设备透明获取实际文件数据。具体地，所述存储系统对归档的数据进行全文索引，提供高性能数据搜索。本专利技术提供的海量非结构化数据存储系统，包含多级存储结构，容量不断增大，单位容量成本不断下降，满足实际应用场景的情况下有效降低了整个系统的成本，实际存储时，只在某一级存储系统中保留实际存储内容，前面多级系统中增加对应的文件占位符，有效实现透明访问，从而节约位于最前端的终端或应用系统中宝贵的存储空间，扩展了实际可用的存储空间。为了实现本专利技术的第二个目的，本专利技术提供的技术方案为:提供一种针对海量非结构化数据存储系统进行管理的方法，其包括如下步骤:(I)终端或应用系统安装数据传输代理模块，连接远程服务器；(2)本地文件通过数据代理传输模块传输到在线存储池进行保存，本地终端或应用系统使用文件占位符代替；(3)在线存储池的数据根据数据周期定期归档到近线归档池，近线归档池定期归档到离线归档池；(4)数据传输代理模块实时监控文件占位符使用情况，实时传回数据，实现透明数据访问。本专利技术提供的海量非结构化数据存储吸引管理方法，定期将某级存储系统中访问不频繁的数据通过数据传输代理模块备份到成本更低的下级存储结构，仅保留对应的文件占位符，有效控制了成本，并保证了数据的安全。数据传输代理模块实时监控文件占位符，在需要访问数据时，实时传回终端或应用系统，实现透明访问，存储系统中增加的全文索弓I，保证了在文件很多的情况下也能实现快速查找和访问。总结上述情况，本专利技术提供的海量非结构化数据存储系统和管理方法，提供了统一的基于存储池的空间管理功能，可以支持PB级存储容量和支持数千客户端的并发访问，简化了各种不同类型存储设备的管理，节约了用于存储系统的成本和资金支出。通过以下的描述并结合附图，本专利技术将变得更加清晰，这些附图用于解释本专利技术的实施例。附图说明图1为本专利技术海量非结构化数据存储系统的一个实施例的结构示意图。图2为本专利技术海量非结构化数据存储系统管理方法的流程框图。具体实施例方式现在参考附图描述本专利技术的实施例，附图中类似的元件标号代表类似的元件。如上所述，如图1所示，本专利技术提供的一种海量非结构化数据的存储系统，包括:在线存储池⑵，由高速存储阵列组成，实现各种终端或应用系统⑴的非结构化数据的实时高速存储和访问。近线归档池(3)，由大容量存储阵列组成，实现在线存储池数据(2)的定期归档和备份。离线归档池(4)，由大容量磁带库组成，实现近线归档池数据(3)的定期归档和备份。各类终端或应用系统(I)，产生和实际使用非结构化数据的设备。具体工作时，人们通过各种终端或应用系统(I)存储和访问各种类型文件及数据资源，即各类应用系统非结构化数据，随着时间的增长，终端或应用系统(I)上的非结构化数据将会越来越多，通过安装数据传输代理模块，将终端中的数据存储到性能较高的在线存储池(2)中，实现数据的妥善和安全保存，并释放本地存储空间，在本地系统中仅保留小于4K字节的文件占位符。后续根据数据生命周期要求，可以定期的将在线存储池(2)中不经常访问的文件和数据归档到更加经济和成本较低的近线归档池(3)中，近线归档池(3)中的数据，也可以根据数据的生命周期要求，定期地把数据和文件归档到离线归档池(4)中进行长期保存。数据传输代理模块实时监控文件描述符的状态和使用，当有应用系数要访问和修改实际文件和数据时，就实时地回传相应数据，实现应用系统透明地访问和操作功能，而当用户需要删除存储的文件和数据时，删除本地的文件占位符，并同步命令到下层存储，查找到对应的文件占位符或实际数据，实现透明管理。整个存储系统对归档的数据设置全文索引，从而提供了对数据的高性能搜索。为了实现本专利技术的第二个目的，结合海量非结构化数据的存储系统，本专利技术提供一种针对海量非结构化数据的存储管理方法，如图2所示，其包括如下步骤:S21终端或应用系统安装数据传输代理模块，连接远程服务器；S22本地文件通过数据代理传输模块传输到在线存储池进行保存，本地终端或应用系统使用文件占位符代替；S23在线存储池的数据根据数据周期定期归档到近线归档池，近线归档池定期归档到离线归档池；S24数据传输代理模块实时监控文件占位符使用情况，实时传回数据，实现透明数据访问。结合图1和图2，本专利技术提供的海量非结构化数据的存储系统和管理方法，提供了统一的基于存储池的空间管理功能，可以支持PB级存储容量和支持数千客户端的并发访问，简化了各种不同类型存储设备的管理，包含的多级存储结构，容量不断增大，单位容量成本不断下降，满足实际应用场景的情况下有效降低了整个系统的成本和支出，释放出来的本地存储空间，扩展了实际可用的存储空间，同时保证了数据的安全，方便了管理员的集中海量数据管理。以上结合最佳实施例对本专利技术进行了描述，但本专利技术并不局限于以上揭示的实施例，而应当涵盖各种根据本专利技术的本质进行的修改、等效组合。本文档来自技高网...

【技术保护点】
一种海量非结构化数据存储系统，其特征在于，所述系统包括：在线存储池，由高速存储阵列组成，实现各种终端或应用系统的非结构化数据的实时高速存储和访问。近线归档池，由大容量存储阵列组成，实现在线存储池数据的定期归档和备份。离线归档池，由大容量磁带库组成，实现近线归档池数据的定期归档和备份。各类终端或应用系统，产生和实际使用非结构化数据的设备。

【技术特征摘要】
1.一种海量非结构化数据存储系统，其特征在于，所述系统包括: 在线存储池，由高速存储阵列组成，实现各种终端或应用系统的非结构化数据的实时高速存储和访问。近线归档池，由大容量存储阵列组成，实现在线存储池数据的定期归档和备份。离线归档池，由大容量磁带库组成，实现近线归档池数据的定期归档和备份。各类终端或应用系统，产生和实际使用非结构化数据的设备。2.按权利要求1所述的海量非结构化数据存储系统，其特征在于，所述终端或应用系统的非结构化数据通过本地数据传输代理模块实现数据监控和传输。3.按权利要求1所述的海量非结构化数据存储系统，其特征在于，所述终端或应用系统及各级存储设备使用文件占位符代表非结构化数据，实际使用...

【专利技术属性】
技术研发人员：莫德寿，
申请(专利权)人：深圳市连用科技有限公司，
类型：发明
国别省市：