【技术实现步骤摘要】
一种实现点对点跨区域NAS的系统和数据处理方法
[0001]本专利技术涉及一种基于带反馈并行日志系统实现点对点跨区域NAS的系统和数据处理方法。
技术介绍
[0002]大数据现在已经无处不在，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。各行各业的企业或者部门都希望利用大数据挖掘自身更大的价值，那么利用数据的第一步就是存储数据，因此伴随着大数据的诞生也让存储进入了一个高速发展期。
[0003]同时，在技术区域性发展的今天，企业需要根据不同区域技术发展的情况，考虑把各个职能部门建设在不同区域以优化发展和优化成本结构。对于大多数现代化公司而言，数据不言而喻已经成为了最终要的资产。各个部门在协同工作的期间，存在大量数据需要部门之间进行共享。此时，如何高效高性价比存储数据，以及数据如何进行高效稳定地相互共享，就变成了公司亟待解决的问题。
[0004]NAS(NetworkAttached Storage)网络存储基于标准网络协议实现数据传输，为网络中的Windows/Linux/Mac OS等各种不同操...
【技术保护点】
【技术特征摘要】
1.一种实现点对点跨区域NAS的系统，其特征在于包括跨区域存储系统和带反馈并行日志系统，所述的跨区域存储系统包括设置在每个区域独立的存储服务器，所述的带反馈并行日志系统包括设置在每个区域独立的带存储节点状态反馈的并行日志服务器；每个区域在这个并行日志服务器上独立记录各种元数据和操作，然后使用存储服务器来存储数据，同时存储服务器还在多个区域间进行并行日志的交换，以及数据和元数据同步。2.根据权利要求1所述的一种实现点对点跨区域NAS的系统，其特征在于还包括一个动态可调节的元数据沙箱系统，其根据支撑它的带反馈并行日志系统和跨区域存储系统动态生成元数据结构，所述的元数据沙箱系统能利用写事件驱动自动生成快照。3.根据权利要求2所述的一种实现点对点跨区域NAS的系统，其特征在于所述的元数据沙箱系统在启动时才进行构建，加载本区域带反馈并行日志系统中的日志，并将日志中与文件系统目录结构和文件属性的相关日志数据分析加载到一个混合分层二叉搜索树中。4.根据权利要求3所述的一种实现点对点跨区域NAS的系统，其特征在于所述的混合分层二叉搜索树采用目录层级式环形散列表的形式存储文件系统结构，所述的目录层级式环形散列表的形式存储文件系统结构是让每个路径通过散列算法分布到散列环中的一个层级节点，接下来在每一个节点上建立一个多级散列双向链表来存储每个元数据内容，并且同时建立一个二叉搜索树来进行元数据索引。5.根据权利要求2所述的一种实现点对点跨区域NAS的系统，其特征在于所述元数据沙箱系统的自动生成快照是指当上层有元数据需要写入时，检查自上次多区域合并同步和修正后沙箱稳定状态副本到当前时刻是否曾经有数据写入，有则忽略，没有则创建当前沙箱状态快照。6.根据权利要求2或所述的一种实现点对点跨区域NAS的系统，其特征在于所述的带反馈并行日志系统记录了文件系统中的用于灾难恢复的发生行为，同时还记录着元数据的所有相关操作和元数据内容，当上层有写操作发生时，首先在元数据沙箱系统中进行插入，然后元数据沙箱系统向带反馈并行日志系统发送操作日志和元数据，带反馈并行日志系统接收到以后将写入一个日志数据块，每个日志数据块中分为两个区域，一个操作日志区和一个元数据区。7.根据权利要求6所述的一种实现点对点跨区域NAS的系统，其特征在于所述的带反馈并行日志系统接收来自沙箱的操作日志和元数据时，根据当前区域的uuid和时间戳生成一个唯一标识，这个唯一标识将来用于操作日志和元数据的关联，同时也可以记录这段日志的产生时间。8.根据权利要求7所述的一种实现点对点跨区域NAS的系统，其特征在于每一个日志数据块都是双向链表中的一个节点，当一个日志数据块写满时，则生成下一个日志数据块继续进行记录，日志数据块的状态分为只读和写两个状态，每记...
【专利技术属性】
技术研发人员：黄艺海，甘晨，林煌，陈炯，
申请(专利权)人：杭州前云数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。