雾存储数据去冗余方法技术

本发明专利技术涉及冗余数据处理方法技术领域，是一种雾存储数据去冗余方法，其对于移动终端的查询或存储请求，根据雾节点可用容量进行处理。本发明专利技术所述雾存储数据去冗余方法是一种针对低延迟重复数据的删除方案，其通过在内存中构建索引表，每个索引值对应的红黑树作为存储数据指纹的结构，减少磁盘与内存间的I/O，提高查询速度，并利用循环冗余码(CRC)技术判断具有相同数据指纹的数据块是否重复，并将冲突数据块用链表结构存储在指纹节点中；另外，为防止操作系统的突然崩溃，在内存中持久化保存指纹表，一旦操作系统崩溃重启，内存中的数据会消失，此时磁盘中的两个文件合并重新构建内存中的指纹表，同时两个文件内容清空重新记录。

【技术实现步骤摘要】
雾存储数据去冗余方法
本专利技术涉及冗余数据处理方法
，是一种雾存储数据去冗余方法。
技术介绍
当今社会数字化信息呈爆炸式增长，数据量的剧增和泛滥对数据存储管理技术提出了巨大的挑战，如何高效的管理和存储数据已成为研究热点。微软和EMC生产的主存储系统和二级存储系统中，分别有50%和85%的冗余数据，随着时间的推移，冗余数据的比例也会成倍上升，企业在存储这些的数据上所需要的开销也是巨大的。如此庞大的数据对传统存储系提出了挑战。于是技术人员将目标转向容量更大，成本更低廉的云存储系统。但是，云存储采取的是数据外包模式，许多云服务提供商为了降低成本，往往会将数据中心建立在低成本的偏远地区，当云服务器距离客户较远时，必然会增加数据传输延迟。传输过程中的重复数据也会占用大量的网络带宽，造成数据中心和移动端的I/O瓶颈。据最新研究结果显示，在各类云存储产品中数据的重复率达到60%，庞大的重复数据对云中心去重同样造成很大压力。了解决现存的云存储去重问题，并且满足物联网发展的需求，便产生了一种新的体系结构，即在终端和云数据中心之间加入网络边本文档来自技高网...

【技术保护点】
1.一种雾存储数据去冗余方法，其特征在于包括以下步骤：/n步骤S1，移动终端向雾节点的管理员提出查询或存储的请求；/n步骤S2，雾节点的管理员查看雾进程日志管理服务器的统计内容，所述统计内容分别是虚拟机资源占用表和请求进程表；/n步骤S3，当雾节点可用容量满足移动终端的请求时，雾计算服务器或存储服务器处理请求，对传入雾节点的数据流进行去重并存储或查询；/n步骤S4，当雾节点可用容量满足移动终端请求时，雾计算服务器或存储服务器处理请求的同时雾节点的管理员更新当前任务处理进程，雾进程日志管理服务器更新该雾节点的资源占用表和虚拟机的可用容量。/n

【技术特征摘要】
1.一种雾存储数据去冗余方法，其特征在于包括以下步骤：
步骤S1，移动终端向雾节点的管理员提出查询或存储的请求；
步骤S2，雾节点的管理员查看雾进程日志管理服务器的统计内容，所述统计内容分别是虚拟机资源占用表和请求进程表；
步骤S3，当雾节点可用容量满足移动终端的请求时，雾计算服务器或存储服务器处理请求，对传入雾节点的数据流进行去重并存储或查询；
步骤S4，当雾节点可用容量满足移动终端请求时，雾计算服务器或存储服务器处理请求的同时雾节点的管理员更新当前任务处理进程，雾进程日志管理服务器更新该雾节点的资源占用表和虚拟机的可用容量。


2.根据权利要求1所述的雾存储数据去冗余方法，其特征在于所述步骤S2中，虚拟机资源占用表记录当前雾节点虚拟机序号、服务ID、各雾节点及云节点的进程百分比和预计完成时间；请求进程表记录当前雾节点虚拟机序号、服务ID、各雾节点及云节点的进程百分比、预计完成时间以及IP地址。


3.根据权利要求1或2所述的雾存储数据去冗余方法，其特征在于步骤S3包括：
步骤S31，雾计算服务器或存储服务器收到传入的数据流，将数据流进行等长分块；
步骤S32，选择生成指纹较小的MD5算法，将分块后的数据块进行hash计算，得到每个数据块的指纹，将所述指纹作为每个数据块的元数据存储在内存中；
步骤S33，将得到的指纹再次计算hash计算，得到索引，映射到固定大小的索引表中，每个索引值都对应多个指纹，红黑树作为指纹的数据存储结构，得到的指纹表作为元数据存储在内存中；
步骤S34，内存中持久化保存指纹表：指纹表原有的数据信息通过映射的方式写入映射文件，在对数据指纹表做更改前，将数据指纹的插入操作信息写入日...

【专利技术属性】
技术研发人员：徐健，黄强，鲁学仲，李浩升，王庆鹏，赵梅，马怡璇，陈伟，
申请(专利权)人：国网新疆电力有限公司信息通信公司，国家电网有限公司，
类型：发明
国别省市：新疆;65