一种云端大数据存储管理方法及系统技术方案

本发明专利技术涉及数据管理相关领域，公开了一种云端大数据存储管理方法及系统，包括数据节点管理模块、数据分址存储模块、数据分址备份模块以及存储监测减量模块；基于云端及与云端连接的终端节点建立存储网络，实现对于数据的多地备份与存储，减少大量数据及数据备份对于云端存储的空间过量占用，对于由用户发起的数据内容，可以基于用户终端节点的获取情况建立数据备份的索引引导以达成优化数据空间占用的目的，且对于用户间不断传输转发的数据内容，可以通过索引链接覆盖的方式避免多个副本在云端的生成，能够有效的避免数据在重复的复制传输中信息丢失问题的发生。传输中信息丢失问题的发生。传输中信息丢失问题的发生。

【技术实现步骤摘要】
一种云端大数据存储管理方法及系统


[0001]本专利技术涉及数据管理相关领域，具体是一种云端大数据存储管理方法及系统。

技术介绍

[0002]随着信息网络技术的飞速发展，存储于网络之上的数据体量愈发庞大，用户可以自行的进行数据的上传与下载，以达到内容的保存、分享及获取，这也就导致云端对于数据存储的需求愈发膨胀。
[0003]现有技术中，在用户对数据进行下载后转发给其他用户时，数据会进一步的产生一份副本，导致云端存储资源的浪费，且云端对于数据的备份需求也进一步的再挤压剩余云端存储空间，导致云端存储资源的有效利用率较低。

技术实现思路

[0004]本专利技术的目的在于提供一种云端大数据存储管理方法及系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种云端大数据存储管理系统，包含：数据节点管理模块，用于通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组；数据分址存储模块，用于获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发；数据分址备份模块，用于对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表；存储监测减量模块，用于对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。
[0006]作为本专利技术的进一步方案：所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述数据节点管理模块包括节点评估单元以及节点筛选单元；所述节点评估单元，用于获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估；
所述节点筛选单元，用于基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。
[0007]作为本专利技术的再进一步方案：还包括网络节点管理模块，所述网络节点管理模块包括：节点划分单元，用于基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引；节点更新单元，用于获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态并用于更新所述节点访问索引的实时状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。
[0008]作为本专利技术的再进一步方案：所述数据分址备份模块包括：备份节点选择单元，用于获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。
[0009]作为本专利技术的再进一步方案：还包括数据替换模块；所述数据替换模块，用于当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。
[0010]本专利技术实施例旨在提供一种云端大数据存储管理方法，包含步骤：通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组；获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发；对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表；对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。
[0011]作为本专利技术的进一步方案：所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络的步骤具体包括：获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连
续周期中的在线周期的占比的评估；基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。
[0012]作为本专利技术的再进一步方案：还包括步骤：基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引；获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。
[0013]作为本专利技术的再进一步方案：所述对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储的步骤还包括；获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。
[0014]作为本专利技术的再进一步方案：还包括步骤：当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。
[0015]与现有技术相比，本专利技术的有益效果是：基于云端及与云端连接的终端节点建立存储网络，实现对于数据的多地备份与存储，减少本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云端大数据存储管理系统，其特征在于，包含：数据节点管理模块，用于通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组；数据分址存储模块，用于获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发；数据分址备份模块，用于对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表；存储监测减量模块，用于对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。2.根据权利要求1所述的一种云端大数据存储管理系统，其特征在于，所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述数据节点管理模块包括节点评估单元以及节点筛选单元；所述节点评估单元，用于获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估；所述节点筛选单元，用于基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。3.根据权利要求2所述的一种云端大数据存储管理系统，其特征在于，还包括网络节点管理模块，所述网络节点管理模块包括：节点划分单元，用于基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引；节点更新单元，用于获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态并用于更新所述节点访问索引的实时状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。4.根据权利要求3所述的一种云端大数据存储管理系统，其特征在于，所述数据分址备份模块包括：备份节点选择单元，用于获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。5.根据权利要求4所述的一种云端大数据存储管理系统，其特征在于，还包括数据替换模块；
所述数据替换模块，用于当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据...

【专利技术属性】
技术研发人员：姚健康，高占海，汪广瑞，王雪辉，张静轩，
申请(专利权)人：北京装库创意科技有限公司，
类型：发明
国别省市：