【技术实现步骤摘要】
本专利技术涉及数据存储领域，特别涉及一种基于分布式存储的数据安全管理方法及系统。
技术介绍
1、随着计算机信息技术与互联网信息技术的快速发展，计算机网络技术已经渗透进入各行各业，网络上的信息资源呈现爆发式增长，互联网信息技术的使用给我们的生活带来了极大的便利，但互联网上的信息十分庞杂，给使用者带来了巨大的困扰，大数据时代下的数据存储需求更加多样，传统的数据存储系统已经难以满足大数据存储的需求。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，当进行容量扩展时，需要静态停机，然后进行扩展存储，数据也要重新进行分布，若数据在某一时段骤增，信息数据增长速度大于数据库硬件升级速度，导致无法满足通过扩容对骤然增加数据存储的无缝连接，容易出现数据库容量不足，影响服务质量以及客户时效性需求。
2、分布式存储系统是将数据分散存储在多台独立的设备上，在分布式存储中，数据的合理调度是一个很大的问题，需要满足高并发，高可用的需求。现有技术中，一个到达的请求只能在承载被请求对象的一个节点上提供服务，容易导致分布式存储系统的节点负载不均衡的问题。
3、因此，需要提供一种基于分布式存储的数据安全管理方法及系统，提高分布式存储调度的灵活性，保证分布式存储节点的负载均衡，提高分布式存储的稳定性。
技术实现思路
1、本专利技术提供一种基于分布式存储的数据安全管理系统，包括：存储调度模块，包括至少一个存储调
2、进一步地，所述数据处理模块基于多个用户终端的历史数据存取操作，对所述数据处理节点的数量进行调度，包括：基于多个用户终端的历史数据存取操作，对所述多个用户终端进行聚类，确定多个用户终端聚类簇；对于每个所述用户终端聚类簇，基于所述用户终端聚类簇包括的多个用户终端的历史数据存取操作，确定所述用户终端聚类簇在当前调度周期的多个调度时间段的数据存储需求及数据读取需求；基于每个所述用户终端聚类簇在当前调度周期的多个调度时间段的数据存储需求及数据读取需求，对当前调度周期的多个调度时间段的数据处理节点的数量进行调度。
3、进一步地，所述数据处理模块基于多个用户终端的历史数据存取操作，对所述多个用户终端进行聚类，确定多个用户终端聚类簇，包括：对于每个所述用户终端，基于所述用户终端的历史数据存取操作，确定所述用户终端在一个调度周期的每个调度时间段的数据存储需求及数据读取需求和所述用户终端在一个调度周期的每个调度时间段的数据存储需求波动参数和数据读取需求波动参数；对于任意两个所述用户终端，基于两个所述用户终端在一个调度周期的每个调度时间段的数据存储需求及数据读取需求和所述用户终端在一个调度周期的每个调度时间段的数据存储需求波动参数和数据读取需求波动参数，计算两个所述用户终端的终端相似度；基于任意两个所述用户终端的终端相似度，对所述多个用户终端进行聚类，确定多个用户终端聚类簇。
4、进一步地，所述数据存储模块基于多个用户终端的历史数据存取操作，对所述数据存储节点的数量进行调度，包括：基于每个所述用户终端聚类簇在当前调度周期的多个调度时间段的数据存储需求及数据读取需求，对所述数据存储节点的数量进行调度。
5、进一步地，所述存储调度节点基于所述数据存储请求，根据所述用户终端的历史数据存取操作及每个所述数据处理节点的状态信息，从所述至少一个数据处理节点中确定所述数据存储请求对应的第一目标数据处理节点，包括：获取每个所述数据处理节点的算力资源使用信息；获取每个所述数据处理节点的运行参数信息；获取每个所述数据处理节点所在的物理机的状态信息；对于每个所述数据处理节点的算力资源使用信息、运行参数信息及所在的物理机的状态信息，计算所述数据处理节点的排序分值；基于每个所述数据处理节点的排序分值，从所述至少一个数据处理节点中确定所述数据存储请求对应的第一目标数据处理节点。
6、进一步地，所述存储调度节点基于所述数据存储请求，根据所述用户终端的历史数据存取操作及每个所述数据存储节点的状态信息，从所述至少一个数据存储节点中确定所述数据存储请求对应的多个第一目标数据存储节点，包括：获取每个所述数据存储节点的存储资源使用信息；获取每个所述数据存储节点的运行参数信息；获取每个所述数据存储节点所在的物理机的状态信息；对于每个所述数据存储节点，基于所述数据存储节点的存储资源使用信息、运行参数信息及所在的物理机的状态信息，计算所述数据存储节点的排序分值；基于每个所述数据存储节点的排序分值，从所述至少一个数据存储节点中确定所述数据存储请求对应的多个第一目标数据存储节点。
7、进一步地，所述第一目标数据处理节点对所述数据存储请求对应的待存储数据进行切分，生成所述待存储数据对应的多个待存储数据段，包括：对于每个所述用户终端聚类簇，基于所述用户终端聚类簇在当前调度周期的多个调度时间段的数据存储需求及数据读取需求，确定所述用户终端聚类簇在当前调度周期的多个调度时间段的数据段长度；基于所述数据存储请求，确定所述待存储数据对应的目标用户终端聚类簇；基于所述目标用户终端聚类簇在当前调度周期的多个调度时间段的数据段长度，确定所述待存储数据对应的目标数据段长度；基于所述目标数据段本文档来自技高网...
【技术保护点】
1.一种基于分布式存储的数据安全管理系统，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述数据处理模块基于多个用户终端的历史数据存取操作，对所述数据处理节点的数量进行调度，包括：
3.根据权利要求2所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述数据处理模块基于多个用户终端的历史数据存取操作，对所述多个用户终端进行聚类，确定多个用户终端聚类簇，包括：
4.根据权利要求3所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述数据存储模块基于多个用户终端的历史数据存取操作，对所述数据存储节点的数量进行调度，包括：
5.根据权利要求1-4中任意一项所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述存储调度节点基于所述数据存储请求，根据所述用户终端的历史数据存取操作及每个所述数据处理节点的状态信息，从所述至少一个数据处理节点中确定所述数据存储请求对应的第一目标数据处理节点，包括：
6.根据权利要求1-4中任意一项所述的一种基于分布式存储的数据安全管理系
7.根据权利要求2-4中任意一项所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述第一目标数据处理节点对所述数据存储请求对应的待存储数据进行切分，生成所述待存储数据对应的多个待存储数据段，包括：
8.根据权利要求1-4中任意一项所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述第一目标数据处理节点对所述多个待存储数据段进行加密，包括：
9.根据权利要求8所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述第一目标数据处理节点基于所述第一目标数据处理节点的相关信息及所述多个第一目标数据存储节点的相关信息对所述多个待存储数据段进行加密，包括：
10.一种基于分布式存储的数据安全管理方法，其特征在于，应用于权利要求1-9中任意一项所述的一种基于分布式存储的数据安全管理系统，包括：
...【技术特征摘要】
1.一种基于分布式存储的数据安全管理系统，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述数据处理模块基于多个用户终端的历史数据存取操作，对所述数据处理节点的数量进行调度，包括：
3.根据权利要求2所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述数据处理模块基于多个用户终端的历史数据存取操作，对所述多个用户终端进行聚类，确定多个用户终端聚类簇，包括：
4.根据权利要求3所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述数据存储模块基于多个用户终端的历史数据存取操作，对所述数据存储节点的数量进行调度，包括：
5.根据权利要求1-4中任意一项所述的一种基于分布式存储的数据安全管理系统，其特征在于，所述存储调度节点基于所述数据存储请求，根据所述用户终端的历史数据存取操作及每个所述数据处理节点的状态信息，从所述至少一个数据处理节点中确定所述数据存储请求对应的第一目标数据处理节点，包括：
6.根据权利要求1-4中任意一项所述的一种基于分布式存储的数...
【专利技术属性】
技术研发人员：李璇珑，
申请(专利权)人：瑞达可信安全技术广州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。