一种智能计算中心基于组合循环备份的数据加密传输系统与方法技术方案

本发明专利技术公开了一种智能计算中心基于组合循环备份的数据加密传输系统，包括如下功能模块：数据备份管理服务器(1)、数据修改日志单元(2)、多个数据存储单元(3)、储存大数据分析模块(4)和数据修改侦测模块(5)；其中，所述数据备份管理服务器(1)分别和所述数据修改日志单元(2)、多个所述数据存储单元(3)、所述储存大数据分析模块(4)和所述数据修改侦测模块(5)进行数据通信连接；所述数据备份管理服务器(1)用于完成数据文件的存储、备份和恢复和协调任务。本发明专利技术实现系统文件级操作的监测，对数据文件的修改进行表格目录化的登记管理制度，形成数据操作日志文件，通过分析数据操作日志，利用大数据分析方法，合理分析数据的存储特点、修改和备份特点，形成有效的数据分组方法，去更好的管理数据，进一步缩短恢复时间和减小占用空间。和减小占用空间。

【技术实现步骤摘要】
一种智能计算中心基于组合循环备份的数据加密传输系统与方法


[0001]本专利技术智能计算
，具体为一种智能计算中心基于组合循环备份的数据加密传输系统与方法。

技术介绍

[0002]随着高性能计算机、超级计算机的出现以及建设成本的降低，各地都在建设省级、市级的大数据中心、城市大脑，其利用高性能计算机、超级计算机，对省内、市内的各数据进行大数据的计算，为城市的安全、交通等各项工作提供指导运行和防控，对省、市的管理具备十分有价值的活动。随着人工智能技术的研究得到大的进步，人工智能计算中心为我们的城市提供越来越有意义的活动。人工智能计算中心是建设国家新一代人工智能创新发展试验区的重要基础设施，其可支持人工智能重大应用的模型训练及推理，其核心围绕数字设计、智能制造、智慧城市、基因测序四大应用场景，可广泛服务于自动驾驶、智慧城市、智慧医疗、智能交通等多个领域。
[0003]人工智能计算中心是以基于人工智能芯片构建的人工智能计算机集群为基础，涵盖了基建基础设施（机房基建）、硬件基础设施和软件基础设施的完整系统，主要应用于人工智能深度学习模型开发、模型训练和模型推理等场景，提供从底层芯片算力释放到顶层应用使能的人工智能全栈能力。
[0004]具体来说，人工智能计算中心包括3方面，软件基础设施、硬件基础设施和基建基础设施。其中，在硬件基础设施中，储存系统在人工智能计算中心中起到了重要的作用，是人工智能计算中心的重要基础。
[0005]为了保证数据存储的安全，通常会采用数据备份的方式，对数据的备份，通常包括3种备份方式：完全备份，每个档案都会被写进备份档去。即如果两个时间点备份之间，数据没有任何更动，那么所有备份数据都是一样的，备份系统不会检查自上次备份后，档案有没有被更动过，它只是机械性地将每个档案读出、写入，不管档案有没有被修改过。备份全部选中的文件及文件夹，并不依赖文件的存盘属性来确定备份哪些文件，这会导致占据许多存储空间；增量备份，跟完全备份不同，增量备份备份上一次的完全备份后发生变化的所有文件，档案的最后修改时间是否比上次备份的时间来得晚。增量备份常常跟完全备份合用差异备份是针对完全备份：备份上一次的完全备份后发生变化的所有文件。使用增量备份最大的好处在于备份速度：它的速度比完整备份快上许多，同时由于增量备份在做备份前会自动判断备份时间点及文件是否已作改动，所以相对于完全备份其对于节省存储空间也大有益处。增量备份的不足之处在于数据还原的时间较长，效率相对较低，例如，如果您要还原一个备份档案，您必须把所有增量备份的磁盘都找一遍，直到找到为止，如果您要复原整个档案系统，那就得先复原最近一次的完整备份，然后复原一个又一个的增量备份。差异备份，差异备份与增量备份一样，差异备份是针对完全备份。但前者的备份是累积的，即一个档案只要自上次完整备份后，曾被更新过，那么接下来每次做差异备份时，这个档案都会
被备份，但是差异备份的大小，会随着时间过去而不断增加。
[0006]专利申请CN111352771A公开一种嵌入式系统本地数据循环备份方法及其系统和装置以及恢复方法。一种嵌入式系统本地数据循环备份方法，包括以下步骤：嵌入式系统启动时，从系统存储区获取当前的系统数据；系统存储区获取的系统数据更新到内存中；在内存写入数据，内存写入的数据以读写因子不小于3更新到系统数据的存储区块中，系统数据根据读写因子循环备份。本专利技术通过增大读写因子，防止区块永久性读写失败或者文件永久性读写异常，降低了物理区块的读写次数，提升使用寿命，减少数据损坏的可能性。
[0007]专利申请CN112232984A公开一种分布式数据中心算力与能流融合的综合能源系统优化调度方法，该方法包括以下步骤：S1建立分布式数据中心算力与能流融合的综合能源系统数学模型；S2建立包含经济性、安全性、清洁性的三个一级指标和若干个二级指标的综合能源系统运行评估指标体系；S3采用综合评价法确定各指标的综合权重；S4将运行成本最低、安全性最高、污染排放量最少作为三个目标函数，构建综合能源系统优化调度模型；S5将综合能源系统优化调度模型接入其数学模型，得到最优调度方法及结果。本专利技术将分布式数据中心纳入综合能源系统，从整体上对算力、电力、热力等其他能源综合进行优化调度，既减少了能源浪费，又增加了清洁能源的消纳量，提高系统灵活性。
[0008]专利申请CN 111176688A公开了一种多控存储集群的软件升级方法、装置、设备及计算机可读存储介质，方法包括：利用配置节点接收软件包，检测软件包是否可用，若是，将软件包分发给除配置节点外的控制器节点；利用软件包依次对各控制器节点的软件主程序进行升级，并在对当前控制节点进行升级时通过剩余控制器节点形成循环备份的关系并进行缓存数据备份，且进行IO负载均衡；当所有控制器节点的软件主程序完成升级时，对各控制器节点中的集群数据管理器进行同步升级。该申请公开的上述技术方案，通过软件主程序的依次升级及软件主程序和集群数据管理器的分步升级来实现软件的在线升级，以在尽量不中断IO处理的情况下实现软件的升级，从而提高多控存储集群的性能。
[0009]专利申请CN110515775A公开了一种缓存备份方法及集群存储系统，应用于两个以上的存储控制器构成的存储控制器组中，各存储控制器作为接收一存储控制器缓存数据的备份存储控制器的同时，作为向另一存储控制器发送自身缓存数据的源存储控制器，在进行缓存备份时，在存储控制器组中构成依次循环备份，而当有故障存储控制器存在时，将故障存储控制器的源存储控制器备份至故障存储控制器的备份存储控制器，并仍构成依次循环备份，从而，在存在存储控制器故障时，仍能保证数据不丢失以及传输的不中断，保证多存储控制器缓存数据的安全性的同时，降低备份的数据量。
[0010]专利申请CN 103176861A公开了一种应用于存储系统的数据备份方法，将数据分发存放在该系统的主节点存储介质中，在该主节点存储介质的下级节点的存储介质中存储该主节点存储介质所存储数据的备份数据，该下级节点存储介质存储的备份数据与该主节点存储介质存储的数据一致。本专利技术还提供一种存储系统。本专利技术提供的数据备份方法及存储系统，通过设置树形的节点备份结构，实现系统中数据持续性、可靠性的需求，节省系统成本。
[0011]专利申请CN101739310A公开了本专利技术提供了一种循环备份的方法，该方法从数据源获取待备份数据的信息，获取已备份数据的信息及已备份数据的版本数；信息包括数据的基本信息和辅助信息；版本数为基本信息相同辅助信息不同的数据版本的数目；判断已
备份数据的信息中是否包含与待备份数据的基本信息和辅助信息都相同的数据信息，如果是则不备份，否则，判定与待备份数据的基本信息相同辅助信息不同的已备份数据的版本数小于预设版本数，则备份待备份数据及其信息，判定上述已备份数据的版本数等于预设版本数，更新与待备份数据的基本信息相同的已备份数据及其信息。本专利技术提供了一种循环备份的装置。本专利技术的方法及设备能够提高数据备份的效率及存储空间的利用率。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：包括如下功能模块：数据备份管理服务器(1)、数据修改日志单元(2)、多个数据存储单元(3)、储存大数据分析模块(4)和数据修改侦测模块(5)。2.根据权利要求2所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：其中，所述数据备份管理服务器(1)分别和所述数据修改日志单元(2)、多个所述数据存储单元(3)、所述储存大数据分析模块(4)和所述数据修改侦测模块(5)进行数据通信连接；所述数据备份管理服务器(1)用于完成数据文件的存储、备份和恢复和协调任务；所述数据备份管理服务器(1)还包括数据分组规则存储模块(6)，所述数据分组规则存储模块(6)存储有对接收的数据文件进行网格化分组存储备份的数据分组规则，其中所述预先设定数据分配规则为专业人员依据自己的数据的特点预估设定的数据分组规则；所述数据修改日志单元(2)用于记录数据文件的存储和备份操作记录，所述操作记录的内容包括存储数据文件的索引、数据备份存储时间和所在数据分组的位置和所在的所述数据存储单元(3)，同时供所述数据备份管理服务器(1)进行数据备份的查询和管理工作；所述数据存储单元(3)依据所述数据备份管理服务器(1)的分配和调度，用于对数据文件进行存储和备份工作；所述储存大数据分析模块(4)读取所述数据修改日志单元(2)的操纵记录，对数据文件的大小、所在数据分组、所在的数据存储单元、数据修改备份的记录进行大数据分析，得出各存储数据文件的存储和备份频繁程度特点，形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据记录，并发送至所述数据备份管理服务器(1)；所述数据修改侦测模块(5)用于侦测数据文件的修改记录，并发送至所述数据备份管理服务器(1)，同时，发送至所述数据修改日志单元(2)；因此，在进行数据加密传输过程中，所述数据修改侦测模块(5)对进行传输的数据文件进行侦测，以判断数据文件是否修改或者传输的数据文件是否未存储于所述数据存储单元(3)，当所述数据文件为初次生成的数据文件时，将该数据文件的索引发送至所述数据备份管理服务器(1)，所述数据备份管理服务器(1)依据所述索引获取文件的大小，并依据所述预先设定数据分配规则将该所述数据文件分配到合适数据分组和对应于的所述数据存储单元(3)，并将所述操作记录存储于所述数据修改日志单元(2)；当检测到所述数据文件为已经存储在所述数据存储单元(3)且进行了修改的数据文件时，所述数据备份管理服务器(1)将该修改后的数据备份到相应的数据分组和所述数据存储单元(3)中，并将所述操作记录存储于所述数据修改日志单元(2)；在数据备份管理服务器(1)中存储的所述预先设定数据分组规则用于进行数据分组，其中，所述预先设定数据分组规则为该数据存储单元(3)中存储的数据，对数据大小、预期修改的频繁程度进行合理的设置，以使得修改频繁程度按频次、修改时间段进行数据分组存储。3.根据权利要求2所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：所述储存大数据分析模块(4)在依据所述数据修改日志单元(2)的操纵记录进行大数据分析，得出各存储数据文件的大小、备份频繁程度和备份频繁的时段，从而形成在不同时段的数据分组形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数
据分组规则，并发送至所述数据备份管理服务器(1)的所述数据分组规则存储模块(6)以替换已经存储的数据分组规则，以便对已经存储在所述数据存储单元(3)中数据文件进行重新数据分组和数据存储，同时对所述数据修改日志单元(2)内存储的操作记录进行更新，以便使已经存储的数据安装新的分组映射进行数据分组；同时，对所述数据修改侦测模块(5)侦测到的数据文件或修改文件安装新的所述数据分组规则进行数据分组和备份处理。4.根据权利要求2所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：还通过所述储存大数据分析模块(4)读取所述数据修改日志单元(2)的操纵记录进行大数据分析，分析各所述数据分组的恢复频繁程度，当恢复的频繁程度的次数达到一定值时，按一定时间段对该所述数据分组采用完全备份的方式进行数据备份，并在所述数据修改日志单元(2)进行记录；对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢复的频繁程度次数未达到所述一定值时，按一定时间段对该所述数据分组采用差异备份的方式进行数据备份。5.根据权利要求4所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢...

【专利技术属性】
技术研发人员：刘珺，罗志伟，粟海斌，李林宗，刘易斯，赵德超，
申请(专利权)人：湖南方心科技股份有限公司，
类型：发明
国别省市：