【技术实现步骤摘要】
本专利技术涉及信息数据存储，具体为一种计算机作业数据分层存储方法及系统。
技术介绍
1、随着高性能计算技术的不断发展，超级计算机所能提供的计算性能越来越强，有越来越多的科研人员开始使用超级计算机来运行自己的作业，以降低作业运算时间，提高科研工作效率，然而，在同一时期，超级计算机底层存储系统的发展速度则较为平缓，随着超级计算机计算性能的不断提高，与之配套的存储系统开始力不从心，在运行高io的计算作业时，存储系统开始成为整个高性能计算系统的瓶颈，制约高性能计算系统性能的进一步提高；
2、为了提高计算机的运行稳定，传统储存系统需要通过增加高性能的储存结构以满足计算机的性能，当储存结构过大时成本较为昂贵，且储存结构过大时，提取储存结构内部数据时较为缓慢，为此，我们提出一种计算机作业数据分层存储方法及系统。
技术实现思路
1、本专利技术的目的在于提供一种计算机作业数据分层存储方法及系统。
2、以解决上述
技术介绍
中提出的问题，本专利技术提供如下技术方案：1.一种计算机作业数据分层存储方法，包括以下步骤：
3、第一步骤、首先，通过冷热分层模块将数据库模块内的数据进行分类，并以热数据和冷数据进行命名，其中热数据是经常被访问的数据，冷数据是冷数据是不经常访问的数据；
4、第二步骤、其次，将热数据以及冷数据根据数据的重要程度进行分类，并以a类、b类、c类以及d类进行标记；
5、第三步骤、然后，通过查重模块将a类、b类、c类以及d类数据内的重复
6、第四步骤、接着，通过安全模块对数据库模块进行安全防护，安全模块可实行环形防护，用于抵御外界病毒的入侵；
7、第五步骤、随后，将上述步骤中处理完成后的数据再次回传至临时存储模块；
8、第六步骤、最后，计算机通过检索模块可直接快速检索访问存储模块内数据。
9、作为本专利技术的进一步方案：所述第一步骤中，数据库内的数据通过点击率进行划分，即当点击率≥41％时数据则被划分为热数据，当点击率＜41％时数据则被划分为冷数据，点击率的运行公式为in＝(ob÷op)×10％，其中ob为数据的点击次数，op为总点击选取的次数。
10、作为本专利技术的进一步方案：所述第二步骤中，将数据的重要程度进行分类，具体转换步骤为：
11、所述动态分级模块将热数据和冷数据进行等级划分，等级划分需要明确不同数据对业务的重要性，且可通过人为干预设置数据的最高优先级，将机密数据进行封存，将非机密数据，根据对业务的重要性进行a类、b类、c类以及d类等级划分。
12、作为本专利技术的进一步方案：所述第四步骤中，通过巡检模块对数据库模块内的数据进行保护，所述病毒模块可作为存储空间，所述病毒模块通过互联网连接与外部互联网相互授权，所述病毒模块可根据网络的病毒库进行实时更新。
13、一种计算机作业数据分层存储系统，包括数据库模块，所述数据库模块与冷热分层模块通信连接，所述冷热分层模块与动态分级模块通信连接，所述数据库模块与缓存模块通信连接，所述数据库模块与查重模块通信连接，所述数据库模块与安全模块通信连接，所述查重模块可将引入数据压缩和去重技术可对数据库模块内的数据进行压缩并进行去重处理，以节省存储资源，所述数据分析模包括冷热分层模块和重要程度分层模块，其中：
14、冷热分层模块，可将数据库内的数据根据访问频率将数据库内数据划分为热数据和冷数据，热数据是经常被访问的数据，此类数据可存储在高性能的存储介质内，冷数据是不经常访问的数据，此类数据可存储在低性能的存储介质内，通过冷数据和热数据可提供快速访问；
15、动态分级模块，用于将热数据和冷数据的重要程度将数据分成不同的层级，并通过a类、b类、c类以及d类进行标记，并引入机器人学习和自适应算法，通过机器人的自主学习可自主调整数据的不同层级，将数据通过冗余磁盘阵列来确保数据安全；
16、查重模块，将分级过后的a类、b类、c类以及d类数据进行一次查重，并将重复的数据删除；
17、缓冲模块，用于计算机在调取数据库模块时，对各类模块运行所产生的缓冲进行数据存储，缓冲数据可进行手动删除；
18、检索模块，用于与计算机直接调取数据库模块的介质，检索模块设置有一处检索框，检索框设置有三个点取项，点取项分别为全盘查找、热度查找以及分级查找。
19、作为本专利技术的进一步方案：所述安全模块包括病毒库模块、巡检模块以及联网模块，所述病毒库模块与互联网模块通信连接，所述病毒库模块可通过互联网进行实时扩充，所述巡检模块会对数据库模块进行实时。
20、作为本专利技术的进一步方案：所述冷热分层模块以及动态分级模块可将数据库模块内数据进行一次数据化类比归一化处理。
21、作为本专利技术的进一步方案：所述数据库模块包括临时储存模块以及固定存储模块，所述冷热分层模块以及动态分级模块可直接调取固定存储模块内的数据，并将归一化处理后的数据传输至临时储存模块。
22、采用上述技术方案，与现有技术相比，本专利技术的有益效果在于：
23、1、本专利技术将数据库内的数据通过数据访问频率进行划分，将经常访问的数据划分为热数据，将不经常访问的数据划分为冷数据，通过热数据和冷数据对数据库内的数据进行一次划分，而后将划分后的数据通过动态分级模块根据其重要程度将数据分成不同的层级，在后续计算机可通过检索模块直接调取处理后数据，减少因为储存结构过大导致后续计算机在进行检索提取时速度大为降低；
24、2、本专利技术通过查重模块对归一化处理后的数据进行数据查重处理，在数据查重前会将计算机内被定义为机密文件的数据进行封存，并将重复的数据删除，同时通过缓存模块将冷热分层模块、动态分级模块以及安全模块运行时所产生的缓存进行存储，减少占用数据内存，侧面减少因为内存不足影响计算机的运行速度；
25、3、本专利技术通过检索模块与临时存储模块通信连接，临时存储模块储存处理后的数据，通过检索模块选取检索模式，通过不同的检索方式检索数据，可更快速更精准找寻选取的内容。
本文档来自技高网...【技术保护点】
1.一种计算机作业数据分层存储方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种计算机作业数据分层存储方法，其特征在于：所述第一步骤中，数据库内的数据通过点击率进行划分，即当点击率≥41％时数据则被划分为热数据，当点击率＜41％时数据则被划分为冷数据，点击率的运行公式为IN＝(ob÷op)×10％，其中ob为数据的点击次数，op为总点击选取的次数。
3.根据权利要求1所述的一种计算机作业数据分层存储方法，其特征在于：所述第二步骤中，将数据的重要程度进行分类，具体转换步骤为：
4.根据权利要求1所述的一种计算机作业数据分层存储方法，其特征在于：所述第四步骤中，通过巡检模块对数据库模块内的数据进行保护，所述病毒模块可作为存储空间，所述病毒模块通过互联网连接与外部互联网相互授权，所述病毒模块可根据网络的病毒库进行实时更新。
5.一种计算机作业数据分层存储系统，其特征在于：包括数据库模块，所述数据库模块与冷热分层模块通信连接，所述冷热分层模块与动态分级模块通信连接，所述数据库模块与缓存模块通信连接，所述数据库模块与查重模块通信连
6.根据权利要求5所述的一种计算机作业数据分层存储方法及系统，其特征在于：所述安全模块包括病毒库模块、巡检模块以及联网模块，所述病毒库模块与互联网模块通信连接，所述病毒库模块可通过互联网进行实时扩充，所述巡检模块会对数据库模块进行实时。
7.根据权利要求5所述的一种计算机作业数据分层存储方法及系统，其特征在于：所述冷热分层模块以及动态分级模块可将数据库模块内数据进行一次数据化类比归一化处理。
8.根据权利要求5所述的一种计算机作业数据分层存储方法及系统，其特征在于：所述数据库模块包括临时储存模块以及固定存储模块，所述所述冷热分层模块以及动态分级模块可直接调取固定存储模块内的数据，并将归一化处理后的数据传输至临时储存模块。
...【技术特征摘要】
1.一种计算机作业数据分层存储方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种计算机作业数据分层存储方法，其特征在于：所述第一步骤中，数据库内的数据通过点击率进行划分，即当点击率≥41％时数据则被划分为热数据，当点击率＜41％时数据则被划分为冷数据，点击率的运行公式为in＝(ob÷op)×10％，其中ob为数据的点击次数，op为总点击选取的次数。
3.根据权利要求1所述的一种计算机作业数据分层存储方法，其特征在于：所述第二步骤中，将数据的重要程度进行分类，具体转换步骤为：
4.根据权利要求1所述的一种计算机作业数据分层存储方法，其特征在于：所述第四步骤中，通过巡检模块对数据库模块内的数据进行保护，所述病毒模块可作为存储空间，所述病毒模块通过互联网连接与外部互联网相互授权，所述病毒模块可根据网络的病毒库进行实时更新。
5.一种计算机作业数据分层存储系统，其特征在于：包括数据库模块，所述数据库模块与冷热分层模块通信连接，所述冷热分层模块与动态分级模块通信连接，所述数据库模块...
【专利技术属性】
技术研发人员：代博君，张湘雨，贾俊丽，关琼晓，郭艳利，赵军伟，
申请(专利权)人：河南城建学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。