一种动态调整空间科学与应用数据文件存储的方法及装置制造方法及图纸

本发明专利技术公开了一种动态调整空间科学与应用数据文件存储的方法及装置，该方法包括如下步骤：为存储介质上的所有数据文件编号，根据各个数据文件的活跃程度，将所有数据文件对应的编号排序，当需要清理数据文件时，根据数据文件编号排序的结果清理数据文件；该装置包括依次连接的编号模块、排序模块、清理模块。本发明专利技术创新地根据数据的活跃程度而选择性地离线处理活跃性较低的数据文件，淘汰未被经常使用的数据文件，而延长经常使用的数据文件在服务器上的时间，满足空间科学与应用数据的共享服务需求，更大地发挥出数据的应用与研究价值。

Method and device for dynamically adjusting spatial science and application data file storage

The invention discloses a method and a device for dynamic adjustment of space science and application of data file storage, the method comprises the following steps: all data files are stored on a medium number, according to the active degree of each data file, the data corresponding to all the document number sequence, when the need to clean up the data file, according to the data file the number of sequencing results clean data files; the device comprises a number module, scheduling module, module cleaning. The invention of innovative data according to the active degree of selectively off-line processing of lower activity data files, not eliminated is more often used in the data file, and often extend the use of data files on the server time, meet the space science and application of data sharing service needs to play a greater value of application and research data.

【技术实现步骤摘要】

本专利技术涉及数据存储
，更为具体来说，本专利技术为一种动态调整空间科学与应用数据文件存储的方法及装置。
技术介绍
目前，对于空间科学与应用数据的FTP服务器的存储管理，采用固定时间段的方式，即设置一个固定时间段，对过期的数据采取离线处理，以腾出相应的服务器存储空间。但是，上述方式会造成一些热门的数据和冷门的数据一起离线处理，被同时离线处理的热门的数据会很大程度上被用户再次请求下载，给数据共享用户服务带来很多不便。因此，针对现有对服务器数据的管理方式，如何避免根据用户需要而合理地删除服务器数据、满足用户需要，成为了本领域技术人员亟待解决的技术问题和研究的重点。
技术实现思路
为解决现有技术中存在的热门数据被离线处理掉的问题，本专利技术公开了一种动态调整空间科学与应用数据文件存储的方法及装置，通过分析数据的活跃程度或在线时间的方式判断是否删除数据，从而淘汰未被经常使用的数据文件，延长经常使用的数据文件在服务器上的存储时间，以满足空间科学与应用数据共享服务的需求，更大地发挥出数据应用与研究价值。本专利技术是一种基于数据在线时间动态调整空间科学与应用数据存储的方法，该空间科学与应用数据用于共享。为实现上述的技术目的，本专利技术公开了一种动态调整空间科学与应用数据文件存储的方法，该方法包括如下步骤：步骤1，为存储介质上的所有数据文件编号；步骤2，根据各个数据文件的活跃程度，将所有数据文件对应的编号排序；步骤3，当需要清理数据文件时，根据数据文件编号排序的结果清理数据文件。本专利技术创新地根据活跃程度将文件编号排序的方法清理相应的数据文件，延长了用户需要的数据在服务器上的停留时间，从而解决传统方法导致的热门数据被离线处理的问题。进一步地，步骤2中，所述活跃程度包括申请频率、下载次数以及在线时长。本专利技术中，通过申请频率、下载次数及在线时长等影响因素判断数据文件的活跃程度，能够真实、可靠地判断出数据文件被用户需要的程度，具有准确性高、针对性强等优点。进一步地，步骤2中，归一化处理申请频率、下载次数、在线时长分别对应的因素值，并分别为申请频率、下载次数、在线时长赋予权值，利用所述因素值和权值计算出数据文件的活跃值，根据活跃值将所有数据文件对应的编号排序。由于申请频率、下载次数、在线时长对应的因素值在不同的数据区间内，本专利技术创新地将三种类型的数据对应的因素值归一化，然后通过赋予权值的方式将这三种因素结合判断数据文件的活跃值，从而获得对应数据文件的活跃程度，以实现将所有数据文件编号排序的目的，为后期的离线处理数据文件顺序做准备。进一步地，步骤2中，利用快速排序算法将所有数据文件按照各自活跃值从小到大的方式排序，根据排序的结果将所有数据文件对应的文件编号放入队列；步骤3中，将队首编号出队，离线处理出队的编号对应的数据文件。进一步地，步骤3中，需要清理数据文件的判断条件为：存储介质内部的剩余存储空间小于预设值。进一步地，步骤1中，遍历读取存储介质内的所有数据文件后，为所有数据文件编号。进一步地，所述数据文件为用于共享的数据文件。本专利技术的另一个专利技术目的在于提供一种动态调整空间科学与应用数据文件存储的装置，该装置包括依次连接的编号模块、排序模块、清理模块；所述编号模块，为存储介质上的所有数据文件编号；所述排序模块，根据各个数据文件的活跃程度，将所有数据文件对应的编号排序；所述清理模块，当需要清理数据文件时，根据数据文件编号排序的结果清理数据文件。本专利技术创新地根据活跃程度将文件编号排序的方法清理相应的数据文件，延长了用户需要的数据在服务器上的停留时间，从而解决传统方法导致的热门数据被离线处理的问题。进一步地，所述活跃程度包括申请频率、下载次数以及在线时长，所述排序模块包括归一化单元和计算单元，所述归一化单元归一化处理申请频率、下载次数、在线时长对应的因素值，所述申请频率、下载次数、在线时长分别具有权值，所述计算单元利用所述因素值和权值计算出数据文件的活跃值；所述排序模块根据活跃值将所有数据文件对应数据文件编号排序。进一步地，所述排序模块根据排序的结果将所有数据文件对应的文件编号放入队列，所述清理模块包括相互连接的判断单元和离线处理单元，若判断单元判断出：存储介质内部的剩余存储空间小于预设值，则将队首编号出队、离线处理单元离线处理出队的编号对应的数据文件。本专利技术的有益效果为：本专利技术创新地根据数据的活跃程度而选择性地离线处理活跃性较低的数据文件，淘汰未被经常使用的数据文件，而延长经常使用的数据文件在服务器上的时间，满足空间科学与应用数据的共享服务需求，更大地发挥出数据的应用与研究价值。附图说明图1为动态调整空间科学与应用数据文件存储的方法流程示意图。图2为动态调整空间科学与应用数据文件存储的装置组成示意图。图3为动态调整空间科学与应用数据文件存储的实施过程示意图。图4为动态调整空间科学与应用数据文件存储的排序过程示意图。具体实施方式下面结合说明书附图对本专利技术动态调整空间科学与应用数据文件存储的方法及装置进行详细的解释和说明。如图1、2、3、4所示，本专利技术公开了一种动态调整空间科学与应用数据文件存储的方法，该方法包括如下步骤：步骤1，为存储介质上的所有数据文件编号；本实施例中，遍历读取存储介质内的所有数据文件后，并为所有数据文件编号。步骤2，用户在使用空间科学与应用数据的数据共享服务的过程中，根据各个数据文件的活跃程度，将所有数据文件对应的编号排序；本实施例中，活跃程度包括申请频率、下载次数以及在线时长等，所以，本实施例归一化处理申请频率、下载次数、在线时长分别对应的因素值，具体地，本实施例中使用Softmax函数进行归一化处理，归一化后的值会落在0-1区间中间，并且根据用户申请数据频率、下载次数、数据在线时长等影响因素分别为申请频率、下载次数、在线时长赋予权值，利用因素值和权值计算出数据文件的活跃值，具体地，根据活跃值将所有数据文件对应的编号排序，具体地，本实施例中，利用快速排序算法将所有数据文件按照各自活跃值从小到大的方式排序，如图4所示，然后根据排序的结果将所有数据文件对应的文件编号放入队列。步骤3，当需要清理数据文件时，本实施例中，需要清理数据文件的判断条件为：存储介质内部的剩余存储空间小于预设值，即存储介质内部剩余存储空间小于预设值时，根据数据文件编号排序的结果清理数据文件，预设值的大小根据实际应用情况设定，具体地，本实施例中，如图4所示，将队首编号出队，离线处理出队的编号对应的数据文件；通过上述方式，本专利技术避免了对所有数据采用同一时间段的离线管理方式。如图4所示，当用户使用数据文件时，该数据文件对应的编号入调度队列，图中编号以A、B、C、D、E、F表示文件编号，当存储达到预定值时，如果用户再次使用的文件编号位于队列内，则调整并增加相应的文件编号的级别，否则，替换出数值最小的作业代码并对存储介质相应文件作离线处理。如图2、3、4、1所示，对应于上述的动态调整空间科学与应用数据文件存储方法，本专利技术还公开了一种动态调整空间科学与应用数据文件存储的装置，该装置包括依次连接的编号模块、排序模块、清理模块。编号模块，为存储介质上的所有数据文件编号。排序模块，根据各个数据文件的活跃程度，将所有数据文件对应的编号排序；活跃程度包括申请频率、下载次本文档来自技高网...

【技术保护点】
一种动态调整空间科学与应用数据文件存储的方法，其特征在于：该方法包括如下步骤：步骤1，为存储介质上的所有数据文件编号；步骤2，根据各个数据文件的活跃程度，将所有数据文件对应的编号排序；步骤3，当需要清理数据文件时，根据数据文件编号排序的结果清理数据文件。

【技术特征摘要】
1.一种动态调整空间科学与应用数据文件存储的方法，其特征在于：该方法包括如下步骤：步骤1，为存储介质上的所有数据文件编号；步骤2，根据各个数据文件的活跃程度，将所有数据文件对应的编号排序；步骤3，当需要清理数据文件时，根据数据文件编号排序的结果清理数据文件。2.根据权利要求1所述的动态调整空间科学与应用数据文件存储的方法，其特征在于：步骤2中，所述活跃程度包括申请频率、下载次数以及在线时长。3.根据权利要求2所述的动态调整空间科学与应用数据文件存储的方法，其特征在于：步骤2中，归一化处理申请频率、下载次数、在线时长分别对应的因素值，并分别为申请频率、下载次数、在线时长赋予权值，利用所述因素值和权值计算出数据文件的活跃值，根据活跃值将所有数据文件对应的编号排序。4.根据权利要求3所述的动态调整空间科学与应用数据文件存储的方法，其特征在于：步骤2中，利用快速排序算法将所有数据文件按照各自活跃值从小到大的方式排序，根据排序的结果将所有数据文件对应的文件编号放入队列；步骤3中，将队首编号出队，离线处理出队的编号对应的数据文件。5.根据权利要求1至4中任一权利要求所述的动态调整空间科学与应用数据文件存储的方法，其特征在于：步骤3中，需要清理数据文件的判断条件为：存储介质内部的剩余存储空间小于预设值。6.根据权利要求1至4中任一权利要求所述的动态调整空间科学与应用数据文件存储的方法，其特征在于...

【专利技术属性】
技术研发人员：李盛阳，郝忠翁，黑保琴，
申请(专利权)人：中国科学院空间应用工程与技术中心，
类型：发明
国别省市：北京;11