【技术实现步骤摘要】
本公开涉及数据处理，具体涉及一种小文件数据的处理方法、装置、电子设备及存储介质。
技术介绍
1、随着互联网的不断普及与发展，数据呈现爆炸式增长，社交网络、电子商务等各种应用往往能产生亿级、十亿级甚至是百亿级的小文件，小文件通常是指大小在1mb以内的文件，海量增加的小文件影响了硬盘的使用性能。
2、在只采用简单文件系统的操作系统中，不同存储区的读写性能不同，且通常来说读写性能越高的存储区其存储容量越小，例如缓存区的读写性能比磁盘区高，但缓存区的存储容量比磁盘区小，这种情况下，文件系统没有对小文件的存储进行有效的数据布局，让小文件随机存储可能造成被访问次数不多的小文件占据了拥有高读写性能的存储区，反而被访问次数更多的小文件处于读写性能更低的存储区，影响小文件的读写效率。
技术实现思路
1、为了解决上述技术问题，本公开提供了一种小文件数据的处理方法、装置、电子设备及存储介质。
2、第一方面，本公开提供了一种小文件数据的处理方法，包括：
3、获取目标文件的访问信息，所述访问信息中包含预设周期内所述目标文件的被访问次数，所述目标文件的数据大小小于预设大小阈值；
4、基于所述被访问次数确定所述目标文件的数据等级，所述被访问次数越高，所述目标文件的数据等级越高；
5、根据所述数据等级确定目标存储区域，将所述目标文件迁移至所述目标存储区域，所述数据等级越高，对应的目标存储区域的读写性能越高。
6、可选的，所述获取目标文件的访问
7、记录预设周期内所述目标文件的被访问次数，得到所述目标文件的访问信息。
8、可选的，所述数据等级包括第一数据等级、第二数据等级和第三数据等级；
9、所述基于所述被访问次数确定所述目标文件的数据等级，包括：
10、若所述被访问次数大于或等于第一预设阈值，则确定所述目标文件为第一数据等级；
11、若所述被访问次数大于或等于第二预设阈值且小于第一预设阈值，则确定所述目标文件为第二数据等级；
12、若所述被访问次数小于第二预设阈值，则确定所述目标文件为第三数据等级。
13、可选的，所述目标存储区域包括虚拟内存盘、缓存区和磁盘区；
14、所述根据所述数据等级确定目标存储区域，包括：
15、若所述目标文件的数据等级为第一数据等级，则确定目标存储区域为所述虚拟内存盘；
16、若所述目标文件的数据等级为第二数据等级，则确定目标存储区域为所述缓存区；
17、若所述目标文件的数据等级为第三数据等级，则确定目标存储区域为所述磁盘区。
18、可选的，所述将所述目标文件迁移至目标存储区域，包括：
19、获取所述目标文件占用当前存储区域的存储空间比例，以及在当前存储区域中的存储时长；
20、基于所述存储时长和所述存储空间比例，使用效益代价均衡算法计算所述目标文件的迁移值；
21、根据所述迁移值来确定所述目标文件的迁移优先级；
22、按照所述迁移优先级迁移所述目标文件至所述目标存储区域。
23、第二方面，本公开提供了一种小文件数据的处理装置，包括：
24、获取模块，用于获取目标文件的访问信息，所述访问信息中包含预设周期内所述目标文件的被访问次数，所述目标文件的数据大小小于预设大小阈值；
25、确定模块，用于基于所述被访问次数确定所述目标文件的数据等级，所述被访问次数越高，所述目标文件的数据等级越高；
26、迁移模块，用于根据所述数据等级确定目标存储区域，将所述目标文件迁移至所述目标存储区域，所述数据等级越高，对应的目标存储区域的读写性能越高。
27、可选的，所述装置还包括记录模块，用于在所述获取目标文件的访问信息之前，记录预设周期内所述目标文件的被访问次数，得到所述目标文件的访问信息。
28、可选的，所述数据等级包括第一数据等级、第二数据等级和第三数据等级；所述确定模块在基于所述被访问次数确定所述目标文件的数据等级时，具体用于若所述被访问次数大于或等于第一预设阈值，则确定所述目标文件为第一数据等级；若所述被访问次数大于或等于第二预设阈值且小于第一预设阈值，则确定所述目标文件为第二数据等级；若所述被访问次数小于第二预设阈值，则确定所述目标文件为第三数据等级。
29、可选的，所述目标存储区域包括虚拟内存盘、缓存区和磁盘区；所述迁移模块在根据所述数据等级确定目标存储区域时，具体用于若所述目标文件的数据等级为第一数据等级，则确定目标存储区域为所述虚拟内存盘；若所述目标文件的数据等级为第二数据等级，则确定目标存储区域为所述缓存区；若所述目标文件的数据等级为第三数据等级，则确定目标存储区域为所述磁盘区。
30、可选的，所述迁移模块在将所述目标文件迁移至目标存储区域时，具体用于获取所述目标文件占用当前存储区域的存储空间比例，以及在当前存储区域中的存储时长；基于所述存储时长和所述存储空间比例，使用效益代价均衡算法计算所述目标文件的迁移值；根据所述迁移值来确定所述目标文件的迁移优先级；按照所述迁移优先级迁移所述目标文件。
31、第三方面，本公开提供了一种电子设备，包括：
32、存储器；
33、处理器；以及
34、计算机程序；
35、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
36、第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
37、本公开提供的小文件数据的处理方法、装置、电子设备及存储介质，通过获取数据大小小于预设大小阈值的目标文件的访问信息，利用访问信息中预设周期内目标文件的被访问次数来确定目标文件的数据等级，使被访问次数越高的目标文件确定的数据等级越高，然后根据目标文件的数据等级将目标文件迁移至对应的存储区域，让数据等级越高的目标文件迁移到读写性能越高的存储区域，从而使得被访问频率高的目标文件能保持存储读写性能更高的存储区域内，提高小文件的整体读写效率。
本文档来自技高网...【技术保护点】
1.一种小文件数据的处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述获取目标文件的访问信息之前，还包括：
3.如权利要求1所述的方法，其特征在于，所述数据等级包括第一数据等级、第二数据等级和第三数据等级；
4.如权利要求3所述的方法，其特征在于，所述目标存储区域包括虚拟内存盘、缓存区和磁盘区；
5.如权利要求4所述的方法，其特征在于，所述将所述目标文件迁移至目标存储区域，包括：
6.一种小文件数据的处理装置，其特征在于，包括：
7.如权利要求6所述的装置，其特征在于，所述装置还包括记录模块，用于在所述获取目标文件的访问信息之前，记录预设周期内所述目标文件的被访问次数，得到所述目标文件的访问信息。
8.如权利要求6所述的装置，其特征在于，所述数据等级包括第一数据等级、第二数据等级和第三数据等级；所述确定模块在基于所述被访问次数确定所述目标文件的数据等级时，具体用于若所述被访问次数大于或等于第一预设阈值，则确定所述目标文件为第一数据等级；若所述被访问次数大于或等于第二预设阈值
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。
...【技术特征摘要】
1.一种小文件数据的处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述获取目标文件的访问信息之前，还包括：
3.如权利要求1所述的方法，其特征在于，所述数据等级包括第一数据等级、第二数据等级和第三数据等级；
4.如权利要求3所述的方法，其特征在于，所述目标存储区域包括虚拟内存盘、缓存区和磁盘区；
5.如权利要求4所述的方法，其特征在于，所述将所述目标文件迁移至目标存储区域，包括：
6.一种小文件数据的处理装置，其特征在于，包括：
7.如权利要求6所述的装置，其特征在于，所述装置还包括记录模块，用于在所述获取目标文件的访问信息之前，记录预设周期内所述...
【专利技术属性】
技术研发人员：韩小虎，
申请(专利权)人：北京罗克维尔斯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。