冷数据检索方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40316205 阅读:19 留言:0更新日期:2024-02-07 20:58
本申请提供一种冷数据检索方法、装置、电子设备及存储介质。该方法包括:获取待查找数据信息;根据待查找数据信息,构建hive外部表;根据待查找冷数据的访问时间和hive外部表,确定冷数据、冷数据的数据类型和存储有冷数据的目标存储分区;根据冷数据的数据类型,确定目标热数据、以及目标热数据在目标存储分区中各个存储文件的分布情况;根据目标热数据在目标存储分区中各个存储文件的分布情况,确定目标存储分区中各个存储文件的展示顺序;根据目标存储分区中各个存储文件的展示顺序,展示各个存储文件中的冷数据。本申请的方法,可以无侵入的快速确定冷数据的分布情况,并按照分布情况为用户展示冷数据的检索顺序,提高了冷数据检索的准确性。

【技术实现步骤摘要】

本申请涉及大数据,尤其涉及一种冷数据检索方法、装置、电子设备及存储介质


技术介绍

1、在大数据处理的
,随着分布式文件系统中存储数据量的不断增长,数据会出现访问热度不同的显著差异,在分布式文件系统中不常用的数据被称作冷数据,常用的(被访问频率高)的数据被称作热数据,大量冷数据的存在,是对系统资源的一种浪费,也会影响系统存储空间的稳定性。

2、在系统存储空间稳定性变差时,只能通知系统用户自己去识别冷数据,并进行清理或转存操作,具体的,采用遍历文件列表的方法来递归整个分布式文件系统的目录结构树来获取所有的文件列表,由此确定所有文件列表中冷数据的信息,从而查找对应冷数据在系统中的存储位置。

3、然而,这种方式人工干预过多,且用户在查找数据时很难判断哪些是冷数据,导致检索冷数据的效果和效率都不如预期。


技术实现思路

1、本申请提供一种冷数据检索方法、装置、电子设备及存储介质,用以解决冷数据在检索过程中,检索效率不高的问题。

2、第一方面,本申请提供一种冷数据检索方法,包括:本文档来自技高网...

【技术保护点】

1.一种冷数据检索方法,其特征在于,应用于文件查找服务器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取待查找数据信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述接收数据存储服务器的数据信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述将所述数据存储服务器的数据信息进行解析,得到所述待查找数据信息,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述冷数据的数据类型,确定目标热数据、以及所述目标热数据在所述目标存储分区中各个存储文件的分布情况包括:

6.根据权利要求5所述的方法...

【技术特征摘要】

1.一种冷数据检索方法,其特征在于,应用于文件查找服务器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取待查找数据信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述接收数据存储服务器的数据信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述将所述数据存储服务器的数据信息进行解析,得到所述待查找数据信息,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述冷数据的数据类型,确定目标热数据、以及所述目标热数据在所述目标存储分区中各个存储文件的分布情况包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述冷数据的数据类型和所述目标存储分区中的热数据、以及所述热数据的类型,确定所述目标热数据...

【专利技术属性】
技术研发人员:穆纯进霍勇杰李振豪张逸明郝树运茅矛
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1