一种索引的维护方法及装置制造方法及图纸

技术编号:13059740 阅读:109 留言:0更新日期:2016-03-24 00:01
本发明专利技术实施例提供了一种索引的维护方法及装置,涉及大数据领域,用以提高存储空间的使用效率。所述方法包括:根据预设删除规则,及已创建的colletion的创建时间,确定是否有第一colletion;其中,colletion中存储了索引,且不同的索引根据其时间信息,存储至不同的colletion中;所述第一colletion是待删除的colletion;在确定有所述第一colletion时,删除所述第一colletion,并更新检索对应的colletion。本发明专利技术适用于维护数据的场景。

【技术实现步骤摘要】

本专利技术涉及大数据领域,尤其涉及一种索引的维护方法及装置
技术介绍
随着科学技术的发展,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce (映射归约)、HBase —样的框架来向数十、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service (网页-服务)的API (Applicat1n Programming Interface,应用程序编程接口)。用户可以通过HTTP (HyperText Transfer Protocol,超文本传输协议)请求,向搜索引擎服务器提交一定格式的XML (Extensible Markup Language,可扩展标记语言)文件生成索引;也可以通过Http Get操作提出查找请求,并得到XML或json格式的返回结果。在现有技术中,将所有的索引均存储在一个collet1n。这样会导致将所有索引的相关数据信息作为一个数据段,并以段为单位存储至硬盘中,而硬盘删除数据时,只能以段为单位进行删除。因此在删除部分索引时,为了防止硬盘中不被删除的索引的相关数据的正常使用,通常建立维护删除文件列表,将需删除的索引的标识存储在上述维护删除文件列表中。将维护删除文件列表中记录的标识对应的索引视为被删除的索引,用户无法再使用。通过上述方法虽然实现了用户删除索引的目的,但是在服务器中,并未将索引正在删除,即为服务器中仍然存储有用户需删除的索引,浪费存储空间。并且需要增加维护删除文件列表维护删除的索引,增加了存储空间。也就是说,用户在删除索引时,不但没有减少存储空间的是使用,反而会增加存储空间的使用。降低了存储空间的使用效率。
技术实现思路
本专利技术的实施例提供一种索引的维护方法及装置,用以提高存储空间的使用效率。为达到上述目的,本专利技术的实施例采用如下技术方案:本专利技术实施例提供了一种索引的维护方法,包括:根据预设删除规则,及已创建的collet1n的创建时间,确定是否有第一 collet1n ;其中,collet1n中存储了索引,且不同的索引根据其时间信息,存储至不同的collet1n中;所述第一 collet1n是待删除的collet1n ;在确定有所述第一 collet1n时,删除所述第一 collet1n,并更新检索对应的collet1n。进一步的,还包括:还包括:获取待存储索引;根据所述待存储索引的时间信息,预设存储规则,在已创建的类集collet1n中确定是否有第二 collet1n,所述预设存储规则用于指示collet1n能够存储的索引的时间范围;若确定有所述第二 collet1n,则将所述待存储索引存储至所述第二 collet1n。进一步的,还包括:在确定没有所述第二 collet1n时,则新建与所述索引的时间信息对应的所述第二 collet1n,并将所述索引存储至所述第二 collet1n。进一步的,所述预设删除规则是将预设时间范围外的collet1n删除;所述根据预设删除规则,及collet1n的创建时间,确定是否有第一 collet1n包括:根据所述删除规则,及collet1n的创建时间,确定所述已创建的collet1n的创建时间是否有在所述预设时间范围外的;若已创建的collet1n的创建时间有在所述预设时间范围外的,则将已创建的collet1n的创建时间在所述预设时间范围外的collet1n,确定为第一collet1n。进一步的,本专利技术实施例提供了一种索引的维护装置,包括:确定单元,用于根据预设删除规则,及已创建的collet1n的创建时间,确定是否有第一 collet1n ;其中,collet1n中存储了索引,且不同的索引根据其时间信息,存储至不同的collet1n中;所述第一 collet1n是待删除的collet1n ;处理单元,用于在所述确定单元确定有所述第一collet1n时,删除所述第一 collet1n,并更新检索对应的collet1n。进一步的,还包括:获取单元,用于获取待存储索引;所述确定单元,还用于根据所述获取单元获取的所述待存储索引的时间信息,预设存储规则,在已创建的类集collet1n中确定是否有第二 collet1n,所述预设存储规则用于指示collet1n能够存储的索引的时间范围;所述处理单元,还用于在所述确定单元确定有所述第二 collet1n时,将所述待存储索引存储至所述第二 collet1n。进一步的,所述处理单元,还用于在所述确定单元确定没有所述第二 collet1n时,新建与所述索引的时间信息对应的所述第二 collet1n,并将所述索引存储至所述第二collet1n。进一步的,所述预设删除规则是将预设时间范围外的collet1n删除;所述处理单元,具体用于根据所述删除规则,及collet1n的创建时间,确定所述已创建的collet1n的创建时间是否有在所述预设时间范围外的;若已创建的collet1n的创建时间有在所述预设时间范围外的,则将已创建的collet1n的创建时间在所述预设时间范围外的 collet1n,确定为第一 collet1n。本专利技术实施例提供了一种索引的维护的方法及装置,包括:根据预设删除规则,已创建的collet1n的创建时间,确定是否有第一 collet1n ;其中,collet1n中存储了索弓丨,且不同的索引根据其时间信息,存储至不同的collet1n中,在确定有第一 collet1n时,删除第一 collet1n,并更新检索对应的collet1n。这样,在本专利技术中,不同的索引根据其时间信息,存储至不同的collet1n中。在进行索引删除时,可以根据预设删除规则,及已创建的collet1n的创建时间,确定是否有第一 collet1n ;若有第一 collet1n,则说明存储在待删除的collet1n,此时,索引的维护装置可以将第一 collet1n删除。相对于现有技术,在本专利技术中,可以根据将索引根据其时间信息存储至不同的collet1n后,根据collet1n的创建时间,将满足预设删除规则的collet1n进行删除,而无需建立维护删除文件列表,对删除的索引进行维护。这样一来,将第一 collet1n进行删除时,是完全删除,可以将其对应的存储空间释放出来,并且无需建立维护删除文件列表,增加存储空间的使用。从而可以将第一 collet1n的存储空间用于存储其他数据,进而实现了提高存储空间的使用效率的目的。【附图说明】为了更清楚地说明本专利技术实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不本文档来自技高网
...

【技术保护点】
一种索引的维护方法,其特征在于,包括:根据预设删除规则,及已创建的colletion的创建时间,确定是否有第一colletion;其中,colletion中存储了索引,且不同的索引根据其时间信息,存储至不同的colletion中;所述第一colletion是待删除的colletion;在确定有所述第一colletion时,删除所述第一colletion,并更新检索对应的colletion。

【技术特征摘要】

【专利技术属性】
技术研发人员:金洪殿赵仁明亓开元
申请(专利权)人:浪潮集团有限公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1