一种索引建立的方法及装置制造方法及图纸

技术编号:16456115 阅读:25 留言:0更新日期:2017-10-25 20:38
本申请公开了一种索引建立的方法及装置,该方法在建立索引时,首先确定待建立索引的各数据,再确定各数据的数据类型,据此确定各数据的优先级,并根据各数据的优先级,确定为各数据建立索引的时间,其中,针对任意两个数据,若两个数据的优先级不同,则为两个数据建立索引的时间也不同,针对各数据,在确定的为该数据建立索引的时间到达时,为该数据建立索引。通过上述方法,即使在数据库中有大量的数据同时出现更新时,通过优先级的方式将各数据按照不同的时间分别在索引库中建立索引,有效的降低了索引库的运行压力。

Method and device for index establishment

The invention discloses a method and a device for establishing the index, the method in the establishment of index, to determine the establishment of the first data index, and then determine the data types, determine the priority of data, and according to the priority of data, determined for each data indexing time, which, according to the if any of the two data, two data of different priority level, for the two time indexing data are different, according to the data, the data set to arrive at indexing time, create index for the data. By this method, even if there is a large amount of data in the database and update, by way of each priority data according to different time respectively in the index database indexing, effectively reduce the running pressure index.

【技术实现步骤摘要】
一种索引建立的方法及装置
本申请涉及计算机
,尤其涉及一种索引建立的方法及装置。
技术介绍
随着网络技术的不断发展,人们通过网络获取数据已经变得越来越普遍了。目前,为了能够让用户更方便快捷的查找到所需的数据,通常需要根据数据库中存储的数据,在索引库中建立数据对应的索引,并把索引库对外提供给用户,后续,用户可以通过使用该索引库,搜索自己所需的数据。在建立索引库的整个过程中,索引管理器首先向索引库发送携带有待建立索引的数据的建立索引请求,而索引库在接收到建立索引请求后,直接根据建立索引请求中携带的数据,建立索引。后续,数据库中的数据有可能会存在更新的情况,如,新增了数据,为了提高索引库建立索引的效率,因此,当数据库中的数据更新后,直接采用增量索引的方式,对数据库中的更新的数据建立索引,增量索引指的是只对数据库中有增加、更改、删除的数据,建立索引。索引管理器会每隔一定的时间向索引库发送携带有每个数据的最后更新时间的增量索引请求,索引库在接收到索引管理器发送的增量索引请求后,直接将增量索引请求中携带的每个数据的最后更新时间,与索引库中每个数据的最后建立索引时间进行对比,如果增量索引请求中携带的每个数据的最后更新时间不超过索引库中每个数据的最后建立索引时间,则说明数据库中的数据都已经在索引库中建立了索引,也就是说,数据库中的数据未出现更新的情况,索引库根据该增量索引请求不做任何处理,如果增量索引请求中携带的每行数据的最后更新时间超过索引库中每个数据的最后建立索引时间,则说明数据库中存在未在索引库建立索引的数据,也就是说,数据库中的数据出现了更新的情况,索引库直接从数据库中获取更新的数据,并根据更新的数据建立索引。但是,在现有技术中,如果数据库中的数据出现更新的情况,索引管理器会将全部更新的数据同时添加到索引库中,使索引库根据全部更新的数据建立索引,这样在数据库中有大量的数据同时出现更新的情况时,势必会给索引库带来很大的运行压力。
技术实现思路
本申请实施例提供一种索引建立的方法及装置,用以解决现有技术中在数据库中有大量的数据出现更新的情况时,势必会给索引库带来很大的运行压力的问题。本申请实施例提供的一种索引建立的方法,所述方法包括:确定待建立索引的各数据;确定所述各数据的数据类型;根据所述各数据的数据类型,确定各数据的优先级;根据所述各数据的优先级,确定为所述各数据建立索引的时间,其中,针对任意两个数据,若两个数据的优先级不同,则为两个数据建立索引的时间也不同;针对所述各数据,在确定的为该数据建立索引的时间到达时,为该数据建立索引。本申请实施例提供的一种索引建立的装置,所述装置包括:数据确定模块,用于确定待建立索引的各数据;数据类型确定模块,用于确定所述各数据的数据类型;优先级确定模块,用于根据所述各数据的数据类型,确定各数据的优先级;索引时间确定模块,用于根据所述各数据的优先级,确定为所述各数据建立索引的时间,其中,针对任意两个数据,若两个数据的优先级不同,则为两个数据建立索引的时间也不同;索引建立模块,用于针对所述各数据,在确定的为该数据建立索引的时间到达时,为该数据建立索引。本申请实施例提供一种索引建立的方法及装置,该方法在建立索引时,首先确定待建立索引的各数据,再确定各数据的数据类型,据此确定各数据的优先级,并根据各数据的优先级,确定为各数据建立索引的时间,其中,针对任意两个数据,若两个数据的优先级不同,则为两个数据建立索引的时间也不同,针对各数据,在确定的为该数据建立索引的时间到达时,为该数据建立索引。通过上述方法,即使在数据库中有大量的数据同时出现更新时,通过优先级的方式将各数据按照不同的时间分别在索引库中建立索引,有效的降低了索引库的运行压力。附图说明此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:图1为本申请实施例提供的索引建立的过程;图2为本申请实施例提供的索引建立系统的示意图;图3为本申请实施例提供的索引建立的装置结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。图1为本申请实施例提供的索引建立的过程,具体包括以下步骤:S101:确定待建立索引的各数据。在实际应用中,为了能够让用户更加快捷的查找到所需的数据,通常需要根据数据库中存储的数据,在索引库建立数据对应的索引,并把索引库对外提供给用户。在本申请实施例中,整个索引建立的系统,如图2所示。进一步的,在为数据建立索引的整个过程中,本申请首先确定待建立索引的各数据,而确定待建立索引的各数据由图2中所示的索引管理器完成的。由于索引管理器需要知道到底为哪个数据建立索引,因此,在本申请中,可以通过索引管理器提取所有数据对应的索引信息表,确定提取的各索引信息表中包含的索引状态,将索引状态为待索引状态或失败状态的数据,作为待建立索引的数据。在此需要说明的是,索引信息表存储于图2中的索引信息表库,每个数据均对应对一个索引信息表,该索引信息表中记录了数据的索引状态,不同的索引状态反映了为数据建立索引的情况,可以分为三种索引状态,即,待索引状态、成功状态、失败状态,也就是说,通过索引状态能够知道该索引信息表对应的数据是否已经在索引库中建立了索引,并且,为了降低索引信息表库的存储压力,因此,索引信息表中记录了数据的标识,后续,索引管理器可在为该索引信息表中对应的数据进行索引时,直接根据数据的标识在数据库中查找到数据。例如,假设某企业的为了方便企业内部人员方便快捷的获取企业内部的业务数据,则建立了索引库提供给企业内部人员,为了简单清楚的说明本专利技术的实施步骤,假设索引信息表库中只包含有如表1所示的索引信息表:表1索引管理器扫描索引信息表库中如表1所示的索引信息表,提取出表1中包含的待索引状态(即,索引状态),并将待索引状态的业务数据A作为待建立索引的数据,并执行步骤S102。S102:确定所述各数据的数据类型。S103:根据所述各数据的数据类型,确定各数据的优先级。由于在实际应用中,数据通常是有类型的,如,每个数据对应着不同的业务类型,而不同类型的数据是有重要性之分的,也有实时性之分的,因此,在本申请中,为了降低索引库为数据建立索引的压力,可将数据按照重要性,实时性区分出优先级,也就是说,重要性较高、实时性较高的数据优先级就高,重要性较低、实时性较低的数据优先级就较低,而在本申请中,可以采用P0、P1、P2……Pn的方式来表示优先级,其中,n越大,说明优先级越低。另外,在确定各数据的优先级时,也可以不根据数据的类型确定各数据的优先级,如,可以人工预先根据经验设定各数据的优先级,后续,同步管理器可直接确定预设的各数据的优先级。因此,同步管理器在确定出待建立索引的各数据后,可确定各数据的数据类型,并根据各数据的数据类型,确定各数据的优先级。延续上例,假设同步管理器确本文档来自技高网
...
一种索引建立的方法及装置

【技术保护点】
一种索引建立的方法,其特征在于,所述方法包括:确定待建立索引的各数据;确定所述各数据的数据类型;根据所述各数据的数据类型,确定各数据的优先级;根据所述各数据的优先级,确定为所述各数据建立索引的时间,其中,针对任意两个数据,若两个数据的优先级不同,则为两个数据建立索引的时间也不同;针对所述各数据,在确定的为该数据建立索引的时间到达时,为该数据建立索引。

【技术特征摘要】
1.一种索引建立的方法,其特征在于,所述方法包括:确定待建立索引的各数据;确定所述各数据的数据类型;根据所述各数据的数据类型,确定各数据的优先级;根据所述各数据的优先级,确定为所述各数据建立索引的时间,其中,针对任意两个数据,若两个数据的优先级不同,则为两个数据建立索引的时间也不同;针对所述各数据,在确定的为该数据建立索引的时间到达时,为该数据建立索引。2.如权利要求1所述的方法,其特征在于,确定待建立索引的各数据,具体包括:通过索引管理器提取所有数据对应的索引信息表;确定提取的各索引信息表中包含的索引状态;将索引状态为待索引状态或失败状态的数据,作为待建立索引的数据。3.如权利要求2所述的方法,其特征在于,所述方法还包括:针对数据库中的任一数据,通过同步管理器监测数据库中的该数据对应的最后更新时间是否超过该数据对应的索引信息表中包含的最后更新时间;当监测到数据库中的该数据对应的最后更新时间超过该数据对应的索引信息表中包含的最后更新时间时,如果该数据在对应的索引信息表中不存在,则在索引信息表中新增该数据并将该数据的索引状态设置为待索引状态,如果该数据已经存在于索引信息表中,则直接将该数据对应的索引信息表中的索引状态更改为待索引状态。4.如权利要求1所述的方法,其特征在于,根据所述各数据的优先级,确定为所述各数据建立索引的时间,具体包括:根据预设的各优先级对应的周期,确定为所述各数据建立索引对应的周期,其中,针对任意两个数据,若两个数据的优先级不同,则为两个数据建立索引对应的周期也不同;根据为所述各数据建立索引对应的周期以及当前时刻,确定为所述各数据建立索引的时间。5.如权利要求2所述的方法,其特征在于,所述方法还包括:针对任一待建立索引的数据,当为该数据建立索引失败时,通过同步管理器将该数据对应的索引信息表中的索引状态更改为失败状态,并且将该数据对应的索引信息表中包含的失败次数加1;当为该数据建立索引成功时,通过同步管理器将该数据对应的索引信息表中的索引状态更改为成功状态,并且将该数据对应的索引信息表中包含的失败次数置为0;当该数据对应的索引信息表中的索引状态为失败状态,且失败次数超过预设的阈值时,不为该数据建立索引。6.如权利要求5所述的方法,其特征在于,当为该数据建立索引失败时,所述方法还包括:在该数据对应的索引信息表中添加建立索引失败的原因。7.如权利要求1所述的方法,其特征在于,所述方法还包括:通过同步管理器确定数据库中待删除的各数据;根据确定出的待删除的各数据,通过同步管理器将待删除的各数据对应的索引信息表进行标记;通过索引管理器确定标记的索引信息表对应的数据的索引;对确定出的索引进行标记;按照设定的时间间隔扫描具有标记的索引,并将扫描出的具有标记的索引删除。8.如权利要求1所述的方法,其特征在于,为该数据建立索引,具体包括:针对不同类型的数据,采用不同的索引处理器建立索引。9.一种索引建立的装置,其特征在于,所述装置包括:数据确定模块,用于确定待...

【专利技术属性】
技术研发人员:王胜
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛,KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1