优化搜索引擎的方法及装置制造方法及图纸

技术编号:10305257 阅读:158 留言:0更新日期:2014-08-08 02:24
本发明专利技术提供一种优化搜索引擎的方法及装置,该方法包括:在接收到新的记录时,从该记录中提取时间信息,确认该时间信息所属时间段,判断是否存在该时间段的索引表,若不存在,则创建该时间段的索引表,并将所述记录的索引信息添加到创建的索引表中;根据预设的索引文件生成规则,将所述索引表打包成对应的索引文件,所述索引文件包含所述时间段信息;在接收到查询请求时,从该查询请求中获取时间过滤条件,解析所有索引文件的时间段信息,保留符合所述时间过滤条件的索引文件,遍历所述保留的索引文件中的记录,查询满足其它过滤条件的记录并输出。本发明专利技术有效提升了搜索应用服务器在交通行业的应用能力,满足用户对大数据量查询的快速响应要求。

【技术实现步骤摘要】
【专利摘要】本专利技术提供一种优化搜索引擎的方法及装置,该方法包括:在接收到新的记录时,从该记录中提取时间信息,确认该时间信息所属时间段,判断是否存在该时间段的索引表,若不存在,则创建该时间段的索引表,并将所述记录的索引信息添加到创建的索引表中;根据预设的索引文件生成规则,将所述索引表打包成对应的索引文件,所述索引文件包含所述时间段信息;在接收到查询请求时,从该查询请求中获取时间过滤条件,解析所有索引文件的时间段信息,保留符合所述时间过滤条件的索引文件,遍历所述保留的索引文件中的记录,查询满足其它过滤条件的记录并输出。本专利技术有效提升了搜索应用服务器在交通行业的应用能力,满足用户对大数据量查询的快速响应要求。【专利说明】优化搜索引擎的方法及装置
本专利技术涉及搜索引擎
,尤其涉及一种优化搜索引擎的方法及装置。
技术介绍
随着云存储数据库在交通行业的广泛应用,其在查询功能上的不足也日益凸显,为弥补云存储数据库在数据查询功能上的不足,往往通过引入搜索应用服务器为云存储数据库创建索引,提升查询性能。搜索应用服务器作为一种可伸缩的、致力于信息检索的、可以处理海量信息的应用服务器,在数据检索方面具有得天独厚的优势,能很好的弥补云存储数据库检索的不足。现有的索引创建和查询的流程虽然能够解决云存储数据库查询性能的不足,但由于为了保证检索功能的通用性,导致性能瓶颈,当数据库中的数据量达到亿级或十亿级时,其查询响应时间往往在10秒左右,如需要排序,则时间消耗更是成倍数增长,无法满足交通行业快速响应的需求。
技术实现思路
有鉴于此,本专利技术提供一种优化的搜索引擎装置,应用于搜索应用服务器设备上,该装置包括:索引信息创建单元,用于在接收到新的记录时,从该记录中提取时间信息,根据预设的时间段划分规则,确认该时间信息所属时间段,判断是否存在该时间段的索引表,若不存在,则创建该时间段的索引表,并将所述记录的索弓I信息添加到创建的索引表中;索引文件生成单元,用于根据预设的索引文件生成规则,将所述索引表打包成对应的索引文件,所述索引文件包含所述时间段信息;索引信息查询单元,用于在接收到查询请求时,从该查询请求中获取时间过滤条件,解析所有索引文件的时间段信息,保留符合所述时间过滤条件的索引文件,遍历所述保留的索引文件中的记录,查询满足其它过滤条件的记录并输出。本专利技术还提供了一种优化搜索引擎的方法,应用于搜索应用服务器设备上,该方法包括:步骤A,在接收到新的记录时,从该记录中提取时间信息,根据预设的时间段划分规则,确认该时间信息所属时间段,判断是否存在该时间段的索引表,若不存在,则创建该时间段的索引表,并将所述记录的索弓I信息添加到创建的索引表中;步骤B,根据预设的索引文件生成规则,将所述索引表打包成对应的索引文件,所述索引文件包含所述时间段信息;步骤C,在接收到查询请求时,从该查询请求中获取时间过滤条件,解析所有索引文件的时间段信息,保留符合所述时间过滤条件的索引文件,遍历所述保留的索引文件中的记录,查询满足其它过滤条件的记录并输出。本专利技术有效提升了搜索应用服务器在交通行业的应用能力,满足用户对大数据量查询的快速响应要求。【专利附图】【附图说明】图1是本专利技术一种实施方式中索引装置的逻辑结构及其基础硬件环境的示意图。图2是本专利技术一种实施方式中索引方法的流程图。【具体实施方式】以下结合附图对本专利技术进行详细描述。本专利技术提供一种优化搜索引擎的装置,应用于搜索应用服务器设备上。以下以软件实现为例进行说明,但是本专利技术并不排除诸如硬件或者逻辑器件等其他实现方式。如图1所示,该装置运行的硬件环境通常包括CPU、内存、非易失性存储器以及其他硬件。该装置作为一个逻辑层面的虚拟装置,其通过CPU来运行。该装置包括索引信息创建单元、索引文件生成单元以及索引信息查询单元。请参考图2具体的实施步骤。步骤101,在接收到新的记录时,从该记录中提取时间信息,根据预设的时间段划分规则,确认该时间信息所属时间段,判断是否存在该时间段的索引表,若不存在,则创建该时间段的索引表,并将所述记录的索引信息添加到创建的索引表中;步骤102,根据预设的索引文件生成规则,将所述索引表打包成对应的索引文件,所述索引文件包含所述时间段信息;步骤103,在接收到查询请求时,从该查询请求中获取时间过滤条件,解析所有索引文件的时间段信息,保留符合所述时间过滤条件的索引文件,遍历所述保留的索引文件中的记录,查询满足其它过滤条件的记录并输出。在常规的索引方法中,为了保证搜索应用服务器的通用性,对索引记录的时间信息不做特殊处理,导致在查询时需要遍历所有的索引文件,当索引文件过多时,其打开文件和加载数据的过程将消耗很多时间,且对所有索引记录都需要进行条件过滤,极大地延长了查询的响应时间。本专利技术针对交通行业中记录数据必然包含时间信息,且用户往往按照时间信息进行查询的特点,通过引入时间信息优化搜索应用服务器的索引处理流程。现以交通行业中经常查询的过车记录为例,详细介绍搜索应用服务器的索引处理流程。搜索应用服务器在接收到新的记录时,从该记录中提取时间信息,根据预先设置的时间段划分规则,确认该记录的时间信息属于哪一个时间段,再查询内存中是否存在该时间段对应的索引表,若不存在,则创建该时间段的索引表。例如,以月份来划分时间段,则属于同一个月份的记录,其建立的索引表项将添加到同一个索引表中。所述索引表包括正排索引表和倒排索引表,正排索引表是根据记录查找记录中的信息,倒排索引表是根据信息查找包含该信息的记录,后续具体例子将对此进行详细说明。当搜索应用服务器接收到一条新记录时,提取记录中的关键字信息,根据该记录中的时间信息建立正排索引表项,其它信息建立倒排 索引表项,并存入对应的索引表中。例如:若过车记录包含4个关键信息,具体为过车时间、过车卡口、车牌信息以及是否违章。以下以表1过车记录为例进行说明。 序号I记录标识符I过车时间~I过车卡口I车牌信息~I是否违章【权利要求】1.一种优化搜索引擎的装置,应用于搜索应用服务器设备上,其特征在于,该装置包括: 索引信息创建单元,用于在接收到新的记录时,从该记录中提取时间信息,根据预设的时间段划分规则,确认该时间信息所属时间段,判断是否存在该时间段的索引表,若不存在,则创建该时间段的索引表,并将所述记录的索引信息添加到创建的索引表中; 索引文件生成单元,用于根据预设的索引文件生成规则,将所述索引表打包成对应的索引文件,所述索引文件包含所述时间段信息; 索引信息查询单元,用于在接收到查询请求时,从该查询请求中获取时间过滤条件,解析所有索引文件的时间段信息,保留符合所述时间过滤条件的索引文件,遍历所述保留的索引文件中的记录,查询满足其它过滤条件的记录并输出。2.如权利要求1所述的装置,其特征在于: 所述索引文件的时间段信息包含在该索引文件的文件名中。3.如权利要求1所述的装置,其特征在于: 所述索引文件生成单元进一步用于将同一时间段内的索引文件按照预设的合并策略进行索引文件合并。4.如权利要求1所述的装置,其特征在于: 所述索引信息查询单元进一步用于在所述满足时间过滤条件的索引文件中,对具有相同时间段的索引文件分别统计满足其它过滤条件的记录总数,并本文档来自技高网...

【技术保护点】
一种优化搜索引擎的装置,应用于搜索应用服务器设备上,其特征在于,该装置包括:索引信息创建单元,用于在接收到新的记录时,从该记录中提取时间信息,根据预设的时间段划分规则,确认该时间信息所属时间段,判断是否存在该时间段的索引表,若不存在,则创建该时间段的索引表,并将所述记录的索引信息添加到创建的索引表中;索引文件生成单元,用于根据预设的索引文件生成规则,将所述索引表打包成对应的索引文件,所述索引文件包含所述时间段信息;索引信息查询单元,用于在接收到查询请求时,从该查询请求中获取时间过滤条件,解析所有索引文件的时间段信息,保留符合所述时间过滤条件的索引文件,遍历所述保留的索引文件中的记录,查询满足其它过滤条件的记录并输出。

【技术特征摘要】

【专利技术属性】
技术研发人员:陶明渊
申请(专利权)人:浙江宇视科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1