结构化信息快速检索方法及系统技术方案

本发明专利技术提供一种结构化信息快速检索方法，先对结构化信息的数据源进行预处理，采用多线程的方式来不断地产生不同的索引片，生成小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中；数据分析：对所述大索引文件的域转换为最基本的索引表示单元项，这些索引表示单元项是用于决定匹配查询条件的信息；建立索引并入库；用户输入查询条件；解析：对用户输入的查询条件进行解析，即对用户输入的查询条件对应的每个查询项解析成索引表示单元项；利用索引表示单元项进行索引；将索引的结果集返回给用户。本发明专利技术通过建立颗粒度较小的索引文件，再合并为大索引文件；通过分级建立索引之后进行存储，能极大提高检索的效率。

【技术实现步骤摘要】
结构化信息快速检索方法及系统
本专利技术涉及一种快速检索方法及系统。
技术介绍
结构化信息是信息格式固定，可以存储在数据库中，可用二维表逻辑来表达的信息。常见的结构化信息的检索包括数据库检索方式以及类似GOOGLE和百度的搜索引擎技术。数据库检索虽然能够准确地查询出我们需要的信息；但随着数据量的激增，在高效性上遇到了瓶颈，响应速度慢，经常无响应。而搜索引擎获取的信息是及时高效的，但准确性不高。信息量越大，用搜索引擎查找信息在准确性上也随之降低了。安全事件属于结构化信息中的一种，目前没有一种准确高效的检索方法。
技术实现思路
本专利技术要解决的技术问题之一，在于提供一种结构化信息快速检索方法，采用分片再合并的方式处理数据，可以大为提高检索的效率及准确性。本专利技术要解决的技术问题之二，在于提供一种结构化信息快速检索系统，采用分片再合并的方式处理数据，可以大为提高检索的效率及准确性。本专利技术要解决的技术问题之一是这样实现的一种结构化信息快速检索方法，包括如下步骤步骤10、预处理先对结构化信息的数据源进行预处理，并生成索引文件；所述预处理是抽取相同类型的结构化信息的公共信息，并在生成索引文件是对不同主机传递过来的相同类型的结构化信息的差异化数据进行单独处理；所述索引文件的生成方式是采用多线程的方式来不断地产生不同的索引片，生成小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中；步骤20、数据分析对所述大索引文件的域转换为最基本的索引表示单元项，这 些索引表示单元项是用于决定匹配查询条件的信息；步骤30、建立索引并入库所述大索引文件的数据经分析后分级建立索引，再按顺序进行存储；步骤40、查询用户输入查询条件；步骤50、解析对用户输入的查询条件进行解析，即对用户输入的查询条件对应的每个查询项解析成索引表示单元项；步骤60、索引利用步骤50所得的索引表示单元项进行索引；步骤70、返回结果将索引的结果集返回给用户。进一步的，所述步骤20中的对所述大索引文件的域转换为最基本的索引表示单元项是通过将字符流单元化，所述字符流单元化包括提取所述查询条件中的关键字、对时间信息、IP信息进行数据格式转换以及将用户输入的字母大小写规范化。进一步的，步骤30中，建立索引时先判断结构化信息的类型和发生时间，分级建立索引，存储时按所述发生时间进行倒排索引进行存储。本专利技术要解决的技术问题之二是这样实现的一种结构化信息快速检索系统，包括预处理模块用于对结构化信息的数据源进行预处理，并生成索引文件；所述预处理是抽取相同类型的结构化信息的公共信息，并在生成索引文件是对不同主机传递过来的相同类型的结构化信息的差异化数据进行单独处理；所述索引文件的生成方式是采用多线程的方式来不断地产生不同的索引片，生成小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中；数据分析模块用于对所述大索引文件的域转换为最基本的索引表示单元项，这些索引表示单元项是用于决定匹配查询条件的信息；也用于对用户输入的查询条件进行解析，即对用户输入的查询条件对应的每个查询项解析成索引表示单元项；建立索引模块用于在大索引文件的数据经分析后分级建立索引； 索引库用于按顺序存储建立好的索引的数据；查询模块供用户输入查询条件；索引模块利用数据分析模块对用户输入的查询条件进行解析所得的索引表示单元项在所述索引库中进行索引；返回结果模块将索引的结果集返回给用户。进一步的，所述数据分析模块在对所述大索引文件的域转换为最基本的索引表示单元项是通过将字符流单元化，所述字符流单元化包括提取所述查询条件中的关键字、对时间信息、IP信息进行数据格式转换以及将用户输入的字母大小写规范化。进一步的，所述建立索引模块是建立索引时先判断结构化信息的类型和发生时间，分级建立索引；所述索引库存储时按所述结构化信息的发生时间进行倒排索引进行存储。本专利技术具有如下优点本专利技术一方面通过预先建立颗粒度较小的索引文件，然后对这些小索引文件进行合并为大索引文件；另一方面通过分级建立索引之后进行存储，能极大提高检索的效率，与从数据库中检索提高广2个数量级并且不会随着安全事件等结构化信息数量级的增加而急剧降低。本专利技术对生成的索引文件通过字符流单元化，将大索引文件的域转换为最基本的索引表示单元项；在查询时，对用户输入的信息以同样的方式进行转换，使查询信息能够精确匹配到索引文件中的信息，以此来保证检索时的准确性和高效性。附图说明下面参照附图结合实施例对本专利技术作进一步的说明。图I为本专利技术方法执行流程图。图2为本专利技术系统架构示意图。具体实施方式如图I所示，本专利技术的结构化信息快速检索方法，包括如下步骤步骤10、预处理先对结构化信息的数据源进行预处理，并生成索引文件；所述数据源是需要被解析的结构化信息的数据结构，为分析器模块提供访问协议，分析器通过该协议得到索引文件的内容。所述预处理是抽取相同类型的结构化信息的公共信息，并在生成索引文件是对不同主机传递过来的相同类型的结构化信息的差异化数据进行单独处理；所述索引文件的生成方式是采用多线程的方式来不断地产生不同的索引片，生成Prx和fdx等小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中，以此来减少系统资源的开销。现有技术中的大多搜索引擎是采用B树结构来维护索引，索引的更新会导致大量的IO操作。而本专利技术创建索引过程中不是维护一个索引文件，而是在扩展索引的时候不断创建新的索引文件，然后定量定期的把这些新的小索引文件合并到原先的大索引中(针对不同的策略，批次的大小可以调整)，这样在不影响检索的效率的前提下，提高了索引的效率。步骤20、数据分析对所述大索引文件的域转换为最基本的索引表示单元项，这 些索引表示单元项是用于决定匹配查询条件的信息；所述大索引文件的域转换为最基本的索引表示单元项是通过将字符流单元化，所述字符流单元化包括提取所述查询条件中的关键字、对时间信息、IP信息进行数据格式转换以及将用户输入的字母大小写规范化。步骤30、建立索引并入库所述大索引文件的数据经分析后分级建立索引，再按顺序进行存储；建立索引时先判断结构化信息的类型和发生时间，分级建立索引，存储时按所述发生时间进行倒排索引进行存储。这样，用户在检索时，能够过滤掉不在检索范围内的数据，并能快速定位到需要查询数据的范围，以缩小检索范围，提高响应速度。步骤40、查询用户输入查询条件。步骤50、解析对用户输入的查询条件进行解析，即对用户输入的查询条件对应的每个查询项解析成索弓I表示单元项。步骤60、索引利用步骤50所得的索引表示单元项进行索引。步骤70、返回结果将索引的结果集返回给用户。如图2所示，本专利技术还提供一结构化信息快速检索系统，该快速检索系统其是面向对象的，耦合度低，效率高，其包括预处理模块I :用于对结构化信息的数据源进行预处理，并生成索引文件；所述预处理是抽取相同类型的结构化信息的公共信息，并在生成索引文件是对不同主机传递过来的相同类型的结构化信息的差异化数据进行单独处理；所述索引文件的生成方式是采用多线程的方式来不断地产生不同的索引片，生成小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中。数据分析模块2 :用于对所述大索引文件的域转换为最基本的索引表示单元项，这些索引表示单元项是本文档来自技高网...

【技术保护点】
一种结构化信息快速检索方法，其特征在于：包括如下步骤：步骤10、预处理：先对结构化信息的数据源进行预处理，并生成索引文件；所述预处理是抽取相同类型的结构化信息的公共信息，并在生成索引文件是对不同主机传递过来的相同类型的结构化信息的差异化数据进行单独处理；所述索引文件的生成方式是采用多线程的方式来不断地产生不同的索引片，生成小索引文件，然后定量或定期地把小索引文件合并到一个大索引文件中；步骤20、数据分析：对所述大索引文件的域转换为最基本的索引表示单元项，这些索引表示单元项是用于决定匹配查询条件的信息；步骤30、建立索引并入库：所述大索引文件的数据经分析后分级建立索引，再按顺序进行存储；步骤40、查询：用户输入查询条件；步骤50、解析：对用户输入的查询条件进行解析，即对用户输入的查询条件对应的每个查询项解析成索引表示单元项；步骤60、索引：利用步骤50所得的索引表示单元项进行索引；步骤70、返回结果：将索引的结果集返回给用户。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈进炘，唐敏，陈冬冬，涂大志，黄震奇，
申请(专利权)人：福建富士通信息软件有限公司，
类型：发明
国别省市：