一种优化搜索引擎多索引的查询方法技术

本发明专利技术公开了一种优化搜索引擎多索引的查询方法，包括数据存储，数据分表，数据检索三部分，本发明专利技术能够快速的，批量的进行大范围检索,方便数据；本发明专利技术消除了调用方数据库分库分表造成的多库多表问题；本发明专利技术可以通过中间件伪装多库多表，极大的减少了调用方代码的复杂程度和出错概率；此外，本发明专利技术实现了业务调用方数据库解耦操作，通过中间件伪装，可以无缝切换底层数据存储方案。

A query method to optimize the multi index of search engine

The invention discloses a query method to optimize the multi index of the search engine, which includes three parts: data storage, data dividing table and data retrieval. The invention can quickly and batch search for large scale and convenient for data; the invention eliminates the multi database and multi table problem made by the call square database sub table; the invention can be used to solve the problem. Over middleware masquerading multi library and multi tables greatly reduces the complexity and error probability of the caller code. In addition, the invention realizes the decoupling operation of the business caller database, and can seamlessly switch the underlying data storage scheme through the middleware camouflage.

【技术实现步骤摘要】
一种优化搜索引擎多索引的查询方法
本专利技术涉及数据处理
，具体为一种优化搜索引擎多索引的查询方法。
技术介绍
现有领域中数据存储形式多为关系型数据库，当数据量超过百万时就需要进行分库分表操作。否则将造成查询堵塞，严重影响调用方使用，情况严重更会导致拖垮数据库使业务瘫痪。
技术实现思路
本专利技术的目的在于提供一种优化搜索引擎多索引的查询方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种优化搜索引擎多索引的查询方法,包括数据存储，数据分表，数据检索三部分；具体步骤为：A、通过在流中源源不断的获取数据,并针对数据特有的结构进行分索引规则匹配.完成数据的分索引操作；B、调用方发起检索数据请求,经过特殊处理以及规则匹配对所需数据进行分索引同时请求；C、对请求得到的数据进行分类整合,然后返回给调用方。优选的，所述步骤C中数据分类整合方法包括以下步骤：A、识别数据库中每个训练样本的类别；B、在预设样本数据库中分别选取第一训练样本集和第二训练样本集，每个训练样本集都包含有所述预设样本数据库中所有类别的多个训练样本；C、确定第一训练样本集中每一类别的训练样本的平均样本；利用预设迭代算法对所有类别的平均样本进行迭代运算得到第一训练样本集的分类字典；D、将第二训练样本集中的每个训练样本在分类字典下分解得到一个训练稀疏系数向量；E、将得到的所有训练稀疏系数向量级联得到训练矩阵；F、根据第二训练样本集中的每个训练样本的类别确定所述训练矩阵中每个列向量的类别标签，并保存训练矩阵中每个列向量对应的类别标签，即完成对数据的分类整合。与现有技术相比，本专利技术的有益效果是：本专利技术能够快速的，批量的进行大范围检索,方便数据；本专利技术消除了调用方数据库分库分表造成的多库多表问题；本专利技术可以通过中间件伪装多库多表，极大的减少了调用方代码的复杂程度和出错概率；此外，本专利技术实现了业务调用方数据库解耦操作，通过中间件伪装，可以无缝切换底层数据存储方案；另外，本专利技术采用的数据分类整合方法能够提高数据分类的整体效率。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供如下技术方案：一种优化搜索引擎多索引的查询方法,包括数据存储，数据分表，数据检索三部分；具体步骤为：A、通过在流中源源不断的获取数据,并针对数据特有的结构进行分索引规则匹配.完成数据的分索引操作；B、调用方发起检索数据请求,经过特殊处理以及规则匹配对所需数据进行分索引同时请求；C、对请求得到的数据进行分类整合,然后返回给调用方。本专利技术中，步骤C中数据分类整合方法包括以下步骤：A、识别数据库中每个训练样本的类别；B、在预设样本数据库中分别选取第一训练样本集和第二训练样本集，每个训练样本集都包含有所述预设样本数据库中所有类别的多个训练样本；C、确定第一训练样本集中每一类别的训练样本的平均样本；利用预设迭代算法对所有类别的平均样本进行迭代运算得到第一训练样本集的分类字典；D、将第二训练样本集中的每个训练样本在分类字典下分解得到一个训练稀疏系数向量；E、将得到的所有训练稀疏系数向量级联得到训练矩阵；F、根据第二训练样本集中的每个训练样本的类别确定所述训练矩阵中每个列向量的类别标签，并保存训练矩阵中每个列向量对应的类别标签，即完成对数据的分类整合。实施例：当流失处理数据的结果需要落库的时候.比如,汇通天下GSP的位置信息入库,通过对位置信息进行特殊的分索引规则匹配.将数据分散在不同的索引上，可以是按照数据生成时间,或者是按照设备,或者是按照其他的规则；当应用程序需要位置信息时,将查询语句进行解析,通过要查询的索引,获取对应的分表规则,并对查询条件进行处理,找出要查询数据所在的对应的若干个索引并执行查询请求.当获取到结果之后,返回给应用程序,此次查询结束。本专利技术可以对外暴露一个统一的总索引,具体的分索引规则,可以不被外部感知。本专利技术能够快速的，批量的进行大范围检索,方便数据；本专利技术消除了调用方数据库分库分表造成的多库多表问题；本专利技术可以通过中间件伪装多库多表，极大的减少了调用方代码的复杂程度和出错概率；此外，本专利技术实现了业务调用方数据库解耦操作，通过中间件伪装，可以无缝切换底层数据存储方案；另外，本专利技术采用的数据分类整合方法能够提高数据分类的整体效率。尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。本文档来自技高网...

【技术保护点】
1.一种优化搜索引擎多索引的查询方法,其特征在于：包括数据存储，数据分表，数据检索三部分；具体步骤为：A、通过在流中源源不断的获取数据,并针对数据特有的结构进行分索引规则匹配.完成数据的分索引操作；B、调用方发起检索数据请求,经过特殊处理以及规则匹配对所需数据进行分索引同时请求；C、对请求得到的数据进行分类整合,然后返回给调用方。

【技术特征摘要】
1.一种优化搜索引擎多索引的查询方法,其特征在于：包括数据存储，数据分表，数据检索三部分；具体步骤为：A、通过在流中源源不断的获取数据,并针对数据特有的结构进行分索引规则匹配.完成数据的分索引操作；B、调用方发起检索数据请求,经过特殊处理以及规则匹配对所需数据进行分索引同时请求；C、对请求得到的数据进行分类整合,然后返回给调用方。2.根据权利要求1所述的一种优化搜索引擎多索引的查询方法,其特征在于：所述步骤C中数据分类整合方法包括以下步骤：A、识别数据库中每个训练样本的类别；B、在预设样本数据库中分别选...

【专利技术属性】
技术研发人员：吴少东，闵早华，张禄宇，
申请(专利权)人：吉旗成都科技有限公司，
类型：发明
国别省市：四川,51