预计算模型生成、预计算方法、装置、设备及存储介质制造方法及图纸

本申请提供一种预计算模型生成、预计算方法、装置、设备及存储介质。其中，所述方法包括：获取历史查询日志；其中，每条查询日志中包含至少一种查询数据；根据所述查询数据中的查询类型对所述查询日志进行分组，得到每种查询类型的查询日志；根据每种查询类型的查询日志包含的查询数据，构建每种查询类型的查询特征向量；确定决策阈值，根据每种查询类型的查询特征向量与决策阈值确定是否需要生成预计算模型；对于需要生成预计算模型的查询类型，根据该查询类型的查询特征向量生成预计算模型。

Pre calculation model generation, pre calculation method, device, equipment and storage medium

The application provides a pre calculation model generation, pre calculation method, device, device and storage medium. Among them, the method includes: obtaining the historical query log, wherein each query log contains at least one query data, grouping the query logs according to the query type in the query data, and obtaining the query log of each query type, and constructing the query characteristic vector of each query type according to the query data contained in the query log of each query type Determine the decision threshold, and determine whether the pre calculation model needs to be generated according to the query feature vector and decision threshold of each query type; for the query type that needs to generate the pre calculation model, generate the pre calculation model according to the query feature vector of this query type.

【技术实现步骤摘要】
预计算模型生成、预计算方法、装置、设备及存储介质
本申请涉及预计算
，尤其涉及一种预计算模型生成、预计算方法、装置、设备及存储介质。
技术介绍
预计算是一种加快数据查询速度，减少数据查询响应时间的技术。预计算通常是进行数据查询之前执行的，其可以将原先需要在数据查询过程中进行的计算量较大的工作预先完成；这样，在数据查询过程中涉及的计算量相应会减少，从而可以更快的返回查询结果。在相关技术中，预计算的执行需要依赖预计算模型。一般的，对于不同类型的查询，通常可以预先设置对应的预计算模型；如此，每当接收到用户发送的查询请求后，服务器都可以查询到对应的预计算模型进行预计算。但是，服务器预先设置的预计算模型一般是固定的，通常都是由工作人员基于相关业务经验针对不同查询类型设置对应的预计算模型。然而，这样设置的预计算模型需要凭借工作人员的业务经验，不仅生成效率较低，而且无法适应快速变化的业务需求。例如，每当业务发生变化时、或者新增业务时，基于旧的预计算模型可能会出现错误、甚至无法使用。
技术实现思路
有鉴于此，本申请提供一种预计算模型生成、预计算方法、装置、设备及存储介质，用于解决上述预计算模型生成灵活性不足、预计算效果不理想的问题。具体地，本申请是通过如下技术方案实现的：一种预计算模型生成方法，所述方法包括：获取历史查询日志；其中，每条查询日志中包含至少一种查询数据；根据所述查询数据中的查询类型对所述查询日志进行分组，得到每种查询类型的查询日志；根据每种查询类型的查询日志包含的查询数据，构建每种查询类型的查询特征向量；确定决策阈值，根据每种查询类型的查询特征向量与决策阈值确定是否需要生成预计算模型；对于需要生成预计算模型的查询类型，根据该查询类型的查询特征向量生成预计算模型。可选的，所述获取历史查询日志，具体包括：获取最近一个预设周期内所有用户的历史查询日志。可选的，所述查询数据包括：查询类型、查询开始时刻、查询结束时刻、查询频次、查询平均耗时、查询最长耗时、查询最短耗时、查询优先级、查询标识、请求类型中的至少一种。可选的，所述查询类型由查询事实表和查询维度表确定。可选的，所述根据每种查询类型的查询日志包含的查询数据，构建每种查询类型的查询特征向量，具体包括：获取相同查询类型的查询日志包含的每一种查询数据；将所述每一种查询数据作为查询特征向量中的一个元素，从而构建查询特征向量。可选的，所述决策阈值，具体包括至少一种下述阈值：所述查询频次对应的第一阈值；所述查询平均耗时对应的第二阈值；所述查询最长耗时对应的第三阈值；所述查询最短耗时对应的第四阈值；所述查询优先级对应的第五阈值。可选的，所述确定第一阈值，具体包括：统计相同查询类型对应的查询日志的数量，得到所述查询类型对应的查询频次；从所述查询频次中选取一个查询频次作为第一阈值。可选的，所述确定第二阈值，具体包括：计算相同查询标识下每条查询日志的查询结束时刻和查询开始时刻的时间间隔；将时间间隔累加后除以所述第一阈值，将得到的值确定为第二阈值。可选的，所述确定第三阈值，具体包括：计算每条查询日志的查询结束时刻和查询开始时刻的时间间隔；将时间间隔最长的时间间隔确定为第三阈值。可选的，所述确定第四阈值，具体包括：计算每条查询日志的查询结束时刻和查询开始时刻的时间间隔；将时间间隔最短的时间间隔确定为第四阈值。可选的，所述根据所述查询特征向量与决策阈值确定是否需要生成预计算模型，具体包括：将所述查询特征向量中的查询频次与第一阈值进行比较，得到第一比较结果；将所述查询特征向量中的查询平均耗时与第二阈值进行比较，得到第二比较结果；将所述查询特征向量中的查询最长耗时与第三阈值进行比较，得到第三比较结果；将所述查询特征向量中的查询最短耗时与第四阈值进行比较，得到第四比较结果；将所述查询特征向量中的查询优先级与第五阈值进行比较，得到第五比较结果；根据第一、第二、第三、第四、第五比较结果构建结果向量；计算所述结果向量的模，在所述结果向量的模大于所述结果向量长度的一半时，确定需要生成预计算模型。可选的，在所述根据所述查询类型对所述查询日志进行分组，得到每种查询类型的查询日志之前，所述方法还包括：在所述查询日志的请求类型为预览查询、维度表查询或者查询重试时，将该条查询日志删除。可选的，在所述根据所述查询类型对所述查询日志进行分组，得到每种查询类型的查询日志之后，所述方法还包括：将具有相同查询标识的查询日志进行合并成一条查询日志。一种预计算方法，所述方法应用如前任一所述的预计算模型生成方法生成的预计算模型进行预计算，包括：接收用户查询请求，所述查询请求中包含查询类型和查询数据；根据所述查询类型查询对应的目标预计算模型；基于查询到的目标预计算模型对所述查询数据进行预计算。一种预计算模型生成装置，所述装置包括：获取单元，获取历史查询日志；其中，每条查询日志中包含至少一种查询数据；分组单元，根据所述查询数据中的查询类型对所述查询日志进行分组，得到每种查询类型的查询日志；构建单元，根据每种查询类型的查询日志包含的查询数据，构建每种查询类型的查询特征向量；确定单元，确定决策阈值，根据每种查询类型的查询特征向量与决策阈值确定是否需要生成预计算模型；生成单元，对于需要生成预计算模型的查询类型，根据该查询类型的查询特征向量生成预计算模型。一种预计算装置，所述装置包括：接收单元，接收用户查询请求，所述查询请求中包含查询类型和查询数据；查询单元，根据所述查询类型查询对应的目标预计算模型；预计算单元，基于查询到的目标预计算模型对所述查询数据进行预计算。一种存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一项所述的预计算模型生成方法。一种存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一项所述的预计算模型生成方法。一种设备，包括：处理器；用于存储处理器可执行指令的存储器；所述处理器被配置为上述任一项所述的预计算模型生成方法。一种设备，包括：处理器；用于存储处理器可执行指令的存储器；所述处理器被配置为上述任一项所述的预计算模型生成方法。本申请实施例，提供了一种预计算模型生成、预计算方案，根据历史的查询日志生成不同查询类型的预计算模型，由于历史查询日志可以反映查询热点，因此这样生成的预计算模型贴合实际查询需求。例如，在业务发送变化后，由于采集的历史查询日志也相应变化，因此第一服务器可以快速做出反映，生成符合新业务的预计算模型。附图说明图本文档来自技高网...

【技术保护点】
1.一种预计算模型生成方法，其特征在于，所述方法包括：/n获取历史查询日志；其中，每条查询日志中包含至少一种查询数据；/n根据所述查询数据中的查询类型对所述查询日志进行分组，得到每种查询类型的查询日志；/n根据每种查询类型的查询日志包含的查询数据，构建每种查询类型的查询特征向量；/n确定决策阈值，根据每种查询类型的查询特征向量与决策阈值确定是否需要生成预计算模型；/n对于需要生成预计算模型的查询类型，根据该查询类型的查询特征向量生成预计算模型。/n

【技术特征摘要】
1.一种预计算模型生成方法，其特征在于，所述方法包括：
获取历史查询日志；其中，每条查询日志中包含至少一种查询数据；
根据所述查询数据中的查询类型对所述查询日志进行分组，得到每种查询类型的查询日志；
根据每种查询类型的查询日志包含的查询数据，构建每种查询类型的查询特征向量；
确定决策阈值，根据每种查询类型的查询特征向量与决策阈值确定是否需要生成预计算模型；
对于需要生成预计算模型的查询类型，根据该查询类型的查询特征向量生成预计算模型。


2.根据权利要求1所述的方法，其特征在于，所述获取历史查询日志，具体包括：
获取最近一个预设周期内所有用户的历史查询日志。


3.根据权利要求1所述的方法，其特征在于，所述查询数据包括：查询类型、查询开始时刻、查询结束时刻、查询频次、查询平均耗时、查询最长耗时、查询最短耗时、查询优先级、查询标识、请求类型中的至少一种。


4.根据权利要求3所述的方法，其特征在于，所述查询类型由查询事实表和查询维度表确定。


5.根据权利要求1或3所述的方法，其特征在于，所述根据每种查询类型的查询日志包含的查询数据，构建每种查询类型的查询特征向量，具体包括：
获取相同查询类型的查询日志包含的每一种查询数据；
将所述每一种查询数据作为查询特征向量中的一个元素，从而构建查询特征向量。


6.根据权利要求3所述的方法，其特征在于，所述决策阈值，具体包括至少一种下述阈值：
所述查询频次对应的第一阈值；
所述查询平均耗时对应的第二阈值；
所述查询最长耗时对应的第三阈值；
所述查询最短耗时对应的第四阈值；
所述查询优先级对应的第五阈值。


7.根据权利要求6所述的方法，其特征在于，所述确定第一阈值，具体包括：
统计相同查询类型对应的查询日志的数量，得到所述查询类型对应的查询频次；
从所述查询频次中选取一个查询频次作为第一阈值。


8.根据权利要求6所述的方法，其特征在于，所述确定第二阈值，具体包括：
计算相同查询标识下每条查询日志的查询结束时刻和查询开始时刻的时间间隔；
将时间间隔累加后除以所述第一阈值，将得到的值确定为第二阈值。


9.根据权利要求6所述的方法，其特征在于，所述确定第三阈值，具体包括：
计算每条查询日志的查询结束时刻和查询开始时刻的时间间隔；
将时间间隔最长的时间间隔确定为第三阈值。


10.根据权利要求6所述的方法，其特征在于，所述确定第四阈值，具体包括：
计算每条查询日志的查询结束时刻和查询开始时刻的时间间隔；
将时间间隔最短的时间间隔确定为第四阈值。


11.根据权利要求6所述的方法，其特征在于，所述根据所述查询特征向量与决策阈值确定是否需要生成预计算模型，具体包括：
将所述查询特征向量中的查询频次与第一阈值进行比较，得到第一比较结果；
将所述查询特征向量中的查询平均耗时...

【专利技术属性】
技术研发人员：刘树通，李金康，孔德振，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11