查询任务分配方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种查询任务分配方法、装置、设备及存储介质，属于大数据技术领域。该方法包括接收用户的多个查询任务；根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值；按照所述每个查询任务对应的损失值的大小顺序，分配所述多个查询任务，其中，损失值大的查询任务优先分配。即在本申请中，优选分配损失值大的查询任务，优先考虑独占性和紧急性的查询任务，使得查询引擎的分配更加合理，提高了查询引擎资源整体利用效率。资源整体利用效率。资源整体利用效率。

【技术实现步骤摘要】
查询任务分配方法、装置、设备及存储介质


[0001]本申请涉及大数据
，尤其涉及一种查询任务分配方法、装置、设备及存储介质。

技术介绍

[0002]即席查询分析是大数据领域的核心问题之一。现有技术中，存在一种基于资源进行查询引擎选择方法，可以根据当前各查询引擎的资源量和查询任务所需的资源量来选择最优的查询引擎提交查询。在上述方法中，用户无法自主选择查询引擎，用户每提交一个查询任务，系统就进行一次最优选择，选择一个最合适的查询引擎进行查询任务的提交，选择的因素主要根据当前的各个查询引擎的空闲资源与查询任务的匹配度。上述方法适合于任务不密集，整体资源较为空闲的场景。但是大数据的查询任务不是分布均匀的，往往是按时间窗口聚集的，比如体育赛事完成后的用户行为分析提数，业务日报周报分析提数，在大批量的查询情况下，采用上述查询引擎选择方法确定的每个查询任务的最优查询引擎并不一定是全局最优，造成查询引擎资源整体利用不合理，降低了查询引擎资源整体利用效率。
[0003]上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0004]本申请的主要目的在于提供一种查询任务分配方法、装置、设备及存储介质，旨在解决现有技术在查询任务大批量聚集的情况下，查询引擎资源整体利用效率低的问题。
[0005]为实现上述目的，本申请提供一种查询任务分配方法，所述查询任务分配方法包括以下步骤：
[0006]接收用户的多个查询任务；
[0007]根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值；
[0008]按照所述每个查询任务对应的损失值的大小顺序，分配所述多个查询任务，其中，损失值大的查询任务优先分配。
[0009]可选地，所述根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值的步骤，包括：
[0010]根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数；
[0011]根据所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值。
[0012]可选地，所述根据所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值的步骤，包括：
[0013]获取所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数中的最高分和次高分；
[0014]计算所述最高分和所述次高分之差，作为每个查询任务在没有分配给最佳查询引擎时对应的损失值。
[0015]可选地，所述根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数的步骤，包括：
[0016]根据所述用户的历史查询行为数据，训练生成目标分类器；
[0017]基于所述目标分类器、所述多个查询任务中每个查询任务的特征数据和所述多个查询引擎中每个查询引擎的资源，确定所述每个查询任务被所述每个查询引擎接收时各自对应的接收概率；
[0018]根据所述每个查询任务被所述每个查询引擎接收时各自对应的接收概率，确定所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数。
[0019]可选地，所述按照所述每个查询任务对应的损失值的大小顺序，分配所述多个查询任务的步骤，包括：
[0020]按照所述每个查询任务对应的损失值的大小顺序，遍历执行根据预设的查询引擎分配规则，确定所述查询任务被分配的查询引擎的步骤，直至所述多个查询任务完成分配。
[0021]可选地，所述根据预设的查询引擎分配规则，确定所述查询任务被分配的查询引擎的步骤，包括：
[0022]根据所述查询任务被分配给所述每个查询引擎时对应的分配分数以及所述查询任务与所述每个查询引擎的分配关系，将所述查询任务分配至满足预设条件的查询引擎；
[0023]判断所述查询任务与所述查询任务分配的查询引擎是否满足约束条件；
[0024]若满足约束条件，则所述查询任务分配完成；
[0025]若未满足约束条件，则将所述查询任务与所述查询任务分配的查询引擎的分配关系修正为禁分配，并返回至根据所述查询任务被分配给所述每个查询引擎时对应的分配分数以及所述查询任务与所述每个查询引擎的分配关系，将所述查询任务分配至满足预设条件的查询引擎的步骤；
[0026]其中，所述预设条件包括分配的查询引擎的分配分数最高，且分配的查询引擎与所述查询任务的分配关系为分配；所述约束条件包括所述查询任务的运行时间段与分配的查询引擎的空闲时间段相重合。
[0027]可选地，所述接收用户的多个查询任务的步骤，包括：
[0028]接收用户在一个时间窗内的多个查询任务。
[0029]此外，为实现上述目的，本申请还提供一种查询任务分配装置，所述装置包括：
[0030]查询任务接收模块，用于接收用户的多个查询任务；
[0031]损失值确定模块，用于根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值；
[0032]查询任务分配模块，用于按照所述每个查询任务对应的损失值的大小顺序，分配所述多个查询任务，其中，损失值大的查询任务优先分配。
[0033]此外，为实现上述目的，本申请还提供一种查询任务分配设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的查询任务分配程序，所述查询任务分配程序配置为实现如上所述的查询任务分配方法的步骤。
[0034]此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质上存储有查询任务分配程序，所述查询任务分配程序被处理器执行时实现如上所述的查询任务分配方法的步骤。
[0035]本申请公开了一种查询任务分配方法、装置、设备及存储介质，与现有技术在查询任务大批量聚集的情况下，查询引擎资源整体利用效率低相比，本申请通过接收用户的多个查询任务；根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值；按照所述每个查询任务对应的损失值的大小顺序，分配所述多个查询任务，其中，损失值大的查询任务优先分配。也就是说，在本申请中，优选分配损失值大的查询任务，优先考虑独占性和紧急性的查询任务，使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种查询任务分配方法，其特征在于，所述查询任务分配方法包括以下步骤：接收用户的多个查询任务；根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值；按照所述每个查询任务对应的损失值的大小顺序，分配所述多个查询任务，其中，损失值大的查询任务优先分配。2.如权利要求1所述的任务分配方法，其特征在于，所述根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值的步骤，包括：根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数；根据所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值。3.如权利要求2所述的任务分配方法，其特征在于，所述根据所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数，确定所述每个查询任务在没有分配给最佳查询引擎时对应的损失值的步骤，包括：获取所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数中的最高分和次高分；计算所述最高分和所述次高分之差，作为每个查询任务在没有分配给最佳查询引擎时对应的损失值。4.如权利要求2所述的任务分配方法，其特征在于，所述根据所述多个查询任务中每个查询任务的特征数据、多个查询引擎中每个查询引擎的资源以及所述用户的历史查询行为数据，确定所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数的步骤，包括：根据所述用户的历史查询行为数据，训练生成目标分类器；基于所述目标分类器、所述多个查询任务中每个查询任务的特征数据和所述多个查询引擎中每个查询引擎的资源，确定所述每个查询任务被所述每个查询引擎接收时各自对应的接收概率；根据所述每个查询任务被所述每个查询引擎接收时各自对应的接收概率，确定所述每个查询任务被分配给所述每个查询引擎时各自对应的分配分数。5.如权利要求1所述的任务分配方法，其特征在于，所述按照所述每个查询任务对应的损失...

【专利技术属性】
技术研发人员：王超，赵芹，桂祖宏，刘勇，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：