一种分布式计算任务的响应方法及设备技术

本发明专利技术适用于数据处理技术领域，提供了一种分布式计算任务的响应方法及设备，包括：若接收到分布式计算任务，则确定所述分布式计算任务的目标字段；从基准查询表中提取所述目标字段的目标数据，生成字段查询表；统计所述字段查询表的字段数据量；若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点，以使所述分布式节点基于广播合并方式将所述字段查询表与本地的目标配置表合并；基于各个分布式节点合并后的所述目标配置表，执行所述分布式计算任务。本发明专利技术能够在生成数据表时筛选出有效数据，减少所需发送的数据表的数据量，减少数据梳理操作的次数，减少分布式节点的数据读写压力，提高分布式计算的响应速率。

A response method and equipment for distributed computing tasks

【技术实现步骤摘要】
一种分布式计算任务的响应方法及设备
本专利技术属于数据处理
，尤其涉及一种分布式计算任务的响应方法及设备。
技术介绍
随着电子化进程的不断推进，大部分文件可为数字化文件，并存储于云端数据库，而为了保证数据库的存取效率，大部分数据存储模式采用分布式存储，将属于同一的电子文件划分多个不同的数据库，并交由各个分布式节点进行存储，因此在响应数据计算任务时，则需要采用分布式计算框架，例如Spark引擎，基于查询表从各个分布式节点提取数据。现有的分布式计算技术，在使用分布式计算引擎时，由于数据会存在变更情况，往往需要整合数据库内的多个查询表，并根据整合后的数据表执行计算响应。然而在整合查询表的过程中，需要重新梳理表内的各个数据，在数据表的数据量较大时，则需要消耗较多的硬件资源执行数据表的梳理操作，增加了处理时间，降低了分布式计算的效率。
技术实现思路
有鉴于此，本专利技术实施例提供了一种分布式计算任务的响应方法及设备，以解决现有的分布式计算技术，在整合查询表的过程中，需要重新梳理表内的各个数据，在数据表的数据量较大时，则需要消耗较多的硬件资源执行数据表的梳理操作，增加了处理时间，分布式计算的效率低的问题。本专利技术实施例的第一方面提供了一种分布式计算任务的响应方法，包括：若接收到分布式计算任务，则确定所述分布式计算任务的目标字段；从基准查询表中提取所述目标字段的目标数据，生成字段查询表；统计所述字段查询表的字段数据量；若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点，以使所述分布式节点基于广播合并方式将所述字段查询表与本地的目标配置表合并；基于各个分布式节点合并后的所述目标配置表，执行所述分布式计算任务。本专利技术实施例的第二方面提供了一种分布式计算任务的响应设备，包括：目标字段识别单元，用于若接收到分布式计算任务，则确定所述分布式计算任务的目标字段；字段查询表生成单元，用于从基准查询表中提取所述目标字段的目标数据，生成字段查询表；字段数据量统计单元，用于统计所述字段查询表的字段数据量；广播合并触发单元，用于若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点，以使所述分布式节点基于广播合并方式将所述字段查询表与本地的目标配置表合并；分布式计算任务响应单元，用于基于各个分布式节点合并后的所述目标配置表，执行所述分布式计算任务。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面的各个步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的各个步骤。实施本专利技术实施例提供的一种分布式计算任务的响应方法及设备具有以下有益效果：本专利技术实施例通过对分布式计算任务进行解析，确定计算操作所需的目标字段，并从基准查询表提取与目标字段相关的目标数据，生成字段查询表，从而将一个总的数据表拆分为与任务相关的分表，剔除了大量与本次计算无关的无效数据，减少了分表的数据量，并在该字段查询表的字段数据量小于广播触发阈值时，通过广播发送的方式将字段查询表发送给各个分布式存储节点，以便分布式存储节点基于广播合并BroadcastJoin的方式将字段查询表与目标配置表进行合并，由于BroadcastJoin的合并方式无需对字段编号Key值进行关联，对整个数据表进行梳理，属于数据表的快速合并的方式，提高了分布式计算的效率。与现有的分布式计算的响应技术相比，本实施例能够通过在生成数据表时筛选出有效数据，即与本次计算相关的目标字段的目标数据，减少所需发送的数据表的数据量，在数据表的数据量较少的情况下，通过简易合并的BroadcastJoin方式合并字段查询表以及目标配置表，大大减少数据梳理操作的次数，减少了分布式节点的数据读写压力，从而提高了分布式计算的响应速率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术第一实施例提供的一种分布式计算任务的响应方法的实现流程图；图2是本专利技术第二实施例提供的一种分布式计算任务的响应方法具体实现流程图；图3是本专利技术第三实施例提供的一种分布式计算任务的响应方法S202具体实现流程图；图4是本专利技术第四实施例提供的一种分布式计算任务的响应方法S101具体实现流程图；图5是本专利技术第五实施例提供的一种分布式计算任务的响应方法S101具体实现流程图；图6是本专利技术第六实施例提供的一种分布式计算任务的响应方法具体实现流程图；图7是本专利技术第七实施例提供的一种分布式计算任务的响应方法S102具体实现流程图；图8是本专利技术一实施例提供的一种分布式计算任务的响应设备的结构框图；图9是本专利技术另一实施例提供的一种终端设备的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例通过对分布式计算任务进行解析，确定计算操作所需的目标字段，并从基准查询表提取与目标字段相关的目标数据，生成字段查询表，从而将一个总的数据表拆分为与任务相关的分表，剔除了大量与本次计算无关的无效数据，减少了分表的数据量，并在该字段查询表的字段数据量小于广播触发阈值时，通过广播发送的方式将字段查询表发送给各个分布式存储节点，以便分布式存储节点基于广播合并BroadcastJoin的方式将字段查询表与目标配置表进行合并，由于BroadcastJoin的合并方式无需对字段编号Key值进行关联，对整个数据表进行梳理，属于数据表的快速合并的方式，提高了分布式计算的效率，解决了现有的分布式计算技术，在整合查询表的过程中，需要重新梳理表内的各个数据，在数据表的数据量较大时，则需要消耗较多的硬件资源执行数据表的梳理操作，增加了处理时间，分布式计算的效率低的问题。在本专利技术实施例中，流程的执行主体为终端设备。该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等能够响应分布式计算任务的设备。具体地，该终端设备可以为基于Spark引擎部署的分布式计算系统中的服务器，该服务器与多个不同的分布式存储节点共同构成分布式计算系统，用于存储各个用户终端上传的数据，并响应分布式计算任务。图1示出了本专利技术第一实施例提供的分布式计算任务的响应方法的实现流程图，详述如下：在S101中，若接收到分布式计算任务，则确定所述分布式计算任务的目标字段。在本实施例中，本文档来自技高网...

【技术保护点】
1.一种分布式计算任务的响应方法，其特征在于，包括：/n若接收到分布式计算任务，则确定所述分布式计算任务的目标字段；/n从基准查询表中提取所述目标字段的目标数据，生成字段查询表；/n统计所述字段查询表的字段数据量；/n若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点，以使所述分布式节点基于广播合并方式将所述字段查询表与本地的目标配置表合并；/n基于各个分布式节点合并后的所述目标配置表，执行所述分布式计算任务。/n

【技术特征摘要】
1.一种分布式计算任务的响应方法，其特征在于，包括：
若接收到分布式计算任务，则确定所述分布式计算任务的目标字段；
从基准查询表中提取所述目标字段的目标数据，生成字段查询表；
统计所述字段查询表的字段数据量；
若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点，以使所述分布式节点基于广播合并方式将所述字段查询表与本地的目标配置表合并；
基于各个分布式节点合并后的所述目标配置表，执行所述分布式计算任务。


2.根据权利要求1所述的响应方法，其特征在于，在所述若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点之前，还包括：
获取当前时刻的网络资源参量，以及所述当前时刻所在的预设时间段关联的历史运行记录；
将所述网络资源参量导入预设的阈值因子转换模型，计算第一阈值因子；
基于各个所述历史运行记录的创建时间，配置所述历史运行记录的权重值；
根据各个所述历史运行记录的历史广播阈值以及所述权重值，计算第二阈值因子；
根据所述第一阈值因子以及所述第二阈值因子，计算所述广播触发阈值。


3.根据权利要求2所述的响应方法，其特征在于，所述将所述网络资源参量导入预设的阈值因子转换模型，计算第一阈值因子，包括：
获取所在网络的最大可用资源参量；
将所述最大可用资源参量以及所述网络资源参量导入预设的阈值因子转换模型，计算所述第一阈值因子；所述阈值因子转换模型具体为：



其中，FirstBrdcst为所述第一阈值因子；CurrentResourcei为第i个所述网络资源参量；MaxWebResourcei为第i个所述最大可用资源参量；BaseLv为预设的基准系数；n为网络资源参量的总数。


4.根据权利要求1所述的响应方法，其特征在于，所述若接收到分布式计算任务，则确定所述分布式计算任务的目标字段，包括：
解析所述分布式计算任务，得到所述分布式计算任务的任务类型；
从计算响应数据库中提取与所述任务类型匹配的历史响应结果，并识别各个所述历史响应结果包含的历史字段；
基于各个所述历史字段在所有所述历史响应结果中的出现次数以及出现时间，分别计算各个所述历史字段的关联度；
选取所述关联度大于预设的关联阈值的所述历史字段作为所述目标字段。


5.根据权利要求1所述的响...

【专利技术属性】
技术研发人员：吴昌远，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44