【技术实现步骤摘要】
一种分布式计算任务的响应方法及设备
本专利技术属于数据处理
，尤其涉及一种分布式计算任务的响应方法及设备。
技术介绍
随着电子化进程的不断推进，大部分文件可为数字化文件，并存储于云端数据库，而为了保证数据库的存取效率，大部分数据存储模式采用分布式存储，将属于同一的电子文件划分多个不同的数据库，并交由各个分布式节点进行存储，因此在响应数据计算任务时，则需要采用分布式计算框架，例如Spark引擎，基于查询表从各个分布式节点提取数据。现有的分布式计算技术，在使用分布式计算引擎时，由于数据会存在变更情况，往往需要整合数据库内的多个查询表，并根据整合后的数据表执行计算响应。然而在整合查询表的过程中，需要重新梳理表内的各个数据，在数据表的数据量较大时，则需要消耗较多的硬件资源执行数据表的梳理操作，增加了处理时间，降低了分布式计算的效率。
技术实现思路
有鉴于此，本专利技术实施例提供了一种分布式计算任务的响应方法及设备，以解决现有的分布式计算技术，在整合查询表的过程中，需要重新梳理表内的各个数据，在数据表...
【技术保护点】
1.一种分布式计算任务的响应方法，其特征在于，包括：/n若接收到分布式计算任务，则确定所述分布式计算任务的目标字段；/n从基准查询表中提取所述目标字段的目标数据，生成字段查询表；/n统计所述字段查询表的字段数据量；/n若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点，以使所述分布式节点基于广播合并方式将所述字段查询表与本地的目标配置表合并；/n基于各个分布式节点合并后的所述目标配置表，执行所述分布式计算任务。/n
【技术特征摘要】
1.一种分布式计算任务的响应方法，其特征在于，包括：
若接收到分布式计算任务，则确定所述分布式计算任务的目标字段；
从基准查询表中提取所述目标字段的目标数据，生成字段查询表；
统计所述字段查询表的字段数据量；
若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点，以使所述分布式节点基于广播合并方式将所述字段查询表与本地的目标配置表合并；
基于各个分布式节点合并后的所述目标配置表，执行所述分布式计算任务。
2.根据权利要求1所述的响应方法，其特征在于，在所述若所述字段数据量小于预设的广播触发阈值，则广播发送所述字段查询表至各个分布式节点之前，还包括：
获取当前时刻的网络资源参量，以及所述当前时刻所在的预设时间段关联的历史运行记录；
将所述网络资源参量导入预设的阈值因子转换模型，计算第一阈值因子；
基于各个所述历史运行记录的创建时间，配置所述历史运行记录的权重值；
根据各个所述历史运行记录的历史广播阈值以及所述权重值，计算第二阈值因子；
根据所述第一阈值因子以及所述第二阈值因子，计算所述广播触发阈值。
3.根据权利要求2所述的响应方法，其特征在于，所述将所述网络资源参量导入预设的阈值因子转换模型，计算第一阈值因子，包括：
获取所在网络的最大可用资源参量；
将所述最大可用资源参量以及所述网络资源参量导入预设的阈值因子转换模型，计算所述第一阈值因子；所述阈值因子转换模型具体为：
其中，FirstBrdcst为所述第一阈值因子；CurrentResourcei为第i个所述网络资源参量；MaxWebResourcei为第i个所述最大可用资源参量；BaseLv为预设的基准系数；n为网络资源参量的总数。
4.根据权利要求1所述的响应方法，其特征在于，所述若接收到分布式计算任务，则确定所述分布式计算任务的目标字段，包括：
解析所述分布式计算任务，得到所述分布式计算任务的任务类型；
从计算响应数据库中提取与所述任务类型匹配的历史响应结果，并识别各个所述历史响应结果包含的历史字段；
基于各个所述历史字段在所有所述历史响应结果中的出现次数以及出现时间，分别计算各个所述历史字段的关联度；
选取所述关联度大于预设的关联阈值的所述历史字段作为所述目标字段。
5.根据权利要求1所述的响...
【专利技术属性】
技术研发人员：吴昌远，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。