分布式数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及数据处理技术，揭露一种分布式数据处理方法，包括：根据文件列表提取的业务数据触发键值数据库，键值数据库根据业务数据及服务器集群构建分片式任务列表；根据服务器集群及分片式任务列表选取目标服务器及目标任务；向目标服务器发布目标任务；在未成功处理目标任务时，将目标任务存储至失败任务列表；在成功处理目标任务时，从未发布的分片式任务中提取目标任务并发布给目标服务器；在不存在未发布的任务时，从失败任务列表中提取目标任务并发布给目标服务器；在失败任务列表中不存在任务时，目标服务器停止数据处理。本发明专利技术还提出一种分布式数据处理装置、设备以及介质。本发明专利技术可以提高服务器资源利用率以及业务数据处理效率问题。数据处理效率问题。数据处理效率问题。

【技术实现步骤摘要】
分布式数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种分布式数据处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着业务的增量发展，系统的数据量越来越多，系统定时器需要处理的数据量越来越多，在分布式集群的环境下，单机性能较差，存在无法充分利用现有的所有服务器资源，甚至部分机器内存溢出，宕机。现有技术方案有分布式job，xx
‑
job，djss
‑
job等，这些方案只能通知每台服务器去执行任务，无差别的传递任务参数，无法通知每个服务器所处理数据范围和处理失败后的补处理，也无法实现服务器数量变更的动态扩容。综上所述，现有技术中存在服务器资源无法充分利用，服务器无法明确任务处理范围，业务数据处理效率低以及处理可能不充分的问题。

技术实现思路

[0003]本专利技术提供一种分布式数据处理方法、装置及计算机可读存储介质，其主要目的在于解决服务器资源利用率低，服务器无法明确任务处理范围而导致的业务数据处理效率低以及处理不充分的问题。
...

【技术保护点】

【技术特征摘要】
1.一种分布式数据处理方法，其特征在于，所述方法包括：获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务；向所述目标服务器发布所述目标分片式任务，并判断所述目标服务器是否成功处理所述目标分片式任务；若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；若成功处理所述目标分片式任务，则判断所述分片式任务列表中是否存在未发布的分片式任务；若存在未发布的分片式任务，则按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；若不存在未发布的分片式任务，则判断所述失败任务列表中是否存在分片式任务；若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；若不存在分片式任务，则所述目标服务器停止数据处理。2.如权利要求1所述的分布式数据处理方法，其特征在于，所述根据所述文件列表提取业务数据，包括：提取所述文件列表中的文件名，获取所述文件名对应的存储路径；将所述存储路径编译为路径参数，利用所述路径参数对预设的数据接口进行赋值，并利用赋值后的所述数据接口对所述文件名对应的业务数据进行调用。3.如权利要求1所述的分布式数据处理方法，其特征在于，所述根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表，包括：在所述业务数据触发预设的键值数据库所对应的接口时，所述接口触发键值数据库的通知；在接收到所述通知后，所述键值数据库调取所述业务数据；获取预设的服务器集群中每台服务器的历史数据处理能力，并根据所述历史处理能力对所述业务数据进行分片，得到多个分片式任务；将所述分片式任务按预设顺序填入预设列表中，得到分片式任务列表。4.如权利要求1所述的分布式数据处理方法，其特征在于，所述向所述目标服务器发布所述目标分片式任务，包括：从所述键值数据库中反射调用所述目标分片式任务；扫描所述目标服务器的接口，向所述接口发送所述目标分片式任务。5.如权利要求1所述的分布式数据处理方法，其特征在于，所述判断所述目标服务器是否成功处理所述目标分片式任务，包括：动态监测所述目标分片式任务的处理状态；当所述处理状态为停止时，获取所述目标服务器的处理日志；检测所述处理日志中是否存在预设敏感字段；
若存在预设敏感字段，则判定所述...

【专利技术属性】
技术研发人员：王涛，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：