应用程序的处理方法、装置、系统和计算机可读存储介质制造方法及图纸

本公开涉及一种应用程序的处理方法、装置、系统和计算机可读存储介质，涉及计算机技术领域。该方法包括：响应于用户递交的应用程序开始运行，确定应用程序的各待处理数据之间的相关性；根据相关性，对各待处理数据进行划分；根据划分结果，将应用程序划分为多个任务分片；将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取各任务分片的处理结果。本公开的技术方案能够提高并行处理效率。

【技术实现步骤摘要】
应用程序的处理方法、装置、系统和计算机可读存储介质
本公开涉及计算机
，特别涉及一种应用程序的处理方法、应用程序的处理装置、应用程序的处理系统和计算机可读存储介质。
技术介绍
随着计算机技术及大数据技术的不断发展，基于单台物理计算机的图像处理模型算法，正逐步向大数据及分布式并行计算发展。例如，ApacheSpark作为一个围绕速度、易用性和复杂分析构建的大数据处理框架，其强大的迭代计算能力已在图像处理方面成为佼佼者，并受国内外各大科技公司、相关科研机构及开源社区所青睐。在相关技术中，基于分布式处理系统的集群资源对属于一个应用程序的各任务进行并行处理。
技术实现思路
本公开的专利技术人发现上述相关技术中存在如下问题：对集群资源的分配不合理，导致并行处理效率低。鉴于此，本公开提出了一种应用程序的处理技术方案，能够提高并行处理效率。根据本公开的一些实施例，提供了一种应用程序的处理方法，包括：响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；根据所述相关性，对所述各待处理数据本文档来自技高网...

【技术保护点】
1.一种应用程序的处理方法，包括：/n响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；/n根据所述相关性，对所述各待处理数据进行划分；/n根据划分结果，将所述应用程序划分为多个任务分片；/n将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。/n

【技术特征摘要】
1.一种应用程序的处理方法，包括：
响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；
根据所述相关性，对所述各待处理数据进行划分；
根据划分结果，将所述应用程序划分为多个任务分片；
将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。


2.根据权利要求1所述的处理方法，其中，所述确定所述应用程序的各待处理数据之间的相关性包括：
获取所述应用程序的各待处理数据的存储路径；
根据所述存储路径，确定所述各待处理数据之间的相关性。


3.根据权利要求1所述的处理方法，其中，所述将各任务分片分配给执行器节点集群中的各执行器节点并行处理包括：
向所述执行器节点集群申请与所述各任务分片的大小相匹配的运行资源；
根据所述运行资源，将所述多个任务分片分配给所述各执行器节点并行处理。


4.根据权利要求1所述的处理方法，还包括：
在接收到所述各执行器节点返回的所述各任务分片的处理结果后，将所述处理结果发送给数据库集群进行存储。


5.根据权利要求1所述的处理方法，还包括：
接收所述各执行器节点定期返回的相应任务分片的处理情况。


6.根据权利要求1-5任一项所述的处理方法，其中，
所述应用程序在PySparkonk8s系统中递交，所述PySparkonk8s系统的源代码支持用户在非集群计算机上递交所述应用程序。


7.根据权利要求1-5任一项所述的处理方法，其中，
所述应用程序...

【专利技术属性】
技术研发人员：魏秀利，范振，石磊，吴国晓，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：北京;11