子任务执行方法、系统及电子设备技术方案

本发明专利技术公开了一种子任务执行方法、系统及电子设备，其中方法包括：执行端承载文件处理能力，并将每个文件处理能力独立封装为子任务；根据各个子任务的计量指标，将所有子任务均衡划分至执行端；所述执行端通过划分到的每个子任务的进程执行所述子任务，得到子任务产物。本发明专利技术将各个文件处理能力独立封装，避免大数据量的文件在处理过程中产生混乱，根据各个文件处理能力的计算开销提供相应的资源，通过子任务的计量指标均衡划分至执行端，使执行文件处理能力时占用的资源和计算开销相匹配。文件处理能力时占用的资源和计算开销相匹配。文件处理能力时占用的资源和计算开销相匹配。

【技术实现步骤摘要】
子任务执行方法、系统及电子设备


[0001]本专利技术涉及数据资产管理
，具体涉及一种子任务执行方法、系统及电子设备。

技术介绍

[0002]在数据资产管理(Data Asset Management，简称为DAM)业务场景下，对用户的视频、图片等多媒体文件进行离线处理是一个DAM工具需要具备的能力。文件处理服务中具体涉及到的文件处理能力包含多种，例如视频OCR识别、图片压缩、图片缩略图提取等能力，不同的能力在执行时所需要的资源或计算开销(CPU/GPU/IO/内存)并不相同。
[0003]然而，传统的DAM业务场景在执行不同的文件处理能力时，提供的资源是相同的，没有根据各个文件处理能力的计算开销提供相应的资源，这就导致执行文件处理能力时占用的资源和计算开销并不匹配。
[0004]针对相关技术中执行文件处理能力时占用的资源和计算开销并不匹配的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术的主要目的在于提供一种子任务执行方法及系统，以解决相关技术中执行文件处理能力时占用的资源和计算开销不匹配的问题。
[0006]为了实现上述目的，本专利技术的第一方面提供了一种子任务执行方法，包括：
[0007]执行端承载文件处理能力，并将每个文件处理能力独立封装为子任务；
[0008]根据各个子任务的计量指标，将所有子任务均衡划分至执行端；
[0009]所述执行端通过划分到的每个子任务的进程执行所述子任务，得到子任务产物。
[0010]可选地，所述执行端承载文件处理能力，包括：
[0011]一个执行端承载一个或多个文件处理能力。
[0012]可选地，所述根据各个子任务的计量指标，将所有子任务均衡划分至执行端，包括：
[0013]将占用GPU的子任务单独划分至一个执行端；
[0014]根据各个子任务的计算量、调用量、计算开销、计算的频次和耗时，将所有子任务均衡划分至各个执行端。
[0015]可选地，在将所有子任务均衡划分至执行端之后，所述方法还包括：
[0016]子任务起一个或多个执行端实例，将所述子任务划分至相应的一个或多个执行端；
[0017]利用执行端进行多节点部署或动态扩缩容。
[0018]进一步地，所述利用执行端进行多节点部署包括：
[0019]同时运行多个执行端实例，以实现多节点部署；
[0020]所述动态扩缩容包括横向扩缩容和纵向扩缩容；
[0021]所述横向扩缩容包括：起多个执行端实例；
[0022]所述纵向扩缩容包括：在一个执行端实例下，根据任务量自动扩充或自动减少执行子任务的进程的数量。
[0023]可选地，在所述执行端通过划分到的每个子任务的进程执行所述子任务之前，所述方法还包括：
[0024]执行端根据开源配置管理中心apollo定期更新配置；
[0025]将更新配置后的执行端承载的子任务进行注册，完成执行端初始化；
[0026]执行端初始化完成后，向消息队列发送心跳数据，其中所述心跳数据包括执行端承载的子任务的元信息，所述元信息包括：能力名称、能力版本、前置依赖和支持文件类型。
[0027]进一步地，所述执行端通过划分到的每个子任务的进程执行所述子任务，得到子任务产物，包括：
[0028]每个子任务根据所述元信息中的能力名称和能力版本，唯一对应一个独享队列；
[0029]执行端通过承载的每个子任务的进程，从每个子任务唯一对应的独享队列中取出子任务；
[0030]所述执行端执行所述子任务，得到子任务产物。
[0031]本专利技术的第二方面提供了一种子任务执行系统，包括：
[0032]封装单元，用于执行端承载文件处理能力，并将每个文件处理能力独立封装为子任务；
[0033]均衡划分单元，用于根据各个子任务的计量指标，将所有子任务均衡划分至执行端；
[0034]执行单元，用于所述执行端通过划分到的每个子任务的进程执行所述子任务，得到子任务产物。
[0035]本专利技术的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面任意一项提供的子任务执行方法。
[0036]本专利技术的第四方面提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项提供的子任务执行方法。
[0037]在本专利技术实施例提供的子任务执行方法中，执行端承载文件处理能力，并将每个文件处理能力独立封装为子任务，将各个文件处理能力独立封装，避免大数据量的文件在处理过程中产生混乱；
[0038]根据各个子任务的计量指标，将所有子任务均衡划分至执行端，根据各个文件处理能力的计算开销提供相应的资源，通过子任务的计量指标均衡划分至执行端，使执行文件处理能力时占用的资源和计算开销相匹配；所述执行端通过划分到的每个子任务的进程执行所述子任务，得到子任务产物；解决了相关技术中执行文件处理能力时占用的资源和计算开销不匹配的问题。
附图说明
[0039]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本专利技术实施例提供的子任务执行方法流程示意图；
[0041]图2为本专利技术实施例提供的子任务均衡划分的分组方案示意图；
[0042]图3为本专利技术实施例提供的子任务执行系统框图；
[0043]图4为本专利技术实施例提供的电子设备框图。
具体实施方式
[0044]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0045]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0046]在本专利技术中，术语“上”本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种子任务执行方法，其特征在于，包括：执行端承载文件处理能力，并将每个文件处理能力独立封装为子任务；根据各个子任务的计量指标，将所有子任务均衡划分至执行端；所述执行端通过划分到的每个子任务的进程执行所述子任务，得到子任务产物。2.根据权利要求1所述的方法，其特征在于，所述执行端承载文件处理能力，包括：一个执行端承载一个或多个文件处理能力。3.根据权利要求1所述的方法，其特征在于，所述根据各个子任务的计量指标，将所有子任务均衡划分至执行端，包括：将占用GPU的子任务单独划分至一个执行端；根据各个子任务的计算量、调用量、计算开销、计算的频次和耗时，将所有子任务均衡划分至各个执行端。4.根据权利要求1所述的方法，其特征在于，在将所有子任务均衡划分至执行端之后，所述方法还包括：子任务起一个或多个执行端实例，将所述子任务划分至相应的一个或多个执行端；利用执行端进行多节点部署或动态扩缩容。5.根据权利要求4所述的方法，其特征在于，所述利用执行端进行多节点部署包括：同时运行多个执行端实例，以实现多节点部署；所述动态扩缩容包括横向扩缩容和纵向扩缩容；所述横向扩缩容包括：起多个执行端实例；所述纵向扩缩容包括：在一个执行端实例下，根据任务量自动扩充或自动减少执行子任务的进程的数量。6.根据权利要求1所述的方法，其特征在于，在所述执行端通过划分到的每个子任务的进程执行所述子任务之前，所述方法还包括：执行端根据开源配置管理中心apollo定期更新配置；将更新配置后的执行端承载的子任...

【专利技术属性】
技术研发人员：范凌，王喆，李佳楠，赵珂飞，
申请(专利权)人：特赞上海信息科技有限公司，
类型：发明
国别省市：