一种任务执行方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种任务执行方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及云计算技术领域。具体实现方案为：获得分布式计算系统中各台设备的第一物理拓扑，其中，第一物理拓扑为：设备中计算单元间的拓扑；获得分布式计算系统中设备间的第二物理拓扑；根据第一物理拓扑和第二物理拓扑，生成分布式计算系统中计算单元间的总物理拓扑；获得应用程序对应的任务执行单元间的通信拓扑；对总物理拓扑和通信拓扑进行拓扑映射，并基于映射结果为应用程序对应的任务执行单元分配计算资源，以使得各任务执行单元基于所分配的资源执行任务。应用本公开实施例提供的方案能够实现为应用程序提供分布式计算系统中的计算资源。用程序提供分布式计算系统中的计算资源。用程序提供分布式计算系统中的计算资源。

【技术实现步骤摘要】
一种任务执行方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及云计算


技术介绍

[0002]由于分布式计算系统能够提供丰富的计算资源，因此，越来越多的大规模应用程序部署于分布式计算系统，基于分布式计算系统中的各个设备执行应用程序的各项任务。
[0003]为保证应用程序的各项任务顺利执行，需要针对各项任务分配计算资源。

技术实现思路

[0004]本公开提供了一种任务执行方法、装置、设备及存储介质。
[0005]根据本公开的一方面，提供了一种任务执行方法，包括：
[0006]获得分布式计算系统中各台设备的第一物理拓扑，其中，所述第一物理拓扑为：设备中计算单元间的拓扑；
[0007]获得所述分布式计算系统中设备间的第二物理拓扑；
[0008]根据所述第一物理拓扑和第二物理拓扑，生成所述分布式计算系统中计算单元间的总物理拓扑；
[0009]获得应用程序对应的任务执行单元间的通信拓扑；
[0010]对所述总物理拓扑和通信拓扑进行拓扑映射，并基于映射结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务执行方法，包括：获得分布式计算系统中各台设备的第一物理拓扑，其中，所述第一物理拓扑为：设备中计算单元间的拓扑；获得所述分布式计算系统中设备间的第二物理拓扑；根据所述第一物理拓扑和第二物理拓扑，生成所述分布式计算系统中计算单元间的总物理拓扑；获得应用程序对应的任务执行单元间的通信拓扑；对所述总物理拓扑和通信拓扑进行拓扑映射，并基于映射结果为所述应用程序对应的任务执行单元分配计算资源，以使得各任务执行单元基于所分配的资源执行任务。2.根据权利要求1所述的方法，其中，所述获得分布式计算系统中各台设备的第一物理拓扑，包括：按照以下方式获得分布式计算系统中每一台设备的第一物理拓扑：探测设备中存在的计算单元以及各计算单元间的通信链路；以各计算单元为节点，并以计算单元间的通信链路为边，构建第一拓扑；获得各计算单元的计算能力表征值，并获得各通信链路的通信能力表征值；基于所获得的计算能力表征值设置所述第一拓扑中节点的属性，并基于所获得的通信能力表征值设置所述第一拓扑中边的属性，得到第一物理拓扑。3.根据权利要求2所述的方法，其中，所述获得各计算单元的计算能力表征值，包括：获得各计算单元的算力信息，将各计算单元的算力信息作为各计算单元的计算能力表征值；和/或所述获得各通信链路的通信能力表征值，包括：针对各通信链路获得以下信息中的至少一种，将所获得的信息确定为各通信链路的通信能力表征值：通信链路的链路带宽；通信链路的通信延迟；通信链路连接的计算单元间的物理距离。4.根据权利要求1所述的方法，其中，所述获得所述分布式计算系统中设备间的第二物理拓扑，包括：探测所述分布式计算系统中存在的设备以及各设备间的通信链路；以各设备为节点，并以各设备间的通信链路为边，构建第二拓扑；获得所述分布式计算系统中设备的IP地址；获得基于所获得的IP地址、通过路由追踪方式确定的所述分布式计算系统中设备间的跳数；基于所获得的跳数设置所述第二拓扑中边的属性，得到所述分布式计算系统中设备间的第二物理拓扑。5.根据权利要求1所述的方法，其中，所述获得应用程序对应的任务执行单元间的通信拓扑，包括：
获得应用程序对应的任务执行单元间的通信数据；根据所获得的通信数据，确定任务执行单元间的通信链路、任务执行单元的计算资源需求量和任务执行单元间的通信数据量；以各任务执行单元为节点，并以各任务执行单元间的通信链路为边，构建第三拓扑；基于所获得的计算资源需求量设置所述第三拓扑中节点的属性，并基于所获得的通信数据量设置所述第三拓扑中边的属性，得到所述应用程序对应的任务执行单元间的通信拓扑。6.根据权利要求5所述的方法，其中，所述获得应用程序对应的任务执行单元间的通信数据，包括：根据以下方式中的至少一种，获得应用程序对应的任务执行单元间的通信数据：获得预设的数据收集工具收集的所述应用程序运行过程中产生的任务执行单元间的通信数据；接收通信库在目标时间段内通过预设的数据发送接口发送的目标通信数据，将接收的目标通信数据确定为所述应用程序对应的任务执行单元间的通信数据，其中，所述目标时间段为：从所述应用程序启动至结束之间的时间段，所述目标通信数据为：所述通信库通过预设的数据抓取接口实时抓取的任务执行单元间进行通信产生的数据；获得用户提供的所述应用程序对应的任务执行单元间的通信数据。7.根据权利要求1所述的方法，其中，所述获得应用程序对应的任务执行单元间的通信拓扑，包括：从预存的通信拓扑中，获得应用程序对应的任务执行单元间的通信拓扑，其中，所述预存的通信拓扑包括：根据预先存储的所述应用程序所对应任务执行单元间的通信数据预先生成的任务执行单元间的通信拓扑。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述应用程序对应的任务执行单元包括：进程和/或进程中创建的线程。9.一种任务执行装置，包括：第一物理拓扑获得模块，用于获得分布式计算系统中各台设备的第一物理拓扑，其中，所述第一物理拓扑为：设备中计算单元间的拓扑；第二物理拓扑获得模块，用于获得所述分布式计算系统中设备间的第二物理拓扑；总物理拓扑获得模块，用于根据所述第一物理拓扑和第二物理拓扑，生成所述分布式计算系统中计算单元间的总物理拓扑；通信拓扑获得模块，用于获得应用程序对应的任务执行单元间的通信拓扑；拓扑映射模块，用于对所述总物理拓扑和通信拓扑进行拓扑映射，并基于映射结果为所述应用程序对应的...

【专利技术属性】
技术研发人员：常韬，孙鹏，黎世勇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：