一种任务处理方法及任务处理装置制造方法及图纸

本发明专利技术实施例公开了一种任务处理方法，包括：采集到至少一个目标执行任务，获取所述至少一个目标执行任务的内存访问地址；基于每一所述目标执行任务的内存访问地址确定出每一所述目标执行任务的物理访问地址；其中，所述目标执行任务由至少两个不同的中央处理器运行；所述物理访问地址表征运行所述目标执行任务的至少两个中央处理器的处理器标识；至少利用物理访问地址所表征的处理器标识确定出所述目标执行任务在不同中央处理器的数据分布比例，基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，以便于将所述至少一个目标执行任务的全部数据运行于同一中央处理器中。本发明专利技术实施例还公开了一种任务处理装置。

Task processing method and task processing device

The embodiment of the invention discloses a task processing method, including: collecting task execution at least one target, obtain the at least one target task execution memory access address; memory access address each of the target task to determine each of the physical target task access addresses based on them; the goal of the mission, by at least two different CPU operation; access address characterization running the at least two central processor to perform the task goal of the physical processor identifier; at least using physical access address represented by the processor ID determined that the target task distribution proportion in different CPU data based on the data, the distribution ratio to determine whether at least one of the target task data migration processing, in order to facilitate the at least The entire data of an object performing a task is run in the same central processor. The embodiment of the invention also discloses a task processing device.

【技术实现步骤摘要】
一种任务处理方法及任务处理装置
本专利技术涉及任务处理技术，尤其涉及一种任务处理方法及任务处理装置。
技术介绍
计算环境中，非统一内存访问架构(NUMA，NonUniformMemoryAccessArchitecture)对性能带来较大挑战，例如，常会出现跨处理器(也即NUMA节点)之间的频繁内存访问。实际应用中，跨节点的内存访问会增大NUMA系统的开销，常会出现NUMA系统大多NUMA节点中中央处理器(CPU)占用较多，进而降低了系统性能。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例提供了一种任务处理方法及任务处理装置，能至少解决现有技术中存在的上述问题。本专利技术实施例的技术方案是这样实现的：本专利技术实施例第一方面提供了一种任务处理方法，包括：采集到至少一个目标执行任务，获取所述至少一个目标执行任务的内存访问地址；基于每一所述目标执行任务的内存访问地址确定出每一所述目标执行任务的物理访问地址；其中，所述目标执行任务由至少两个不同的中央处理器运行；所述物理访问地址表征运行所述目标执行任务的至少两个中央处理器的处理器标识；至少利用物理访问地址所表征的处理器标识确定出所述目标执行任务在不同中央处理器的数据分布比例，基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，以便于将所述至少一个目标执行任务的全部数据运行于同一中央处理器中。上述方案中，所述采集到至少一个目标执行任务，包括：采集到至少一个执行任务，对所述至少一个执行任务进行筛选，并筛选出满足预设规则的至少一个目标执行任务；其中，所述预设规则表征执行任务的访问延时数据大于第一阈值；或者，表征执行任务的目标参数满足预设条件。上述方案中，所述数据分布比例表征所述目标执行任务在所述至少两个中央处理器中第一中央处理器运行的总数据量与在所述至少两个中央处理器中其他中央处理器运行的总数据量的分布比例；对应地，所述基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，包括：判断数据分布比例是否小于第二阈值；确定小于所述第二阈值时，对所述至少一个目标执行任务进行数据迁移处理。上述方案中，所述对所述至少一个目标执行任务进行数据迁移处理，包括：对所述至少一个目标执行任务中的至少部分数据所运行的内存访问地址进行迁移；或者，对所述至少一个目标执行任务对应的进程进行迁移。本专利技术实施例第二方面提供了一种任务处理装置，包括：处理器，用于采集到至少一个目标执行任务，获取所述至少一个目标执行任务的内存访问地址；基于每一所述目标执行任务的内存访问地址确定出每一所述目标执行任务的物理访问地址；其中，所述目标执行任务由至少两个不同的中央处理器运行；所述物理访问地址表征运行所述目标执行任务的至少两个中央处理器的处理器标识；计数器，用于至少利用物理访问地址所表征的处理器标识确定出所述目标执行任务在不同中央处理器的数据分布比例；对应地，所述处理器，还用于基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，以便于将所述至少一个目标执行任务的全部数据运行于同一中央处理器中。上述方案中，所述处理器，还用于采集到至少一个执行任务，对所述至少一个执行任务进行筛选，并筛选出满足预设规则的至少一个目标执行任务；其中，所述预设规则表征执行任务的访问延时数据大于第一阈值；或者，表征执行任务的目标参数满足预设条件。上述方案中，所述数据分布比例表征所述目标执行任务在所述至少两个中央处理器中第一中央处理器运行的总数据量与在所述至少两个中央处理器中其他中央处理器运行的总数据量的分布比例；对应地，所述处理器，还用于判断数据分布比例是否小于第二阈值；确定小于所述第二阈值时，对所述至少一个目标执行任务进行数据迁移处理。上述方案中，所述处理器，还用于对所述至少一个目标执行任务中的至少部分数据所运行的内存访问地址进行迁移；或者，对所述至少一个目标执行任务对应的进程进行迁移。上述方案中，所述处理器，还用于基于每一所述目标执行任务的内存访问地址确定出所述目标执行任务的物理页标识；基于物理页标识确定出每一所述目标执行任务的物理访问地址。本专利技术实施例所述的任务处理方法及任务处理装置，在采集到至少一个目标执行任务后，通获取该目标执行任务的内存访问地址来确定出目标执行任务的物理访问地址，进而利用物理访问地址来确定出目标执行任务在不同中央处理器的数据分布比例，如此，基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，以便于将所述至少一个目标执行任务的全部数据运行于同一中央处理器中，因此，本专利技术实施例为实现高效性能奠定了基础。而且，本专利技术实施例是基于目标执行任务在不同中央处理器的数据分布比例来确定是否进行数据迁移的，与现有利用模拟缺页方式观测跨节点访问来源的方式相比，本专利技术实施例无需模拟缺页异常，所以避免了因为操作系统维护数据结构识别是否真的缺页而导致统计出的信息不准确的问题，也就是说，与现有利用模拟缺页方式观测跨节点访问来源的方式相比，本专利技术实施例更加高效准确。附图说明图1为本专利技术实施例任务处理方法的实现流程示意图；图2为本专利技术实施例任务处理方法中任务迁移前和任务迁移后的对比图；图3为本专利技术实施例任务处理装置的组成结构示意图。具体实施方式为了能够更加详尽地了解本专利技术的特点与
技术实现思路
，下面结合附图对本专利技术的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本专利技术。实施例一本实施例提供了一种任务处理方法；所述方法可以具体应用于任务处理装置，这里，所述任务处理装置连接或设置有多个中央处理器，例如，所述任务处理装置设置或连接有多个NUMA节点，这样，当多个NUMA节点执行任务时，所述任务管理装置能够监控跨节点的内存访问情况，即监控哪些进程或者哪些内存区域频繁出现跨节点的内存访问，进而借助内存或者进程迁移框架对跨节点访问的任务进行迁移处理，以便于控制一个任务对应的运行数据运行于同一节点中，进而为实现高效性能奠定基础。具体地，图1为本专利技术实施例任务处理方法的实现流程示意图；如图1所示，所述方法包括：步骤101：采集到至少一个目标执行任务，获取所述至少一个目标执行任务的内存访问地址；在一具体实施例中，所述任务处理装置并非对所有执行任务都进行节点监控，而是有针对性的对特定任务进行监控，具体地，所述任务处理装置采集到至少一个执行任务后，先对所述至少一个执行任务进行筛选，筛选出满足预设规则任务作为目标执行任务，进而得到至少一个目标执行任务。这里，所述预设规则可以具体表征执行任务的访问延时数据大于第一阈值，例如大于3clock；或者，所述预设规则表征执行任务的目标参数满足预设条件，例如执行任务的内存节点号表征为预设内存，或执行任务的进程号表征为预设进程，这里，在实际应用中，可以将频繁出现跨节点内存访问的进程或内存区域作为预设进程，或者预设内存，进而通过上述方式筛选出目标执行任务。当然，在实际应用中，还可以根据实际需求按照其他方式进行筛选，本实施例对此不作限制。步骤102：基于每一所述目标执行任务的内存访问地址确定出每一所述目标执行任务的物理访问地址；其中，所述目标执行任务由至少两个不同的中央处理器运行；所述物理访问地址表征运行所述目标执行任务的至少两个中央处理器的处理器标识；本实施例中，本文档来自技高网...

【技术保护点】
一种任务处理方法，其特征在于，所述方法包括：采集到至少一个目标执行任务，获取所述至少一个目标执行任务的内存访问地址；基于每一所述目标执行任务的内存访问地址确定出每一所述目标执行任务的物理访问地址；其中，所述目标执行任务由至少两个不同的中央处理器运行；所述物理访问地址表征运行所述目标执行任务的至少两个中央处理器的处理器标识；至少利用物理访问地址所表征的处理器标识确定出所述目标执行任务在不同中央处理器的数据分布比例，基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，以便于将所述至少一个目标执行任务的全部数据运行于同一中央处理器中。

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：采集到至少一个目标执行任务，获取所述至少一个目标执行任务的内存访问地址；基于每一所述目标执行任务的内存访问地址确定出每一所述目标执行任务的物理访问地址；其中，所述目标执行任务由至少两个不同的中央处理器运行；所述物理访问地址表征运行所述目标执行任务的至少两个中央处理器的处理器标识；至少利用物理访问地址所表征的处理器标识确定出所述目标执行任务在不同中央处理器的数据分布比例，基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，以便于将所述至少一个目标执行任务的全部数据运行于同一中央处理器中。2.根据权利要求1所述的方法，其特征在于，所述采集到至少一个目标执行任务，包括：采集到至少一个执行任务，对所述至少一个执行任务进行筛选，并筛选出满足预设规则的至少一个目标执行任务；其中，所述预设规则表征执行任务的访问延时数据大于第一阈值；或者，表征执行任务的目标参数满足预设条件。3.根据权利要求1所述的方法，其特征在于，所述数据分布比例表征所述目标执行任务在所述至少两个中央处理器中第一中央处理器运行的总数据量与在所述至少两个中央处理器中其他中央处理器运行的总数据量的分布比例；对应地，所述基于数据分布比例确定是否对所述至少一个目标执行任务进行数据迁移处理，包括：判断数据分布比例是否小于第二阈值；确定小于所述第二阈值时，对所述至少一个目标执行任务进行数据迁移处理。4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述至少一个目标执行任务进行数据迁移处理，包括：对所述至少一个目标执行任务中的至少部分数据所运行的内存访问地址进行迁移；或者，对所述至少一个目标执行任务对应的进程进行迁移。5.根据权利要求1所述的方法，其特征在于，所述基于每一所述目标执行任务的内存访问地址确定出每一所述目标执行任务的物理访问地址，包括：基于每一所述目标执行任务的内存访问地址确定出所述目标执行任务的物理页标识；基于物理...

【专利技术属性】
技术研发人员：杨立中，汤文军，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11