一种作业的处理方法、设备及介质技术

本申请提供了一种作业的处理方法、设备及介质，涉及计算机技术领域，该方法包括接收待处理的作业，该作业包括多个计算任务，多个计算任务中的每个计算任务对应至少一个算子，然后根据算子与计算单元的对应关系，确定多个计算任务中每个计算任务对应的计算单元，当多个计算任务中的第一计算任务和第二计算任务对应的计算单元的类型不同时，根据作业的输入规模，确定计算单元的计算模式，接着将多个计算任务调度至对应的计算单元，并通过计算单元按照计算模式对作业进行处理。因此，该方法能够提高作业的处理效率，进而提高人工智能模型的推理效率。推理效率。推理效率。

【技术实现步骤摘要】
一种作业的处理方法、设备及介质


[0001]本申请涉及计算机
，尤其涉及一种作业的处理方法、设备、计算机存储介质及计算机程序产品。

技术介绍

[0002]随着计算机技术尤其是人工智能（artificial intelligence，AI）技术的发展，AI应用已经广泛用于目标检测、语音识别、人脸识别等领域。AI应用通常是基于AI模型，例如是深度神经网络模型进行推理，以实现相应的功能。利用深度神经网络模型在进行推理过程中，需要大量的计算资源来对推理作业进行处理。一般地，中央处理器（central processing unit，CPU）、图形处理器（graphics processing unit，GPU）、现场可编程逻辑门阵列（field programmable gate array，FPGA）、专用集成电路（application specific integrated circuit，ASIC）等计算单元能够提供计算资源。
[0003]目前，利用深度神经网络模型在进行推理过程中，通过异构计算的方式对推理作业进行处理，如利用多种计算单元对该推理作业进行协同处理。通常情况下，通过异构计算的方式对推理作业进行协同处理的过程较为固定，例如将推理作业中计算量较大的计算任务（例如利用卷积层提取特征的任务）加载到算力较好的计算单元如GPU进行处理，将推理作业中计算量较小的计算任务（例如进行加减法运算的任务）加载到算力较差的计算单元如CPU进行处理。
[0004]然而，通过异构计算的方式对推理作业进行处理的效率较差。因此，如何提供一种作业的处理方法，提高人工智能模型的推理效率，是业界重点关注的问题。

技术实现思路

[0005]本申请目的在于：提供一种作业的处理方法、设备、计算机存储介质及计算机程序产品，提高作业的处理效率，进而提高AI模型的推理效率。
[0006]本申请技术方案如下：第一方面，本申请提供了一种作业的处理方法，该方法可以由计算设备执行，计算设备可以包括多种不同的计算单元，例如，计算设备可以包括CPU、GPU、DSP等计算单元，用于对作业进行处理，还包括用于在运行时存储参数、梯度等信息的内存，还包括用于持久存储网络模型或者是模型参数的后端存储系统，还包括用于进行网络数据传输的网络接口控制器，用于接收待处理的作业，如包括多个计算任务的作业，多个计算任务中的每个计算任务对应至少一个算子。具体地，该方法包括：计算设备接收上述待处理的作业，然后根据算子与计算单元的对应关系，确定多个计算任务中每个计算任务对应的计算单元，当多个计算任务中的第一计算任务和第二计算任务对应的计算单元的类型不同时，根据作业的输入规模，确定计算单元的计算模式，最后将多个计算任务调度至对应的计算单元，并通过计算单元按照确定的计算模式，对作业进行处理。
[0007]计算设备在对待处理的作业进行处理过程中，不仅考虑了该待处理的作用中计算任务，而且还考虑了作业的输入规模，利用与计算任务对应的计算单元，对该计算任务进行处理时，能够使计算单元以较高的效率对该计算任务进行处理。并且，基于作业的输入规模，确定计算单元的计算模式，能够有效权衡同步模式下的拷贝时延与异步模式下的竞争时延，进而通过时延较短的计算模式对作业进行处理，能够缩短对作业处理的耗时，提高异构计算的计算效率，进而提高对作业进行处理的处理效率。
[0008]在一些可能的实现方式中，作业的输入规模可以通过作业的输入数据的批尺寸表征，当该输入数据的批尺寸小于或等于第一预设阈值时，确定计算单元的计算模式为异步模式；当该输入数据的批尺寸大于第一预设阈值时，确定计算单元的计算模式为同步模式。其中上述第一预设阈值可以基于计算设备分别采用异步模式和同步模式对同一个作业进行处理，确定两种模式的耗时相同时，作业的输入规模为上述第一预设阈值。如此，基于输入数据的批尺寸和第一预设阈值进行比较后，选择耗时较短的计算模式，可以有效提高计算设备处理作业的效率。
[0009]在一些可能的实现方式中，当输入规模的批尺寸大于第二预设阈值时，将输入数据的批尺寸降低至小于或等于该第二预设阈值，该第二预设阈值大于上述第一预设阈值。其中，第二预设阈值可以基于预设耗时确定，第二预设阈值与该预设耗时正相关，当预设耗时较大时，第二预设阈值越大；当预设耗时较小时，第二预设阈值越小。预设耗时可以是可接受的最大耗时。如此，计算设备可以在输入规模的批尺寸较大时，将作业进行分批处理，减少不同计算任务之间的竞争，从而进一步提高作业进行处理的处理效率。
[0010]在一些可能的实现方式中，计算单元的核数不同时，计算设备采用不同的处理方式。具体地，当计算单元的核数为单核时，通过计算单元按照计算模式对作业进行串行处理，从而减少竞争延时，提高处理效率；当计算单元的核数为多核时，通过计算单元按照计算模式对作业进行并行处理，从而减少处理耗时，提高处理效率。
[0011]在一些可能的实现方式中，当多个计算任务中的第一计算任务和第二计算任务对应的计算单元的类型为预设类型时，例如均为GPU时，将多个计算任务调度到该GPU，通过GPU对作业进行处理，当然，预设类型为CPU时，将多个计算任务调度到CPU，通过CPU对作业进行处理。
[0012]在一些可能的实现方式中，计算单元设置有运行队列，运行队列包括至少一个计算任务，其中，计算单元在每个处理周期从运行队列取出的计算任务个数小于或等于计算单元的核数，如此能够避免不同的计算任务之间的竞争，从而减少竞争时延，进一步提高处理效率。
[0013]在一些可能的实现方式中，计算设备可以将多个计算任务中的第一计算任务加入到第一计算单元对应的第一运行队列，将多个计算任务中的第二计算任务加入到第二计算单元对应的第二运行队列，然后从第一运行队列中取出第一计算任务，按照计算模式对该第一计算任务进行处理，当第一计算单元完成对该第一计算任务的处理后，从第二运行队列中取出第二计算任务，按照计算模式对该第二计算任务进行处理，从而保证同一批作业中多个计算任务按照预设处理顺序被处理。
[0014]第二方面，本申请提供了一种作业的处理装置，该作业的处理装置包括：接收模块，用于接收待处理的作业，所述作业包括多个计算任务，所述多个计算任
务中的每个计算任务对应至少一个算子；计算单元确定模块，用于根据算子与计算单元的对应关系，确定所述多个计算任务中每个计算任务对应的计算单元；计算模式确定模块，用于当所述多个计算任务中的第一计算任务和第二计算任务对应的计算单元的类型不同时，根据所述作业的输入规模，确定所述计算单元的计算模式；处理模块，用于将所述多个计算任务调度至对应的计算单元，并通过所述计算单元按照所述计算模式对所述作业进行处理。
[0015]在一些可能的实现方式中，所述输入规模通过输入数据的批尺寸表征；所述计算模式确定模块，用于当所述输入数据的批尺寸小于或等于第一预设阈值时，确定所述计算单元的计算模式为异步模式。
[0016]在一些可能的实现方式中，所述输入规模通过输入数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业的处理方法，其特征在于，包括：接收待处理的作业，所述作业包括多个计算任务，所述多个计算任务中的每个计算任务对应至少一个算子；根据算子与计算单元的对应关系，确定所述多个计算任务中每个计算任务对应的计算单元；当所述多个计算任务中的第一计算任务和第二计算任务对应的计算单元的类型不同时，根据所述作业的输入规模，确定所述计算单元的计算模式；将所述多个计算任务调度至对应的计算单元，并通过所述计算单元按照所述计算模式对所述作业进行处理。2.根据权利要求1所述的方法，其特征在于，所述输入规模通过输入数据的批尺寸表征；所述根据所述作业的输入规模，确定所述计算单元的计算模式，包括：当所述输入数据的批尺寸小于或等于第一预设阈值时，确定所述计算单元的计算模式为异步模式。3.根据权利要求1所述的方法，其特征在于，所述输入规模通过输入数据的批尺寸表征；所述根据所述作业的输入规模，确定所述计算单元的计算模式，包括：当所述输入数据的批尺寸大于第一预设阈值时，确定所述计算单元的计算模式为同步模式。4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：当所述输入数据的批尺寸大于第二预设阈值时，将所述输入数据的批尺寸降低至小于或等于所述第二预设阈值，所述第二预设阈值大于所述第一预设阈值。5.根据权利要求1所述的方法，其特征在于，所述通过所述计算单元按照所述计算模式对所述作业进行处理，包括：当所述计算单元的核数为单核时，通过所述计算单元按照所述计算模式对所述作业进行串行处理。6.根据权利要求1所述的方法，其特征在于，所述通过所述计算单元按照所述计算模式对所述作业进行处理，包括：当所述计算...

【专利技术属性】
技术研发人员：邸皓轩，李丹洪，张晓武，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：