执行调度的方法及终端技术

在本发明专利技术的一优选实施例中，单个终端通过执行调度以使异构处理器处理来自复数个应用的请求。为此，终端包括：分析单元，其以单元单位对来自应用的请求进行分区并生成子图；资料收集单元，其用于预测可执行所述子图的至少一个处理器的可用频率的运算执行时间；以及调度器，其基于所述应用的请求及所述运算执行时间执行调度。执行调度。执行调度。

【技术实现步骤摘要】
执行调度的方法及终端


[0001]本专利技术涉及一种利用异构处理器的终端同时推理复数个深层神经网络时执行调度的方法。

技术介绍

[0002]利用深层神经网络(Deep Neural Network，DNN)模型的计算机视觉、自然语言处理、虚拟现实等人工智能服务市场正在快速成长。但是，利用异构处理器的终端同时推理复数个深层神经网络时，存在无法支持调度的问题。由此，产生干涉现象，且发生资源竞争的问题。
[0003]此外，利用移动设备推理深层神经网络时，存在如下问题：只使用初期阶段指定的处理器，而不能依据目前处理器的占用与否，将运算请求处理移交至其它处理器。
[0004]【在先技术文献】
[0005]【专利文献】
[0006](专利文献1)KR10
‑
2019
‑
0136431

技术实现思路

[0007]本专利技术的一优选实施例的目的在于，提供一种终端执行调度的方法，以推理多层深层神经网络。更详细地，本专利技术目的在于，单个终端执行调度，以在异构处理器实现对从复数个应用接收的深层学习运算进行处理。此外，本专利技术目的在于，通过异构处理器中可利用的频率信息来进行调度。
[0008]技术方案
[0009]在本专利技术的一优选实施例中,执行调度的终端包括：分析单元，其以单元(unit)为基准对来自至少一个应用的请求(request)进行分区并生成至少一个子图；资料收集单元，其接收所述至少一个子图，并分别针对可执行所接收的子图的至少一个处理器的至少一个频率，预测并储存运算执行时间；调度器，其基于从所述至少一个应用接收的请求及根据所述不同子图储存的至少一个运算执行时间，选择子图和处理器。
[0010]在本专利技术的一优选实施例中,所述调度器向所述资料收集单元请求并接收至少一个处理器的各个当前频率对应的运算执行时间，且基于所述当前频率对应的已预测运算执行时间，选择子图和处理器。
[0011]在本专利技术的一优选实施例中,所述调度器包括：多级队列，其以单元形态对从至少一个应用分别接收的请求进行划分，并基于所述请求中所包含的策略，插入到持有所述策略的队列中；以及调度策略单元，其针对持有所述策略的队列内待处理的单元，选择适于处理所述待处理的单元的子图和处理器。
[0012]在本专利技术的一优选实施例中，所述多级队列由复数个队列构成，复数个队列分别持有策略，当持有多个策略时，根据不同预设策略的优先顺序，选择策略和队列。
[0013]在本专利技术的一优选实施例中，执行调度的终端包括异构处理器，所述异构处理器
包括CPU、NPU、GPU中至少两个。
[0014]在本专利技术的一优选实施例中，所述分析单元以所述单元为基准对所述请求进行分区并分为复数个单元，且基于可分别处理分离后的复数个单元的至少一个处理器的类型，推导出复数个子图序列，并且基于所述处理器的类型，当所述子图序列内存在连续的不同单元时，对其进行合并并生成至少一个子图。
[0015]在本专利技术的一优选实施例中，当所述子图序列内连续布置的不同单元可在同一处理器中处理时，进行合并。
[0016]在本专利技术的一优选实施例中，相同单元内的运算可在同一处理器中处理。
[0017]在本专利技术的一优选实施例中，所述资料收集单元在每个所述子图可利用的至少一个处理器中，分别针对所述至少一个处理器可利用的至少一个频率，预测并储存运算执行时间。
[0018]在本专利技术的一优选实施例中，终端执行调度的方法，包括以下步骤：分析单元以单元(unit)为基准对来自至少一个应用的请求(request)进行分区并生成至少一个子图；所述分析单元向资料收集单元传输所述至少一个子图，并向调度器传输以单元为基准对所述请求进行分区的复数个单元；以及所述调度器将所接收的所述复数个单元插入到持有对应所述请求的策略的队列中，并针对所述队列中待处理的(pending)单元，基于所述策略进行调度，以选择用于处理所述待处理的单元的子图和处理器，所述资料收集单元分别针对每个所述至少一个子图可利用的至少一个处理器的至少一个频率，预测并储存运算执行时间。
[0019]在本专利技术的一优选实施例中，如果所述调度器从至少一个应用接收到请求，则向所述资料收集单元请求并接收该接收请求的时间点上的至少一个处理器的各个频率对应的运算执行时间，基于此，针对所述队列中待处理的单元，选择适于处理所述待处理的单元的子图和处理器。
[0020]在本专利技术的一优选实施例中，如果所述调度器在异构处理器中感测到空闲的处理器，则通过进行调度来选择所述子图和处理器。
[0021]有益效果
[0022]作为本专利技术的一优选实施例，终端执行调度的方法具有在异构处理器中有效地对从多个应用接收的深层神经网络运算请求进行调度并处理的效果。
[0023]在本专利技术的一优选实施例中，通过以下方法，具有减少不必要的加速处理器的请求次数的效果，该方法将从应用接收的运算中可在同一处理器中处理的、相邻的运算以单元单位进行组合并执行运算计划，当单元可在同一处理器中再次处理时，将其合并并生成子图。
附图说明
[0024]图1作为本专利技术的一优选实施例，示出了利用异构处理器执行调度的终端的内部结构图。
[0025]图2作为本专利技术的一优选实施例，示出了将分析单元接收的请求分区为单元的一示例。
[0026]图3和图4作为本专利技术的一优选实施例，示出了基于图2的复数个单元可推导出的
子图序列。
[0027]图5作为本专利技术的一优选实施例，示出了通过图4的子图序列推导出的子图。
[0028]图6和图10作为本专利技术的一优选实施例，示出了调度器选择子图和处理器的一示例。
[0029]图7作为本专利技术的一优选实施例，示出了调度器的工作方法的一示例。
[0030]图8作为本专利技术的一优选实施例，示出了在资料收集单元与调度器间收发运算执行时间的一示例。
[0031]图9作为本专利技术的一优选实施例，示出了终端利用异构处理器执行调度的流程图。
具体实施方式
[0032]图1作为本专利技术的一优选实施例，示出了利用异构处理器执行调度的终端的内部结构图。
[0033]作为本专利技术的一优选实施例，终端100包括异构处理器180、192、184及186。异构处理器180、192、184及186可以是应用于移动装置中的应用处理器(Application Processor，AP)，包括CPU、GPU、NPU等。此外，终端100可进一步包括随机访问存储器(Ramdom Access memory，RAM)、存储器通信单元等。终端100包括移动装置、智能手机、智能电视、智能手表、笔记本电脑、物联网(Internet of Things，IoT)、手持式装置、可穿戴式装置、机器人、无人机等。
[0034]参照图1，终端100包括分析单元110、资料收集单元120(profiling unit)及调度器130(schedular本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种执行调度的终端，包括：分析单元，其以单元(unit)为基准对来自至少一个应用的请求(request)进行分区并生成至少一个子图；资料收集单元，其接收所述至少一个子图，并分别针对可执行所接收的子图的至少一个处理器的至少一个频率，预测并储存运算执行时间；调度器，其基于从所述至少一个应用接收的请求及根据所述不同子图储存的至少一个运算执行时间，选择子图和处理器。2.如权利要求1所述的执行调度的终端，其特征在于，所述调度器向所述资料收集单元请求并接收至少一个处理器的各个当前频率对应的运算执行时间，且基于所述当前频率对应的已预测的运算执行时间，选择子图和处理器。3.如权利要求1所述的执行调度的终端，其特征在于，所述调度器包括：多级队列，其以单元形态对从至少一个应用分别接收的请求进行划分，并基于所述请求中所包含的策略，插入持有所述策略的队列中；以及调度策略单元，其针对持有所述策略的队列内待处理的单元，选择适于处理所述待处理的单元的子图和处理器。4.如权利要求3所述的执行调度的终端，其特征在于，所述多级队列由复数个队列构成，复数个队列分别持有策略，当持有多个策略时，根据不同预设策略的优先顺序，选择策略和队列。5.如权利要求1所述的执行调度的终端，其特征在于，所述终端包括异构处理器，所述异构处理器包括CPU、NPU、GPU中至少两个。6.如权利要求1所述的执行调度的终端，其特征在于，所述分析单元以所述单元为基准对所述请求进行分区并分为复数个单元，且基于可分别处理分离后的复数个单元的至少一个处理器的类型，推导出复数个子图序列，并且基于所述处理器的类型，当所述子图序列内存在连续的不同单元时，对其进行合并并生成至少一个子图。7.如权利要求6所述的执行调度的终端，其特征在于，当所述子图序列内连续的不同单元可在同一处理器中处理时，进行合并。8.如权利要求1所述的执行调度的终端，其特征在于，相同单元内的运算可在同一处理器中处理。9.如权利要求1所述的执行调度的终端，其特...

【专利技术属性】
技术研发人员：李荣基，郑昌珍，李镇圭，田昌旼，郑主成，田炳坤，金东炫，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：