公开了一种用于调度的方法和电子装置。操作被配置为确定将在加速器中执行的模型的调度器的方法包括：接收用于将在加速器中独立执行的多个模型的执行的一个或多个请求，以及基于当在加速器中执行候选层时发生的空闲时间来对所述多个模型执行逐层调度，候选层是所述多个模型中的每个模型中的调度的目标。多个模型中的每个模型中的调度的目标。多个模型中的每个模型中的调度的目标。
【技术实现步骤摘要】
用于调度的方法和电子装置
[0001]本申请要求于2020年10月14日提交到韩国知识产权局的第10
‑
2020
‑
0132759号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
[0002]下面的描述涉及具有调度的电子装置和方法。
技术介绍
[0003]随着人工智能(AI)技术发展，用于AI的硬件的使用正在增加。AI可通过运算执行推断和学习。因此，正在开发各种装置作为用于实现AI的硬件。
技术实现思路
[0004]提供本
技术实现思路
以便以简化的形式介绍将在下面的具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
[0005]在一个总体方面，一种处理器实现的方法包括：接收用于将在加速器中独立执行的多个模型的执行的各个请求，以及基于针对与排队的各个请求对应的所述多个模型中的每个模型的各个候选层的估计的空闲时间，执行各个请求的排队和所述多个模型的逐层调度以由加速器执行。
[0006]执行逐层调度的步骤可包括：选择各个候选层中的具有针对加速器的状态的估计的空闲时间之中的最小的对应的空闲时间的一个候选层。
[0007]可基于考虑以下项中的至少一个来确定加速器的状态：加速器的存储器的使用信息；加速器的运算资源将被完成的时间点与加速器的存储器访问资源将能够用于开始被使用的时间点之间的差；或所述多个模型中的每个模型的进展的状态。<br/>[0008]使用信息可以是加速器的片上存储器的整个容量、使用的容量和/或剩余容量的信息。
[0009]可实时地执行各个请求的排队的执行和所述多个模型的逐层调度。
[0010]针对各个候选层的估计的空闲时间中的每个可基于加速器的对应的运算资源的空闲时间和加速器的对应的存储器访问资源的空闲时间。
[0011]针对各个候选层中的每个候选层的对应的运算资源的空闲时间可基于以下项来确定：对应的运算资源完成先前调度的层的执行的时间点与针对先前调度的层的存储器访问资源完成执行的时间点之间的差；以及对应的存储器访问资源的执行时间。
[0012]当对应的存储器访问资源的执行时间分别大于被最新近调度的先前层的运算资源的执行时间时，针对各个候选层中的每个候选层的对应的运算资源的空闲时间可发生。
[0013]可针对各个候选层中的每个候选层的存储器访问资源的对应的空闲时间基于以下各项来确定：由于对加速器的片上存储器的大小的约束而暂停针对各个候选层中的每个候选层的存储器访问资源的执行的时间点；以及被最新近调度的先前层的运算资源的执行
被完成的时间点。
[0014]基于估计的空闲时间来执行所述多个模型的逐层调度的步骤可包括：从具有相同的最小的估计的空闲时间的多个候选层之中选择具有对应的存储器访问资源的最低空闲时间的候选层用于执行。
[0015]基于估计的空闲时间执行所述多个模型的逐层调度的步骤可包括：确定各个候选层中的候选层是否已经具有延迟执行预设次数的其他层执行时间或更多，并且可以基于确定在各个候选层的剩余候选层之前选择接下来要执行的候选层的结果。
[0016]估计的空闲时间可基于当前在加速器中执行的多个层的考虑来估计。
[0017]可独立于被接收的请求的顺序来执行所述多个模型的逐层调度的执行。
[0018]当所述多个模型中的两个或更多个在加速器中被执行时，所述多个模型中的两个或更多个可彼此没有数据依赖性。
[0019]加速器的运算资源可基于加速器的一个或多个处理元件，并且加速器的存储器访问资源可基于加速器的片上存储器和/或片外存储器。
[0020]在一个总体方面，一种非暂时性计算机可读存储介质可存储指令，所述指令在被处理器执行时使处理器执行在此描述的一个或多个或所有操作和方法。
[0021]在一个总体方面，一种非暂时性计算机可读存储介质可存储指令，所述指令在被与加速器不同的处理器执行时，可使处理器执行在此描述的调度操作和方法中任何一个、组合、或所有，并且基于使用加速器的调度使所述多个候选层进行各自的执行。
[0022]在一个总体方面，一种电子装置包括：一个或多个处理器，被配置为实时地执行用于将在加速器中独立执行的多个模型的执行的各个请求的排队，以及基于与排队的各个请求对应的多个模型中的每个模型的各个候选层的估计的空闲时间的所述多个模型的逐层调度以由加速器执行。
[0023]所述装置还可包括片外存储器，并且加速器可包括片上存储器。
[0024]为了实时执行逐层调度，所述一个或多个处理器可被配置为：选择各个候选层中的在针对加速器的状态的估计的空闲时间之中的具有最小的对应的空闲时间的一个候选层。
[0025]针对各个候选层的估计的空闲时间中的每个可基于加速器的对应的运算资源的空闲时间和加速器的对应的存储器访问资源的空闲时间。
[0026]针对各个候选层中的每个候选层的对应的运算资源的空闲时间可基于以下项来确定：对应的运算资源完成先前调度的层的执行的时间点与针对先前调度的层的存储器访问资源完成执行的时间点之间的差；以及对应的存储器访问资源的执行时间。
[0027]针对各个候选层中的每个候选层的对应的存储器访问资源的空闲时间可基于以下项来确定：由于对加速器的片上存储器的大小的约束而暂停对应的存储器访问资源的执行的时间点；以及被最新近调度的先前层的运算资源的执行被完成的时间点。
[0028]在一个总体方面，一种电子装置包括：调度器，被配置为：对用于将独立执行的多个模型的执行的多个请求进行排队，并且基于所述多个模型中的每个模型的各个候选层的估计的空闲时间，对所述多个模型执行逐层调度以由加速器执行；以及加速器，被配置为：基于由调度器执行的逐层调度来执行所述多个模型的各个层。
[0029]在一个总体方面，一种处理器实现的方法包括：执行对在加速器中请求执行的多
个模型的实时逐层调度，其中，实时逐层调度针对基于所述多个模型的多个独立候选层的估计的空闲时间，其中，在每次先前候选层已经在加速器中开始调度的执行并且候选层仍然针对多个模型被调度之后执行实时逐层调度，以及指示加速器执行所述多个独立候选层中的具有估计的空闲时间中的最低估计的空闲时间的一个或多个独立候选层。
[0030]所述方法还可包括对用于所述多个模型的执行的各个请求进行排队，以及基于排队的各个请求、加速器的状态以及所述多个模型的所述多个独立候选层的各个工作负载特性来执行逐层调度。
[0031]所述多个独立候选层的估计的空闲时间可各自基于考虑加速器的各个操作和存储器访问资源。
[0032]从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
[0033]图1a和图1b是示出根据一个或多个实施例的电子装置的示图。
[0034]图2是示出根据一个或多个实施例的加速器的示例硬件资源的示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种处理器实现的用于调度的方法，所述方法包括：接收用于在加速器中独立执行多个模型的各个请求；执行各个请求的排队；以及基于针对与排队的各个请求对应的所述多个模型中的每个模型的各个候选层的估计的空闲时间，执行所述多个模型的逐层调度以由加速器执行。2.根据权利要求1所述的方法，其中，执行逐层调度的步骤包括：选择各个候选层中的与针对加速器的状态的估计的空闲时间之中的最小的空闲时间对应的一个候选层。3.根据权利要求2所述的方法，其中，基于考虑以下项中的至少一个来确定加速器的状态：加速器的存储器的使用信息；加速器的运算资源被最新近使用的时间点与加速器的存储器访问资源将能够用于开始被使用的时间点之间的差；和所述多个模型中的每个模型的进展的状态。4.根据权利要求3所述的方法，其中，使用信息是加速器的片上存储器的整个容量、使用的容量和/或剩余容量的信息。5.根据权利要求1所述的方法，其中，各个请求的排队的执行和所述多个模型的逐层调度被实时执行。6.根据权利要求1所述的方法，其中，针对各个候选层的估计的空闲时间中的每个基于加速器的对应的运算资源的空闲时间和加速器的对应的存储器访问资源的空闲时间。7.根据权利要求6所述的方法，其中，针对各个候选层中的每个候选层的对应的运算资源的空闲时间基于以下项来确定：对应的运算资源完成先前调度的层的执行的时间点与针对先前调度的层的存储器访问资源完成执行的时间点之间的差；以及对应的存储器访问资源的执行时间。8.根据权利要求6所述的方法，其中，当对应的存储器访问资源的执行时间大于被最新近调度的先前层的运算资源的执行时间时，针对各个候选层中的每个候选层的对应的运算资源的空闲时间发生。9.根据权利要求6所述的方法，其中，针对各个候选层中的每个候选层的对应的存储器访问资源的空闲时间基于以下项来确定：由于对加速器的片上存储器的大小的约束而暂停针对各个候选层中的每个候选层的存储器访问资源的执行的时间点；以及被最新近调度的先前层的运算资源的执行被完成的时间点。10.根据权利要求1所述的方法，其中，基于估计的空闲时间来执行所述多个模型的逐层调度的步骤包括：从具有相同的最小的估计的空闲时间的多个候选层之中选择具有对应的存储器访问资源的最低空闲时间的候选层用于执行。11.根据权利要求1所述的方法，其中，基于估计的空闲时间执行所述多个模型的逐层调度的步骤包括：确定各个候选层之中的第一候选层是否被延迟预设数量的次数或更多，...
【专利技术属性】
技术研发人员：李承昱，吴永晥，李宰旭，孙森，陈润湖，咸台俊，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。