计算装置和处理器实现的方法制造方法及图纸

公开了一种计算装置和处理器实现的方法。所述计算装置包括：多个处理核；和区块调度器，被配置为：基于先前分配给所述多个处理核的第一区块中的每个的元信息和每个第二区块的元信息，更新所述多个处理核中的每个的成本矩阵，并且使用所述多个处理核中的每个的更新的成本矩阵将第二区块分配给所述多个处理核。成本矩阵将第二区块分配给所述多个处理核。成本矩阵将第二区块分配给所述多个处理核。

【技术实现步骤摘要】
计算装置和处理器实现的方法
[0001]本申请要求于2020年9月11日在韩国知识产权局提交的第10
‑
2020
‑
0117000号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]下面的描述涉及计算装置和方法。

技术介绍

[0003]随着人工智能(AI)技术发展，专用AI硬件可被用于执行学习和训练的推断。作为专用于实现AI的硬件，神经处理器可被使用。

技术实现思路

[0004]提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
[0005]在一个总体方面，一种计算装置包括：多个处理核；和区块调度器，被配置为：基于第二区块中的每个的元信息和先前分配给所述多个处理核的第一区块中的每个的元信息，更新所述多个处理核中的每个的成本矩阵，并且使用所述多个处理核中的每个的更新的成本矩阵相对于所述多个处理核分配第二区块。
[0006]为了更新成本矩阵，区块调度器可被配置为：针对所述多个处理核中的每个，基于每个第一区块的元信息和每个第二区块的元信息，计算第一区块和第二区块之中的多个配对中的每个配对的接收数据量；和基于计算的相应的结果来更新所述多个处理核中的每个处理核的成本矩阵。
[0007]计算的步骤可包括：通过计算所述多个配对之中的第一配对的第二区块的滤波器数据的大小，计算所述多个处理核中的第一处理核针对第一配对的第一接收数据量，其中，第一配对的第一区块可被分配给所述第一处理核，并且计算的步骤可包括：通过计算所述多个配对之中的第二配对的第二区块的滤波器数据的大小与第二配对的第一区块的输出数据的大小之和，不同地计算第一处理核针对第二配对的第二接收数据量，其中，第二配对的第一区块可被分配给所述多个处理核中的另一处理核。
[0008]为了分配第二区块，区块调度器可被配置为：根据所述多个处理核中的每个的更新的成本矩阵的相应的最小值，将第二区块中的一个或多个分配给相应的处理核。
[0009]第一区块可包括与神经网络模型的操作对应的区块，第二区块可包括与另一神经网络模型的操作对应的区块。
[0010]与所述另一神经网络模型的操作对应的区块可被分配给所述多个处理核的一部分，并且针对所述神经网络模型和所述另一神经网络两者在所述多个处理核之中的资源分配可发生在对第二区块的分配中。
[0011]所述计算装置还可包括：主机处理器，被配置为：生成与所述神经网络模型的操作
对应的第一区块，并且生成与所述另一神经网络模型的操作对应的第二区块。
[0012]第一区块中的一个可依赖于第一区块中的另一个的输出数据。
[0013]所述多个处理核中的每个可包括对应的区块队列，并且所述多个处理核中的每个可被配置为：依赖于第二区块被区块调度器分配给所述多个处理核中的哪一个，分别将第二区块中的一个或多个区块入队到对应的区块队列；和从外部存储器分别预取分别入队到对应的区块队列的第二区块中的所述一个或多个区块的源数据。
[0014]所述多个处理核中的每个可包括对应的区块队列，并且所述多个处理核中的每个可被配置为：当对应的区块队列已满时，请求区块调度器不将额外的区块分配给对应的区块队列。
[0015]具有已满的对应的区块队列的对应的处理核可被配置为：完成存储在对应的区块队列中的一个或多个区块的执行，并且在存储在区块队列中的所述一个或多个区块的执行之后对应的区块队列不再满时，请求区块调度器将区块分配给对应的处理核。
[0016]所述多个处理核中的每个可包括对应的区块队列，并且所述多个处理核中的每个可被配置为：当对应的区块队列为空时，分别切换到睡眠模式。
[0017]所述计算装置还可包括：主机处理器，被配置为执行指令，所述指令在由主机处理器执行时配置主机处理器实现所述计算装置的功能，所述功能包括针对第一人工智能操作来编译第一区块和针对第二人工智能操作来编译第二区块，其中，区块调度器可在将第一区块中的多个第一区块分配给所述多个处理核中的第一集合之后，将第二区块中的多个第二区块分配给所述多个处理核中的第二集合，其中，在所述多个处理核中的第一集合中的至少一个处理核执行第一人工智能操作的同时，所述多个处理核中的第二集合中的至少一个处理核执行第二人工智能操作。
[0018]在一个总体方面，一种计算装置可包括：主机，包括：第一处理器，被配置为生成第一区块和第二区块；和一个或多个第二处理器，被配置为与主机通信，其中，所述一个或多个第二处理器中的每个包括：多个处理核；和区块调度器，被配置为：基于第二区块中的每个的元信息和先前分配给所述多个处理核中的多个处理核的第一区块中的每个的元信息，更新所述多个处理核中的每个的成本信息，并且使用所述多个处理核中的每个的更新的成本信息将第二区块中的一个或多个分配给所述多个处理核中的至少一个。
[0019]为了更新成本信息，区块调度器可被配置为：针对所述多个处理核中的每个，基于每个第一区块的元信息和每个第二区块的元信息，计算针对第一区块和第二区块之中的多个配对中的每个配对的接收数据量；和可基于计算的相应的结果来更新所述多个处理核中的每个的成本信息。
[0020]计算的步骤可包括：通过计算所述多个配对之中的第一配对的第二区块的滤波器数据的大小，计算所述多个处理核中的第一处理核针对第一配对的第一接收数据量，其中，第一配对的第一区块被分配给第一处理核，并且计算的步骤可包括：通过计算所述多个配对之中的第二配对的第二区块的滤波器数据的大小与第二配对的第一区块的输出数据的大小之和，不同地计算第一处理核针对第二配对的第二接收数据量，其中，第二配对的第一区块被分配给所述多个处理核中的另一处理核。
[0021]更新所述多个处理核中的每个的成本信息可包括：更新所述多个处理核中的每个的成本矩阵。
[0022]为了分配第二区块，区块调度器可被配置为：根据所述多个处理核中的每个的更新的成本信息的各自的最小值，将第二区块中的一个或多个分配给相应的处理核。
[0023]第一区块可包括与神经网络模型的操作对应的区块，第二区块可包括与另一神经网络模型的操作对应的区块。
[0024]与所述另一神经网络模型的操作对应的区块可被分配给作为所述多个处理核的一部分的多个处理核，并且针对所述神经网络模型和所述另一神经网络两者在所述多个处理核之中的资源分配可发生在对第二区块的分配中。
[0025]第一处理器可被配置为：生成与所述神经网络模型的操作对应的第一区块，并且生成与所述另一神经网络模型的操作对应的第二区块。
[0026]第一区块中的一个可依赖于第一区块中的另一个的输出数据。
[0027]所述多个处理核中的每个可包括对应的区块队列，并且所述多个处理核中的每个可被配置为：依赖于第二区块被区块调度器分配给所述多个处理核中的哪一个，分别将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算装置，包括：多个处理核；和区块调度器，被配置为：基于多个第二区块中的每个的元信息和先前分配给所述多个处理核的多个第一区块中的每个的元信息，更新所述多个处理核中的每个的成本矩阵，并且使用所述多个处理核中的每个的更新的成本矩阵将第二区块分配给所述多个处理核。2.根据权利要求1所述的计算装置，其中，为了更新成本矩阵，区块调度器被配置为：针对所述多个处理核中的每个，基于每个第一区块的元信息和每个第二区块的元信息，计算第一区块和第二区块的多个配对中的每个配对的接收数据量；和基于计算的相应的结果来更新所述多个处理核中的每个处理核的成本矩阵。3.根据权利要求2所述的计算装置，其中，计算的步骤包括：通过计算所述多个配对之中的第一配对的第二区块的滤波器数据的大小，计算所述多个处理核中的第一处理核针对第一配对的第一接收数据量，其中，第一配对的第一区块被分配给第一处理核，并且其中，计算的步骤包括：通过计算所述多个配对之中的第二配对的第二区块的滤波器数据的大小与第二配对的第一区块的输出数据的大小之和，不同地计算第一处理核针对第二配对的第二接收数据量，其中，第二配对的第一区块被分配给所述多个处理核中的另一处理核。4.根据权利要求1所述的计算装置，其中，为了分配第二区块，区块调度器被配置为：根据所述多个处理核中的每个的更新的成本矩阵的相应的最小值，将第二区块中的一个或多个分配给相应的处理核。5.根据权利要求1所述的计算装置，其中，第一区块包括与神经网络模型的操作对应的区块，第二区块包括与另一神经网络模型的操作对应的区块。6.根据权利要求5所述的计算装置，其中，与所述另一神经网络模型的操作对应的区块被分配给所述多个处理核的一部分，并且针对所述神经网络模型和所述另一神经网络模型两者在所述多个处理核之中的资源分配发生在对第二区块的分配中。7.根据权利要求5所述的计算装置，其中，所述计算装置还包括：主机处理器，被配置为：生成与所述神经网络模型的操作对应的第一区块，并且生成与所述另一神经网络模型的操作对应的第二区块。8.根据权利要求1所述的计算装置，其中，第一区块中的一个依赖于第一区块中的另一个的输出数据。9.根据权利要求1所述的计算装置，其中，所述多个处理核中的每个包括对应的区块队列，并且所述多个处理核中的每个被配置为：依赖于第二区块被区块调度器分配给所述多个处理核中的哪一个，分别将第二区块中的一个或多个区块入队到对应的区块队列；和从外部存储器分别预取分别入队到对应的区块队列的第二区块中的所述一个或多个区块的源数据。10.根据权利要求1所述的计算装置，其中，所述多个处理核中的每个包括对应的区块队列，并且所述多个处理核中的每个被配置为：当对应的区块队列已满时，请求区块调度器不将额外的区块分配给对应的区块队列。
11.根据权利要求10所述的计算装置，其中，具有已满的对应的区块队列的对应的处理核被配置为：完成存储在对应的区块队列中的一个或多个区块的执行，并且在存储在区块队列中的所述一个或多个区块的执行之后对应的区块队列不再满时，请求区块调度器将区块分配给对应的处理核。12.根据权利要求1所述的计算装置，其中，所述多个处理核中的每个包括对应的区块队列，并且所述多个处理核中的每个被配置为：当对应的区块队列为空时，分别切换到睡眠模式。13.根据权利要求1至权利要求12中的任一项所述的计算装置，还包括：主机处理器，被配置为执行指令，所述指令在由主机处理器执行时配置主机处理器实现所述计算装置的功能，所述功能包括针对第一人工智能操作来编译第一区块和针对第二人工智能操作来编译第二区块，其中，区块调度器在将第一区块分配给所述多个处理核中的第一集合之后，将第二区块分配给所述多个处理核中的第二集合，其中，在所述多个处理核中的第一集合中的至少一个处理核执行第一人工智能操作的同时，所述多个处理核中的第二集合中的至少一个处理核执行第二人工智能操作。14.一种计算装置，包括：主机，包括：第一处理器，被配置为生成第一区块和第二区块；和一个或多个第二处理器，被配置为与主机通信，其中，所述一个或多个第二处理器中的每个包括：多个处理核；和区块调度器，被配置为：基于多个第二区块中的每个的元信息和先前分配给所述多个处理核的多个第一区块中的每个的元信息，更新所述多个处理核中的每个的成本信息，并且使用所述多个处理核中的每个的更新的成本信息将第二区块中的一个或多个分配给所述多个处理核中的至少一个。15.根据权利要求14所述的计算装置，其中，为了更新成本信息，区块调度器被配置为：针对所...

【专利技术属性】
技术研发人员：赵在彦，权亨达，朴汉敏，沈载炯，李承昱，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：