计算机设备的操作方法和存储指令的计算机可读存储介质技术

包括被配置为执行机器学习模型的中央处理单元和多个子处理器的计算设备的操作方法，以及存储指令的计算机可读介质。例如，操作方法可以包括向机器学习模型的多个任务中的每个任务动态地分配阻塞模式或非阻塞模式中的一个以建立策略，并基于该策略执行机器学习模型及其任务。型及其任务。型及其任务。

【技术实现步骤摘要】
计算机设备的操作方法和存储指令的计算机可读存储介质
[0001]相关申请的交叉引用
[0002]本申请要求于2020年12月3日在韩国知识产权局递交的韩国专利申请No.10
‑
2020
‑
017718的优先权，其内容通过整体引用并入本文。


[0003]本公开的各方面涉及电子设备和计算设备，并且更具体地涉及被配置为执行机器学习模型的计算设备的操作方法，并且涉及存储指令的计算机可读存储介质。

技术介绍

[0004]机器学习算法可以包括各种算法，例如，神经网络、决策树和支持向量机(SVM)。机器学习模型可以是基于机器学习学习的结果，并且可以包括通过执行工作(例如，对输入的推理、分类或识别)来绘制或达成结果的算法。例如，输入可以是图像数据或音频样本。所执行的工作的示例包括识别图像中的对象、对一种对象进行分类或识别语音。
[0005]可以实现机器学习模型以实时地执行工作。为了使机器学习模型实时地执行工作，可能有必要提高机器学习模型的执行速度。

技术实现思路

[0006]本公开的实施例提供了以提高的速度执行机器学习模型的计算设备的操作方法，并且提供了存储指令的计算机可读存储介质。
[0007]根据一些实施例，提供了一种计算设备的操作方法。计算设备可以包括中央处理单元和被配置为执行机器学习模型的多个子处理器。操作方法可以包括向机器学习模型的多个任务中的每个任务动态地分配阻塞模式或非阻塞模式中的一个以建立策略，并基于该策略执行机器学习模型及其任务。<br/>[0008]根据一些实施例，提供了一种计算设备的操作方法。计算设备可以包括中央处理单元和被配置为执行机器学习模型的多个子处理器。操作方法可以包括向中央处理单元之一或多个子处理器之一动态地分配机器学习模型的多个任务中的每个任务，并向机器学习模型的多个任务中的每个任务动态地分配阻塞模式或非阻塞模式中的一个以建立策略，并基于该策略执行机器学习模型及其任务。
[0009]根据一些实施例，提供了一种存储指令的非暂时性计算机可读存储介质，该指令当由中央处理单元和多个子处理器执行时导致以下操作：向中央处理单元之一或多个子处理器之一动态地分配机器学习模型的多个任务中的每个任务，并向机器学习模型的多个任务中的每个任务动态地分配阻塞模式或非阻塞模式中的一个以建立策略，并基于该策略执行机器学习模型及其任务。
附图说明
[0010]通过参照附图详细描述本公开的实施例，本公开的上述及其他目的和特征将变得
显而易见。
[0011]图1示出了根据本公开的一些实施例的计算设备。
[0012]图2示出了根据本公开的一些实施例的计算设备的操作方法。
[0013]图3示出了机器学习模型的任务的示例。
[0014]图4示出了以阻塞模式执行机器学习模型的任务的示例。
[0015]图5示出了以非阻塞模式执行机器学习模型的任务的示例。
[0016]图6示出了由计算设备的处理器驱动的机器学习模型管理器建立策略的示例。
[0017]图7示出了由处理器执行的机器学习模型管理器向任务分配阻塞模式和非阻塞模式中的一个的示例。
[0018]图8示出了由处理器执行的机器学习模型管理器向每个任务动态地分配处理器和模式的示例。
[0019]图9示出了由处理器执行的机器学习模型管理器动态地改变策略以执行工作的示例。
[0020]图10是示出了根据本公开的一些实施例的电子设备的框图。
[0021]图11示出了自动驾驶系统的示例。
[0022]图12示出了在图11的自动驾驶系统的自动驾驶车辆处改变机器学习模型的策略的示例。
具体实施方式
[0023]下面，对本公开的一些实施例进行了详细描述，并达到允许本领域技术人员实现本公开提供的专利技术构思的这样一种程度。
[0024]图1示出了根据本公开的一些实施例的计算设备100。参照图1，计算设备100可以包括总线110、处理器120、存储器130、调整解调器140、存储装置150和用户接口160。
[0025]总线110可以提供计算设备100的组件之间的信道，以允许计算设备100的组件彼此通信。例如，总线110可以基于各种已知标准(例如，PCIe(外围组件互连快速)和SCSI(小型计算机系统接口))，或基于由计算设备100的制造商定义的标准，提供计算设备100的组件之间的信道。
[0026]在一些实施例中，除了处理器120和总线110之外的计算设备100的组件(例如，存储器130、调制解调器140、存储装置150和用户接口160)可以被配置为基于各种不同的标准与处理器120通信。总线110可以包括支持计算设备100的其他组件130、140、150、160的通信标准和处理器120的通信标准之间的通信转换的驱动器。
[0027]处理器120可以控制计算设备100及其操作。处理器120可以驱动用于控制计算设备100及其操作的操作系统。处理器120可以基于操作系统执行各种应用。例如，处理器120可以利用应用处理器(AP)来实现。
[0028]处理器120可以包括处理器总线121、第一处理器122、第二处理器123、第三处理器124、第四处理器125、处理器接口126和处理器存储器127。处理器总线121可以提供处理器120的组件之间的信道，以允许处理器120的组件彼此通信。例如，处理器总线121可以基于各种已知标准(例如，AMBA(高级微控制器总线架构))，或基于由处理器120的制造商定义的标准，提供处理器120的组件之间的信道。
[0029]第一处理器122可以是处理器120的主处理器。例如，第一处理器122可以利用中央处理单元(CPU)来实现。第二处理器123、第三处理器124和第四处理器125可以是处理器120的子处理器。
[0030]例如，第二处理器123可以利用神经处理单元(NPU)来实现。第三处理器124可以利用图形处理单元(GPU)来实现。第四处理器125可以被实现为数字信号处理器(DSP)。具有不同种类的子处理器的处理器120的多个子处理器的一个示例实施例在图1中呈现，但是处理器120的子处理器的数量和处理器120的子处理器的种类不限于此。例如，在一些实施例中，可以有多个一个种类的子处理器(例如，多个NPU)，在一些实施例中，可以没有一个种类的子处理器(例如，没有GPU)，等等。
[0031]处理器接口126可以提供处理器120的组件和总线110之间的接口，以允许处理器120的组件通过总线110与计算设备100的任何其他组件130、140、150、160通信。
[0032]处理器存储器127可以用于存储由第一处理器122、第二处理器123、第三处理器124和/或第四处理器125使用的数据或指令代码。例如，处理器存储器127可以利用高速缓冲存储器或工作存储器来实现。处理器存储器127可以包括静态随机存取存储器(SRAM)。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种操作计算设备的方法，所述计算设备包括被配置为执行机器学习模型的中央处理单元和多个子处理器，所述方法包括：向所述机器学习模型的多个任务中的每个任务动态地分配阻塞模式或非阻塞模式中的一个以建立策略；以及基于所述策略执行所述机器学习模型及其所述任务。2.根据权利要求1所述的方法，其中，所述机器学习模型的所述多个任务中的至少一个任务响应于所建立的策略在所述阻塞模式和所述非阻塞模式之间转换。3.根据权利要求2所述的方法，其中，向所述机器学习模型的所述多个任务中的每个任务动态地分配所述阻塞模式或所述非阻塞模式中的所述一个以建立所述策略包括：基于所述机器学习模型的信息、所述计算设备的系统信息和/或需求信息中的至少一个，向所述至少一个任务分配所述阻塞模式或所述非阻塞模式中的所述一个。4.根据权利要求3所述的方法，其中，所述机器学习模型的信息包括所述机器学习模型的类型的信息，并且其中，所述机器学习模型的所述类型的信息标识卷积神经网络CNN、递归神经网络RNN或转换器。5.根据权利要求3所述的方法，其中，所述机器学习模型的信息包括要由所述机器学习模型执行的工作的信息，并且其中，所述机器学习模型的所述工作的信息标识分类工作、对象识别工作或自动语音识别ASR工作。6.根据权利要求3所述的方法，其中，所述机器学习模型的信息包括所述机器学习模型的名称或所述机器学习模型的文件名。7.根据权利要求3所述的方法，其中，所述机器学习模型的信息包括所述机器学习模型的所述任务的层次结构。8.根据权利要求3所述的方法，其中，所述机器学习模型的信息包括所述中央处理单元和所述多个子处理器中与所述机器学习模型的所述多个任务中的每个任务相关联的至少一个处理器的信息。9.根据权利要求3所述的方法，其中，所述多个子处理器包括神经处理单元NPU，并且其中，所述机器学习模型的信息包括所述神经处理单元的NPU控制程序NCP的信息。10.根据权利要求3所述的方法，其中，所述计算设备的系统信息包括所述机器学习模型的输入数据的信息。11.根据权利要求3所述的方法，其中，所述计算设备的系统信息包括所述中央处理单元和所述多个子处理器中的每一个的可用资源和工作负载中的至少一个。12.根据权利要求3所述的方法，...

【专利技术属性】
技术研发人员：梁承秀，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：