一种电子设备、生成输出数据的方法及机器可读存储介质技术

本发明专利技术提供电子设备、生成输出数据的方法及包括程序代码的机器可读存储介质。实施本发明专利技术实施例可提高执行模型的效率。本发明专利技术提供的电子设备可包括至少两个处理电路；以及平台模块，该平台模块被配置为接收模型和输入数据，分析该模型以获得该模型的图分割尺寸，根据该图分割尺寸将该模型分割为多个图，以及将该多个图分别部署到至少两个处理电路，其中分割后的每个图包括该模型的一部分操作；该至少两个处理电路执行该多个图来生成输出数据。处理电路执行该多个图来生成输出数据。处理电路执行该多个图来生成输出数据。

【技术实现步骤摘要】
一种电子设备、生成输出数据的方法及机器可读存储介质


[0001]本专利技术涉及电子
，特别涉及一种电子设备、生成输出数据的方法及机器可读存储介质。

技术介绍

[0002]近来，诸如个人计算器、笔记本计算机或手机之类的电子设备通常具有两个或更多个处理器用于执行不同的任务。然而，当人工智能(Artificial Intelligence，AI)模型等复杂模型运行时，需要准确、快速的结果，如何使用上述处理器来执行这样的模型成为问题。例如，如果电子设备包括中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)和视觉处理单元(Vision Processing Unit，VPU)，但只有CPU被安排执行整个模型，则GPU和VPU可能没有得到充分利用，由此可能会导致CPU过载，且处理时间可能过长。在另一种情况下，大多数模型都由一个处理器(例如CPU)执行，而其他处理器仅用于执行CPU不支持的操作，因此这些其他处理器可能有很多空闲时间。

技术实现思路

[0003]本专利技术提供电子设备、生成输出数据的方法及包括程序代码的机器可读存储介质。实施本专利技术实施例可提高执行模型的效率。
[0004]本专利技术提供的一种电子设备，包括：至少两个处理电路；以及平台模块，该平台模块被配置为接收模型和输入数据，分析该模型以获得该模型的图分割尺寸，根据该图分割尺寸将该模型分割为多个图，以及将该多个图分别部署到该至少两个处理电路，其中分割后的每个图包括该模型的一部分操作；该至少两个处理电路执行该多个图来生成输出数据。
[0005]本专利技术提供的一种生成输出数据的方法，包括：接收模型和输入数据；分析该模型以获得该模型的图分割尺寸；根据该图分割尺寸将该模型分割为多个图，其中分割后的每个图包括该模型的一部分操作；将该多个图分别部署到至少两个处理电路；和根据该至少两个处理电路执行多个图的结果生成输出数据。
[0006]本专利技术提供的一种包括程序代码的机器可读存储介质，其中当该程序代码由处理电路执行时，该处理电路执行以下步骤：接收模型和输入数据；分析该模型以获得该模型的图分割尺寸；根据该图分割尺寸将该模型分割为多个图，其中分割后的每个图包括该模型的一部分操作；将该多个图分别部署到至少两个处理电路；和根据该至少两个处理电路执行多个图的结果生成输出数据。
[0007]综上所述，本专利技术实施例将模型分割为多个图，并将该多个图分别部署到至少两个处理电路进行执行来生成输出资料，由此本专利技术实施例可由至少两个处理电路同时执行模型，从而使得模型的执行效率提高。
附图说明
[0008]图1是根据本专利技术的一个实施例在电子设备中部署模型110的图。
[0009]图2是根据本专利技术一实施例的H2O引擎122的流程图。
[0010]图3是根据本专利技术另一实施例的H2O引擎122的流程图。
[0011]图4示出了根据本专利技术的一个实施例的模型400的图分割示例。
[0012]图5示出了根据本专利技术的一个实施例的模型500的图分割示例。
具体实施方式
[0013]在说明书及权利要求书当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”为一开放式的用语，故应解释成“包含但不限定于”。“大体上”或“大约”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”或“耦合”一词在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本专利技术的较佳方式，目的在于说明本专利技术的精神而非用以限定本专利技术的保护范围，本专利技术的保护范围当视权利要求书所界定者为准。
[0014]接下面的描述为本专利技术预期的最优实施例。这些描述用于阐述本专利技术的大致原则而不应用于限制本专利技术。本专利技术的保护范围应在参考本专利技术的权利要求书的基础上进行认定。
[0015]图1是根据本专利技术的一个实施例在电子设备中部署模型110的图。如图1所示，电子设备包括多个处理电路(例如CPU 132、GPU 134、VPU 136和深度学习加速器(Deep Learning Accelerator，DLA)138)以及平台120。平台120可是硬件模块或可实施的软件平台。在一个实施例中，当平台120是软件平台时，诸如中央处理器132的处理电路通过实施平台120可执行储存于电子设备的存储器中的程序代码，且平台120可将模型110部署至所述多个处理电路中的至少部分处理电路中，使得该至少部分处理电路可执行模型110。在该实施例中，模型110通常可以被称为推理模型(inference model)并且可以包括被布置为从输入数据生成输出数据(例如推理)的多种模型中的任一种。例如，模型110可以是推理模型或人工神经网络模型。
[0016]平台120具有超异构优化(Hyper
‑
Heterogeneous Optimization，H2O)引擎122，其中H2O引擎122用于分析和/或训练模型110，使得模型110可以被分割(partition)为至少一个将由至少一个处理电路执行的计算图(computational graph)。具体地，图2是根据本专利技术一个实施例的H2O引擎122的流程图。在步骤200，流程开始，平台120加载(load)模型110。在步骤202，H2O引擎122判断模型110是否为H2O友好模型，如果是，则流程进入步骤204；如果否，则流程进入步骤216。在一个实施例中，H2O引擎122可以参考模型110的形状来判断模型110是否是H2O友好模型，例如，如果模型110具有对过多数据进行降取样(down
‑
sample)的操作，则模型110不是H2O友好模型。具体地，如果模型110包括大幅降低图像分辨率的操作，例如图像分辨率降低的比例大于阈值(例如，图像分辨率从640*480降低到32*24)，导致
处理电路例如CPU 132和/或GPU 134可能需要执行复杂的补偿操作，因此，模型110不是H2O友好模型。此外，如果模型110不包括对太多数据进行降取样的操作，和/或模型110的操作可以很容易地分成两个或更多图(graph)而不增加太多额外的操作，则模型110可以被认为是H2O友好模型。在步骤204中，H2O引擎122判断模型110是否为脱机调整(offline
‑
tuned)模型，即H2O引擎122判断模型110是否已经在脱机状态下被分析和训练过，如果是，则流程进入步骤212；如果否，则模型110可视为未知模型，流程进入步骤206。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子设备，其特征在于，包括：至少两个处理电路；以及平台模块，该平台模块被配置为接收模型和输入数据，分析该模型以获得该模型的图分割尺寸，根据该图分割尺寸将该模型分割为多个图，以及将该多个图分别部署到该至少两个处理电路，其中分割后的每个图包括该模型的一部分操作；该至少两个处理电路执行该多个图来生成输出数据。2.如权利要求1所述的电子设备，其特征在于，该模型对于该电子设备内的该至少两个处理电路而言是未知的模型。3.如权利要求1所述的电子设备，其特征在于，该模型是人工神经网络模型。4.根据权利要求1所述的电子设备，其特征在于，该至少两个处理电路包括中央处理单元、图形处理单元、视觉处理单元和深度学习加速器中的至少两个。5.如权利要求1所述的电子设备，其特征在于，该平台模块分析该模型以获得该模型的图分割尺寸时，被配置为：使用梯度提升模型来估计该模型以获得该模型的图分割尺寸。6.如权利要求1所述的电子设备，其特征在于，该平台模块分析该模型以获得该模型的图分割尺寸时，被配置为：估计该模型以获得估计的存储器使用量和预测的运行时间；和根据该估计的存储器使用量和该预测的运行时间生成该图分割尺寸。7.如权利要求1所述的电子设备，其特征在于，该平台模块分析该模型以获得该模型的图分割尺寸时，被配置为：根据先前执行该模型时获得的该模型的先前估计性能与该模型的先前实际性能之间的差异，生成该模型的预测误差；根据该预测误差更新先前的图分割尺寸以生成该图分割尺寸。8.如权利要求7所述的电子设备，其特征在于，该模型的该先前估计性能和该先前实际性能分别是该模型的先前估计的存储器使用量和先前实际存储器使用量；或者该模型的该先前估计性能和先前实际性能分别是该模型的先前估计的运行时间和先前实际运行时间。9.如权利要求1
‑
8中任一项所述的电子设备，其特征在于，该平台模块为实施于该电子设备中的软件平台。10.如权利要求1
‑
8中任一项所述的电子设备，其特征在于，该平台模块实施于该电子设备中的该至少两个处理器电路之一中。11.一种生成输出数据的方法，其特征在于，包括：接收模型和输入数据；分析该模型以获得该模型的图分割尺寸；根据该图分割尺寸将该模型分割为多个图，其中分割后的每个图包括该模型的一部分操作；将该多个图分别部署到至少两个处理电路；和根据该至少两个处理电路执行多个图的结果生成输出数据。
12.如权利要求11所述的生成输出数据的方法，其特征在于，该模型对于该至少两个处理电路而言是未知的模型。13...

【专利技术属性】
技术研发人员：王伟同，谢沛圻，张紘睿，张书鑫，林宗瑶，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：