一种处理装置及相关产品制造方法及图纸

本申请提供了一种处理装置及相关产品，该处理装置包括获取单元和设备分配单元。其中，获取单元用于获取神经网络模型的多个节点及多个节点中每个节点的设备信息，节点的设备信息为支持该节点对应的运算的设备的信息，节点的设备信息包括以下一个或多个：设备的类型、设备的运算能力、设备的拷贝能力。设备分配单元用于根据每个节点的设备信息，为每个节点分配对应的执行设备，采用本申请提供的处理装置，能够提高神经网络模型在运行过程中的性能。能。能。

【技术实现步骤摘要】
一种处理装置及相关产品


[0001]本申请涉及人工智能(Artificial Intelligence,AI)领域，尤其涉及一种处理装置及相关产品。

技术介绍

[0002]近年来，为了令人们能够更轻松地学习、构建以及训练不同类型的神经网络，研究人员开发了多个深度学习框架，例如，张量流(Tensorflow)、MXNet、卷积神经网络框架(Convolutional Architecture for Fast Feature Embedding,Caffe)。
[0003]目前，基于深度学习框架运行神经网络模型时，一般会根据神经网络模型的各个节点在设备上的注册情况，分别为各个节点指定运行的设备。但是，当某个节点可以在多个设备上运行时，由于这种方式并不会考虑该节点在哪个设备上运行的性能更好，因此利用该方式运行神经网络模型时，可能会导致运行成本的增加。

技术实现思路

[0004]本申请公开了一种处理装置及相关产品，能够提高神经网络模型在运行过程中的性能。
[0005]第一方面，本申请提供了一种处理装置，该处理装置包括：
[0006]获取单元，用于获取神经网络模型的多个节点及多个节点中每个节点的设备信息，其中，节点的设备信息为支持节点对应的运算的设备的信息，节点的设备信息包括以下一个或多个：设备的类型、设备的运算能力、设备的拷贝能力；
[0007]设备分配单元，用于根据每个节点的设备信息，为每个节点分配对应的执行设备。
[0008]本申请提供的处理装置，可以通过神经网络模型中各个节点的设备信息，为各个节点分配合适的执行设备，相较于根据各个节点在设备上的注册情况分别为各个节点指定运行的设备，利用该处理装置能够使得各个节点分配到更为合适的执行设备上进行运算，从而可以从整体上提高神经网络模型的运算效率，降低运算成本，使得神经网络模型在运行过程中的性能更好。
[0009]在一种可能的实现方式中，多个节点包括第一节点，设备分配单元具体用于：当存在多个设备支持第一节点对应的运算时，根据多个设备的信息和第一节点对应的运算的规模，为第一节点分配对应的执行设备；其中，第一节点对应的运算的规模取决于以下一个或多个：第一节点的形状、输入第一节点的数据的类型。
[0010]在一种可能的实现方式中，多个设备包括第一设备和第二设备，第一设备的运算能力高于第二设备的运算能力，设备分配单元用于：当第一节点对应的运算的规模大于预设规模时，选取第一设备作为第一节点的执行设备；当第一节点对应的运算的规模小于或等于预设规模时，选取第二设备作为第一节点的执行设备。
[0011]可以看出，处理装置通过节点对应的运算规模来和节点的设备信息，可以为节点分配到合适的执行设备。例如，当节点对应的运算规模较大时，利用运算能力更强的第一设
备来运行会缩短运算时间。当节点对应的运算规模较小时，利用第二设备来运行可能会得到更好的运算性能，比如说，在第一设备上运行节点前，需要先将输入该节点的数据从第二设备拷贝到第一设备上，这一数据拷贝过程会浪费时间，从而导致在第一设备上完成该节点的运算所用时间大于在第二设备上该节点的运算所用时间。又比如说，在第一设备上和第二设备上完成该节点的运算所用的时间接近，此时选用第一设备或第二设备均可行。
[0012]在一种可能的实现方式中，多个节点包括多个连续的节点，设备分配单元具体用于：当存在多个设备支持多个连续的节点对应的运算时，根据多个设备的信息和多个连续的节点的数量，为多个连续的节点分配对应的执行设备。
[0013]在一种可能的实现方式中，多个设备包括第三设备和第四设备，第三设备的运算能力高于第四设备的运算能力，第三设备执行运算时的数据为第四设备拷贝到第三设备的，设备分配单元用于：当多个连续的节点的数量大于或等于预设数量时，选择第三设备作为多个连续的节点的执行设备；当多个连续的节点的数量小于预设数量时，选择第四设备作为多个连续的节点的执行设备。
[0014]可以看出，对于多个连续的节点，虽然将多个连续的节点分配给第三设备上运行前，需要将数据从第四设备拷贝到第三设备，但是，当多个连续的节点的数量较多时，需要运算能力更加强大的设备来运行才能在较短的时间内完成运算，此时，数据从第四设备拷贝到第三设备所耗费的时间的影响较小，因此，选取第三设备作为多个连续的节点的执行设备更为合适。相反的，当多个连续的节点的数量较少是，数据从第四设备拷贝到第三设备所耗费的时间的影响较大，因此，选取第三设备作为多个连续的节点的执行设备更为合适。还可以理解的，将多个连续的节点分配到同一设备中进行计算，可以大大减少不同设备间拷贝数据的次数，从而节省运算成本，提高运算效率，因此，通过上述实现方式，设备分配单元可以提高多个连续的节点的运算效率，从而提高神经网络模型在运行过程中的性能。
[0015]在一种可能的实现方式中，获取单元还用于获取多个节点间的连接关系；设备分配单元还用于根据每个节点对应的执行设备的信息和多个节点间的连接关系，将每个节点分配到对应的计算库上运行。
[0016]在一种可能的实现方式中，设备分配单元具体用于：获取以第五设备作为执行设备的至少一个节点，其中，第五设备的信息包括第五设备中配置了第一计算库和第二计算库，且在第一计算库上运行连续的节点的速度大于在第二计算库上运行连续的节点的速度，至少一个节点包括第二节点；判断至少一个节点中是否存在与第二节点连接的节点；在不存在与第二节点连接的节点的情况下，将第二节点分配到第二计算库上运行；在存在与第二节点连接的节点的情况下，当第一计算库包括第二节点及与第二节点连接的节点对应的计算指令时，将第二节点及与第二节点连接的节点分配到第一计算库上运行；当第一计算库不包括第二节点及与第二节点连接的节点对应的计算指令时，将第二节点及与第二节点连接的节点分配到第二计算库上运行。
[0017]可以看出，通过上述实现方式，设备分配单元可以缩短多个连续的节点的计算时间，从而提高神经网络模型在运行过程中的性能。
[0018]第二方面，本申请提供了一种组合计算装置，该组合计算装置包括：处理装置、接口装置、存储装置、一个或多个计算装置，其中，
[0019]处理装置，用于将神经网络模型中的节点分配给对应的计算装置；
[0020]计算装置，用于执行神经网络模型中的节点对应的运算；
[0021]当组合计算装置包含多个计算装置时，多个计算装置间可以通过特定的结构进行连接并传输数据；
[0022]其中，多个计算装置通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的神经网络的运算；多个计算装置共享同一控制系统或拥有各自的控制系统；多个计算装置共享内存或者拥有各自的内存；多个计算装置的互联方式是任意互联拓扑；
[0023]存储装置分别与处理装置、一个或多个计算装置连接，用于保存处理装置、一个或多个计算装置的数据，
[0024]其中，处理装置为第一方面及第一方面任一实现方式所描述的处理装置。...

【技术保护点】

【技术特征摘要】
1.一种处理装置，其特征在于，所述装置包括：获取单元，用于获取神经网络模型的多个节点及所述多个节点中每个节点的设备信息，其中，所述节点的设备信息为支持所述节点对应的运算的设备的信息，所述节点的设备信息包括以下一个或多个：所述设备的类型、所述设备的运算能力、所述设备的拷贝能力；设备分配单元，用于根据所述每个节点的设备信息，为所述每个节点分配对应的执行设备。2.根据权利要求1所述的装置，其特征在于，所述多个节点包括第一节点，所述设备分配单元具体用于：当存在多个设备支持第一节点对应的运算时，根据所述多个设备的信息和所述第一节点对应的运算的规模，为所述第一节点分配对应的执行设备；其中，所述第一节点对应的运算的规模取决于以下一个或多个：所述第一节点的形状、输入所述第一节点的数据的类型。3.根据权利要求2所述的装置，其特征在于，所述多个设备包括第一设备和第二设备，所述第一设备的运算能力高于所述第二设备的运算能力，所述设备分配单元用于：当所述第一节点对应的运算的规模大于预设规模时，选取所述第一设备作为所述第一节点的执行设备；当所述第一节点对应的运算的规模小于或等于预设规模时，选取所述第二设备作为所述第一节点的执行设备。4.根据权利要求1所述的装置，其特征在于，所述多个节点包括多个连续的节点，所述设备分配单元具体用于：当存在多个设备支持所述多个连续的节点对应的运算时，根据所述多个设备的信息和所述多个连续的节点的数量，为所述多个连续的节点分配对应的执行设备。5.根据权利要求4所述的装置，其特征在于，所述多个设备包括第三设备第四设备，所述第三设备的运算能力高于所述第四设备的运算能力，所述第三设备执行运算时的数据为所述第四设备拷贝到所述第三设备的，所述设备分配单元用于：当所述多个连续的节点的数量大于或等于预设数量时，选择所述第三设备作为所述多个连续的节点的执行设备；当所述多个连续的节点的数量小于所述预设数量时，选择所述第四设备作为所述多个连续的节点的执行设备。6.根据权利要求1所述的装置，其特征在于，所述获取单元还用于获取所述多个节点间的连接关系；所述设备分配单元还用于根据所述每个节点对应的执行设备的信息和所述多个节点间的连接关系，将所述每个节点分配到对应的计算库上运行。7.根据权利要求6所述的装置，其特...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：安徽寒武纪信息科技有限公司，
类型：发明
国别省市：