运算方法、装置及相关产品制造方法及图纸

本公开涉及一种运算方法、装置及相关产品，所述产品包括控制模块，所述控制模块包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

Calculation method, device and related products

【技术实现步骤摘要】
运算方法、装置及相关产品
本公开涉及信息处理
，尤其涉及一种运算方法、装置及相关产品。
技术介绍
随着人工智能行业的发展，越来越多的深度学习框架被大家再开发和使用。为加速人工智能应用的计算，人工智能处理器应运而生，而人工智能处理器根据应用场景，具有云和端两个层次应用，针对服务器的云端应用往往采用多核的人工智能处理器，实现更高的计算能力，对人工智能处理器内部多个核的有效利用，对发挥人工智能处理器的效能具有重要价值。
技术实现思路
有鉴于此，本公开提出了一种并行执行方法及装置，通过命令行传参数的方式传入并行度参数，可以根据待处理任务对吞吐量和延时的需求调整、设置第二处理器的模型并行度和数据并行度，以达到高吞吐、低延时的最佳点，具有很强的通用性。根据本公开的一方面，提供了一种并行执行方法，所述方法应用于第一处理器，所述方法包括：在接收到第一命令时，获取所述第一命令中的并行度参数；根据所述并行度参数设置第二处理器的并行度，以使所述第二处理器中的多个核以所述并行度执行待处理任务；其中，所述并行度参数包括模型并行参数和数据并行参数，所述并行度包括模型并行度和数据并行度。在一种可能的实现方式中，所述待处理任务包括在线任务，其中，根据所述并行度参数设置第二处理器的并行度，包括：根据所述模型并行参数设置所述待处理任务的第一配置文件中的模型并行度；根据所述数据并行参数设置所述待处理任务的第二配置文件中的数据并行度；其中，所述第一配置文件和第二配置文件存储在所述第一处理器中。在一种可能的实现方式中，根据所述并行度参数设置第二处理器的并行度，以使所述第二处理器中的多个核以所述并行度执行待处理任务，还包括：根据第一配置文件中的模型并行度对所述在线任务进行编译，在第二处理器上生成待执行程序；通过第二命令将第二配置文件中的数据并行度发送给第二处理器，以使第二处理器根据所述数据并行度获取数据，并执行待执行程序对所述数据进行处理。在一种可能的实现方式中，所述待处理任务包括离线任务，其中，根据所述并行度参数设置第二处理器的并行度，以使所述第二处理器中的多个核以所述并行度执行待处理任务，包括：分别根据模型并行参数和数据并行参数确定模型并行度和数据并行度；根据模型并行度对所述离线任务进行编译，生成离线文件；通过第三命令将所述离线文件中的数据和数据并行度发送给第二处理器，以使第二处理器根据数据并行度获取数据，并执行离线文件中的待执行程序对所述数据进行处理。在一种可能的实现方式中，所述第一处理器为通用处理器，所述第二处理器为人工智能处理器。根据本公开的另一方面，提供了一种计算机设备，包括存储器、处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述方法的步骤。根据本公开的另一方面，提供了一种可读存储介质，其上存储有计算机程序如上所述方法的步骤。根据本公开的另一方面，提供了一种并行执行方法，所述方法应用于第二处理器，所述方法包括：从第一处理器接收待执行程序以及数据并行参数，其中，所述数据并行参数包括数据并行度；根据所述数据并行度获取数据，其中，所述数据为所述待执行程序的输入数据；执行所述待执行程序对所述数据进行处理。在一种可能的实现方式中，从第一处理器接收数据并行参数，包括：接收第一处理器发送的第四命令，第四命令中携带有数据并行参数。在一种可能的实现方式中，所述第一处理器为通用处理器，所述第二处理器为人工智能处理器。根据本公开的另一方面，提供了一种计算机设备，包括存储器、处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述方法的步骤。根据本公开的另一方面，提供了一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述方法的步骤。根据本公开的一方面，提供了一种并行执行装置，所述装置应用于第一处理器，所述装置包括：获取模块，用于在接收到第一命令时，获取所述第一命令中的并行度参数；设置模块，用于根据所述并行度参数设置第二处理器的并行度，以使所述第二处理器中的多个核以所述并行度执行待处理任务；其中，所述并行度参数包括模型并行参数和数据并行参数，所述并行度包括模型并行度和数据并行度。在一种可能的实现方式中，所述待处理任务包括在线任务，所述设置模块包括：第一设置单元，用于根据所述模型并行参数设置所述待处理任务的第一配置文件中的模型并行度；第二设置单元，用于根据所述数据并行参数设置所述待处理任务的第二配置文件中的数据并行度；其中，所述第一配置文件和第二配置文件存储在所述第一处理器中。在一种可能的实现方式中，所述设置模块还包括：第一编译单元，用于根据第一配置文件中的模型并行度对所述在线任务进行编译，在第二处理器上生成待执行程序；第一发送单元，用于通过第二命令将第二配置文件中的数据并行度发送给第二处理器，以使第二处理器根据所述数据并行度获取数据，并执行待执行程序对所述数据进行处理。在一种可能的实现方式中，所述待处理任务包括离线任务，所述设置模块还包括：确定单元，用于分别根据模型并行参数和数据并行参数确定模型并行度和数据并行度；第二编译单元，用于根据模型并行度对所述离线任务进行编译，生成离线文件；第二发送单元，用于通过第三命令将所述离线文件中的数据和数据并行度发送给第二处理器，以使第二处理器根据数据并行度获取数据，并执行离线文件中的待执行程序对所述数据进行处理。在一种可能的实现方式中，所述第一处理器为通用处理器，所述第二处理器为人工智能处理器。根据本公开的另一方面，提供了一种并行执行装置，所述装置应用于第二处理器，所述装置包括：控制模块，用于从第一处理器接收待执行程序以及数据并行参数，其中，所述数据并行参数包括数据并行度；控制模块还用于根据所述数据并行度获取数据，其中，所述数据为所述待执行程序的输入数据；运算模块，用于执行所述待执行程序对所述数据进行处理。在一种可能的实现方式中，所述控制模块包括：接收单元，用于接收第一处理器发送的第四命令，第四命令中携带有数据并行参数。在一种可能的实现方式中，所述第一处理器为通用处理器，所述第二处理器为人工智能处理器。根据本公开的另一方面，提供了一种人工智能处理装置，所述装置包括第一处理器和第二处理器，所述第一处理器连接到所述第二处理器，其中，所述第一处理器用于执行如上所述的第一处理器执行的方法，所述第二处理器用于执行如上所述的第二处理器执行的方法。在一种可能的实现方式中，所述第二处理器用于执行人工智能计算，所述第二处理器包括：运算模块以及控制模块，所述运算模本文档来自技高网...

【技术保护点】
1.一种并行执行方法，其特征在于，所述方法应用于第一处理器，所述方法包括：/n在接收到第一命令时，获取所述第一命令中的并行度参数；其中，所述第一命令为通过终端的输入设备输入的命令行，命令行中携带有所述并行度参数，所述并行度参数包括模型并行参数和数据并行参数，所述并行度包括模型并行度和数据并行度；/n根据所述模型并行度对待处理任务进行编译以设置第二处理器的并行度；/n通过命令行将所述数据并行度传入第二处理器以设置第二处理器的并行度。/n

【技术特征摘要】
1.一种并行执行方法，其特征在于，所述方法应用于第一处理器，所述方法包括：
在接收到第一命令时，获取所述第一命令中的并行度参数；其中，所述第一命令为通过终端的输入设备输入的命令行，命令行中携带有所述并行度参数，所述并行度参数包括模型并行参数和数据并行参数，所述并行度包括模型并行度和数据并行度；
根据所述模型并行度对待处理任务进行编译以设置第二处理器的并行度；
通过命令行将所述数据并行度传入第二处理器以设置第二处理器的并行度。


2.根据权利要求1所述的方法，其特征在于，所述待处理任务包括在线任务，
根据所述模型并行度对待处理任务进行编译以设置第二处理器的并行度，包括：
根据所述模型并行度对待处理任务进行编译，在第二处理器上生成待执行程序。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述模型并行参数设置所述待处理任务的第一配置文件中的模型并行度；
根据所述数据并行参数设置所述待处理任务的第二配置文件中的数据并行度；
其中，所述第一配置文件和第二配置文件存储在所述第一处理器中。


4.根据权利要求3所述的方法，其特征在于，通过命令行将所述数据并行度传入第二处理器以设置第二处理器的并行度包括：
通过第二命令将第二配置文件中的数据并行度发送给第二处理器，以使第二处理器根据所述数据并行度获取数据，并执行待执行程序对所述数据进行处理。


5.根据权利要求1所述的方法，其特征在于，所述待处理任务包括离线任务，
其中，根据所述模型并行度对待处理任务进行编译以设置第二处理器的并行度，以及通过命令行将所述数据并行度传入第二处理器以设置第二处理器的并行度，包括：
根据模型并行度对所述离线任务进行编译，生成离线文件；
通过第三命令将所述离线文件中的数据和数据并行度发送给第二处理器，以使第二处理器根据数据并行度获取数据，并执行离线文件中的待执行程序对所述数据进行处理。


6.根据权利要求1-5任意一项所述的方法，其特征在于，所述第一处理器为通用处理器，所述第二处理器为人工智能处理器。


7.一种并行执行装置，其特征在于，所述装置应用于第一处理器，所述装置包括：
获取模块，用于在接收到第一命令时，获取所...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科寒武纪科技有限公司，
类型：发明
国别省市：北京;11