运算方法、装置及相关产品制造方法及图纸

本公开涉及一种运算方法、装置及相关产品，所述产品包括控制模块，所述控制模块包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

Calculation method, device and related products

【技术实现步骤摘要】
运算方法、装置及相关产品
本公开涉及人工智能
，尤其涉及一种运算方法、装置及相关产品。
技术介绍
在人工智能
，深度学习技术目前在图像、视频处理领域已有较为广泛的应用，基于特定的数据集训练完成的神经网络，可以在分类和检测任务中达到较高的准确率。但是，由于受限于训练过程中使用的数据集和预处理工具，训练完成的神经网络通常仅能用在与训练集类型相同/数据格式一致的应用环境下，其可复用性不高。如果需要使用不同类型的输入数据，通常要进行重训练，或对输入数据进行预处理，导致网络预处理时间长，数据处理效率低。
技术实现思路
有鉴于此，本公开提出了一种运算方法、装置及相关产品，通过根据第一格式和第二格式调整Caffe图像处理模型的模型定义文件，以使根据调整后的模型定义文件生成的Caffe图像处理模型所支持的输入数据格式为第一格式，有效提高了Caffe图像处理模型的匹配度和复用性。根据本公开的一方面，一种运算方法，其特征在于，所述方法应用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；在所述第一格式与所述第二格式不一致时，根据所述第一格式及所述第二格式，调整所述Caffe图像处理模型的模型定义文件，以使根据调整后的所述模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为所述第一格式。在一种可能的实现方式中，所述第一格式和所述第二格式为三基色图像数据格式；其中，根据所述第一格式及所述第二格式，调整所述模型定义文件，包括：根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件。在一种可能的实现方式中，所述第二格式的通道个数少于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序相同；其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：在所述模型定义文件中的首层卷积层对应的卷积核添加卷积核权重为零的卷积通道，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。在一种可能的实现方式中，所述第二格式的通道个数少于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序不同；其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，并在所述首层卷积层对应的卷积核中添加卷积核权重为零的卷积通道，以使修改后的所述首层卷积层支持所述第一格式的输入图像数据。在一种可能的实现方式中，所述第二格式的通道个数等于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同；其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。在一种可能的实现方式中，所述第二格式的通道个数大于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同，且所述第二格式比所述第一格式多余的通道权重为零；其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，并调整所述卷积核中剩余的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。在一种可能的实现方式中，所述第二格式的通道个数大于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序相同，且所述第二格式比所述第一格式多余的通道权重为零；其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。在一种可能的实现方式中，所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式；其中，根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：在所述模型定义文件中添加第一数据转换层，所述第一数据转换层位于首层卷积层之前，用于将所述第一格式的输入图像数据转换为所述第二格式。在一种可能的实现方式中，所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式；其中，根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：在所述模型定义文件中添加第二数据转换层，所述第二数据转换层用于将所述第一格式的输入图像数据转换为第三格式；根据所述第三格式，修改所述模型定义文件中的首层卷积层，以使所述首层卷积层支持所述第三格式的输入图像数据，其中，所述第三格式为四通道数据格式，四通道包括三原色通道和一个额外的透明度通道。在一种可能的实现方式中，所述第二数据转换层，位于所述Caffe图像处理模型的首层卷积层之前。在一种可能的实现方式中，其中，根据所述第三格式，修改所述模型定义文件中的首层卷积层，包括：调整所述首层卷积层对应的卷积核的通道顺序，并在所述卷积核中添加卷积核权重为零的卷积通道，以使调整后的所述首层卷积层所支持的输入数据为所述第三格式。在一种可能的实现方式中，所述方法还包括：在接收到所述待处理任务的输入图像数据时，根据调整后的模型定义文件和权重文件，生成Caffe图像处理模型；将所述输入图像数据输入生成的Caffe图像处理模型中处理，得到图像处理结果。根据本公开的一方面，提供了一种运算装置，其特征在于，所述运算装置用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：判断模块，用于在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；调整模块，用于在所述第一格式与所述第二格式不一致时，根据所述第一格式及所述第二格式，调整所述Caffe图像处理模型的模型定义文件，以使根据调整后的所述模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为所述第一格式。在一种可能的实现方式中，所述第一格式和所述第二格式为三基色图像数据格式；其中，所述调整模块，包括：第一调整子模块，用于根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件。在一种可能的实现方式中，所述第二格式的通道个数少于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序相同；其中，所述第一调整子模块，包括：第一调整单元，用于在所述模型定义文件本文档来自技高网...

【技术保护点】
1.一种运算方法，其特征在于，所述方法应用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：/n在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；/n在所述第一格式与所述第二格式不一致时，根据所述第一格式及所述第二格式，调整所述Caffe图像处理模型的模型定义文件，以使根据调整后的所述模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为所述第一格式，/n其中，所述方法还包括：/n在所述第一格式和所述第二格式为三基色图像数据格式、且在所述第二格式的通道个数等于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同时，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，/n其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：/n调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。/n

【技术特征摘要】
1.一种运算方法，其特征在于，所述方法应用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：
在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；
在所述第一格式与所述第二格式不一致时，根据所述第一格式及所述第二格式，调整所述Caffe图像处理模型的模型定义文件，以使根据调整后的所述模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为所述第一格式，
其中，所述方法还包括：
在所述第一格式和所述第二格式为三基色图像数据格式、且在所述第二格式的通道个数等于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同时，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，
其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：
调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。


2.根据权利要求1所述方法，其特征在于，在所述第二格式的通道个数少于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序不同时，所述根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：
调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，并在所述首层卷积层对应的卷积核中添加卷积核权重为零的卷积通道，以使修改后的所述首层卷积层支持所述第一格式的输入图像数据。


3.根据权利要求1所述方法，其特征在于，在所述第一格式和所述第二格式中的通道顺序和/或通道个数不一致时，且所述第一格式的通道顺序与所述第二格式的通道顺序不同时，所述根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：
在所述第二格式的通道个数少于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序相同时，在所述模型定义文件中的首层卷积层对应的卷积核添加卷积核权重为零的卷积通道，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。


4.根据权利要求1所述方法，其特征在于，在所述第二格式的通道个数大于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同，且所述第二格式比所述第一格式多余的通道权重为零时，所述根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：
将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，并调整所述卷积核中剩余的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。


5.根据权利要求1所述方法，其特征在于，在所述第二格式的通道个数大于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序相同，且所述第二格式比所述第一格式多余的通道权重为零时，所述根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：
将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。


6.根据权利要求1所述方法，其特征在于，在所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式时，所述根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：
在所述模型定义文件中添加第一数据转换层，所述第一数据转换层位于首层卷积层之前，用于将所述第一格式的输入图像数据转换为所述第二格式。


7.根据权利要求1所述方法，其特征在于，在所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式时，所述根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：
在所述模型定义文件中添加第二数据转换层，所述第二数据转换层用于将所述第一格式的输入图像数据转换为第三格式；
根据所述第三格式，修改所述模型定义文件中的首层卷积层，以使所述首层卷积层支持所述第三格式的输入图像数据，
其中，所述第三格式为四通道数据格式，四通道包括三原色通道和一个额外的透明度通道。


8.根据权利要求7所述方法，其特征在于，所述第二数据转换层，位于所述Caffe图像处理模型的首层卷积层之前。


9.根据权利要求7所述方法，其特征在于，根据所述第三格式，修改所述模型定义文件中的首层卷积层，包括：
调整所述首层卷积层对应的卷积核的通道顺序，并在所述卷积核中添加卷积核权重为零的卷积通道，以使调整后的所述首层卷积层所支持的输入数据为所述第三格式。


10.根据权利要求1-9中任意一项所述方法，其特征在于，所述方法还包括：
在接收到所述待处理任务的输入图像数据时，根据调整后的模型定义文件和权重文件，生成Caffe图像处理模型；
将所述输入图像数据输入生成的Caffe图像处理模型中处理，得到图像处理结果。


11.一种运算装置，其特征在于，所述运算装置用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：
判断模块，用于在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；
调整模块，用于在...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：北京;11