基于Caffe的数据处理方法、装置和相关产品制造方法及图纸

本申请涉及一种基于Caffe的数据处理方法、装置和相关产品，根据配置命令在Caffe文件中定义标准化参数和CNN首层卷积层的算子类型，得到配置后Caffe文件，然后对配置后Caffe文件编译为可执行文件，并将可执行文件在人工智能处理器上运行，使人工智能处理器对卷积层的输入数据进行特征标准化，并对特征标准化后的数据执行卷积运算。该方法是将输入数据的特征标准化放进了层里进行，且在Caffe文件中定义的算子为人工智能处理器可直接操作的算子，这样，人工智能处理器就可以将输入数据的标准化处理和卷积运算融合在一起进行，大大提高了卷积神经网络进行图像数识别的效率，进一步可以使深度学习相关应用任务更加高效。

【技术实现步骤摘要】
基于Caffe的数据处理方法、装置和相关产品
本申请涉及深度学习
，特别是涉及一种基于Caffe的数据处理方法、装置和相关产品。
技术介绍
深度学习是指多层神经网络上运用各种机器学习算法解决图像、文本等各种问题的算法集合。在进行深度学习相关的任务时，例如：处理图像领域的任务会用到卷积神经网络，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。卷积神经网络中第一层为卷积层，用来提取图像中的一些特征，在卷积层提取特征前，需要对图像数据进行特征标准化(即归一化)，特征标准化指的是使图像数据的每一个维度具有零均值和单位方差。目前，在卷积神经网络中对图像数据进行特征标准化，可以通过中央处理器调用开放源代码计算机视觉库(OpensourceComputerVisionLibrary,OpenCV)对图像数据进行均值和方差处理，并将处理后的图像数据作为卷积神经网络的输入数据，再由中央处理器根据该输入数据逐层对卷积神经网络的每层进行编译和运行操作。但是，上述采用卷积神经网络进行图像数识别方法存在效率低下的问题。
技术实现思路
基于此，有必要针对上述采用卷积神经网络进行图像数识别方法存在效率低下的技术问题，提供一种基于Caffe的数据处理方法、装置和相关产品。第一方面，本专利技术实施例提供了一种基于Caffe的数据处理方法，所述方法包括：获取配置命令；所述配置命令用于指示对Caffe文件进行参数配置；根据所述配置命令，在所述Caffe文件中定义标准化参数和卷积神经网络CNN首层卷积层的算子类型，得到配置后Caffe文件；所述标准化参数表示对CNN卷积层的输入数据进行特征标准化的参数；对所述配置后Caffe文件进行编译，得到可执行文件，并将所述可执行文件在人工智能处理器上运行；所述可执行文件用于指示所述人工智能处理器对所述CNN卷积层的输入数据进行特征标准化，并对所述特征标准化后的数据执行卷积运算。在其中一个实施例中，所述配置后Caffe文件还包括人工智能处理器逻辑和通用处理器逻辑；所述人工智能处理器逻辑表示执行所述Caffe文件中人工智能处理器层时语句执行的顺序；所述通用处理器逻辑表示执行所述Caffe文件中通用处理器层时语句执行的顺序；则，将所述可执行文件在人工智能处理器上运行之前，所述方法包括：根据切换指令在所述可执行文件中增加逻辑切换标识；所述逻辑切换标识用于指示所述CNN卷积层的运算为所述人工智能处理器逻辑。在其中一个实施例中，在所述Caffe文件中定义标准化参数和CNN首层卷积层的算子类型，得到配置后Caffe文件，包括：分别在所述Caffe文件中的卷积层参数中添加所述标准化参数、在所述Caffe文件中的工厂模式中定义所述CNN首层卷积层的算子类型，构成所述配置后Caffe文件。在其中一个实施例中，所述标准化参数为根据预设的模型训练得到的参数。在其中一个实施例中，所述标准化参数包括：减均值参数和缩放参数；所述减均值参数，表征对所述输入数据进行减均值操作；所述缩放参数，表征对所述输入数据进行减均值操作之后的数据进行缩放操作。在其中一个实施例中，所述减均值参数包括第一均值参数或者第二均值参数；所述第一均值参数，表征对所述输入数据在同一个空间位置上的像素进行减均值；或者，所述第二均值参数，表征对所述输入数据的通道进行减均值。第二方面，本专利技术实施例提供一种基于Caffe的数据处理方法，所述方法包括：接收可执行文件，所述可执行文件为计算机设备根据配置后Caffe文件进行编译得到文件；所述配置后的Caffe文件包括标准化参数和CNN首层卷积层的算子类型；根据所述可执行文件，对输入数据进行特征标准化处理，并对特征标准化处理后的输入数据执行卷积运算。在其中一个实施例中，根据所述可执行文件，所述对输入数据进行特征标准化处理，包括：根据可执行文件中携带的算子类型调用的对应函数和减均值参数，对所述输入数据进行减均值操作；根据缩放参数对所述减均值操作后的数据进行缩放处理。在其中一个实施例中，所述根据可执行文件中携带的算子类型调用的对应函数和减均值参数，对所述输入数据进行减均值操作，包括：若所述减均值参数为第一减均值参数，则根据所述可执行文件中携带的算子类型调用的对应函数和所述第一减均值参数，对所述输入数据在同一个空间位置上的像素进行减均值操作。在其中一个实施例中，所述根据可执行文件中携带的算子类型调用的对应函数和减均值参数，对所述输入数据进行减均值操作，包括：若所述减均值参数为第二减均值参数，则根据所述可执行文件中携带的算子类型的调用对应函数和所述第二减均值参数，对所述输入数据中的通道进行减均值操作。第三方面，本专利技术实施例提供一种基于Caffe的数据处理装置，所述装置包括：获取模块，用于获取配置命令；所述配置指令用于指示对Caffe文件进行参数配置；定义模块，用于根据所述配置指令，在所述Caffe文件中定义标准化参数和CNN首层卷积层的算子类型，得到配置后Caffe文件；所述标准化参数表示对CNN卷积层的输入数据进行特征标准化的参数；处理模块，用于对所述配置后Caffe文件进行编译，得到可执行文件，并将所述可执行文件在人工智能处理器上运行；所述可执行文件用于指示所述人工智能处理器对所述CNN卷积层的输入数据进行特征标准化，并对所述特征标准化后的数据执行卷积运算。第四方面，本专利技术实施例提供一种基于Caffe的数据处理装置，所述装置包括：接收模块，用于接收可执行文件，所述可执行文件为计算机设备根据配置后Caffe文件进行编译得到文件；所述配置后的Caffe文件包括标准化参数和CNN首层卷积层的算子类型；运算模块，用于根据所述可执行文件，对输入数据进行特征标准化处理，并对特征标准化处理后的输入数据执行卷积运算。第五方面，本专利技术实施例提供一种基于Caffe的数据处理装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面和第二方面任一项实施例中的方法步骤。第六方面，本专利技术实施例提供一种组合处理装置，所述组合处理装置包括如上述第五方面实施例所述的基于Caffe的数据处理装置、通用互联接口和除所述基于Caffe的数据处理装置以外的其它处理装置；所述基于Caffe的数据处理装置与所述其它处理装置进行交互。第七方面，本专利技术实施例提供一种机器学习芯片，所述机器学习芯片包括如上述第六方面所述的组合处理装置。第八方面，本专利技术实施例提供一种板卡，所述板卡包括如上述第七方面所述的机器学习芯片。第九方面，本专利技术实施例提供一种电子设备，所述电子设备包括如上述第八方面所述的板卡。本申请实施例提供的一种基于Caffe的数据处理方法、装置和相关产品，计算机设备根据配置命令在Caffe文件中定义标准化参数和CNN首层卷积层的算子类型，得到配置后Caffe文件，然后对该配置后Caffe文件编译为可执行文件，并将该可执行文件在人工智能处理器上运行，使得人工智能处理器对CNN卷积层的输入数据进行特征标准化，并对特征标准化后的数据执行卷积运算。由于本方法中，将CNN卷积层的输入数据的特征标准化放进了层里面进行，且，计算机设备在Caffe文件中定义的算子类型为人工智能处理器可以直接操作的算子，这样，人工智能处理本文档来自技高网...

【技术保护点】
1.一种基于Caffe的数据处理方法，其特征在于，所述方法包括：获取配置命令；所述配置命令用于指示对Caffe文件进行参数配置；根据所述配置命令，在所述Caffe文件中定义标准化参数和卷积神经网络CNN首层卷积层的算子类型，得到配置后Caffe文件；所述标准化参数表示对CNN卷积层的输入数据进行特征标准化的参数；对所述配置后Caffe文件进行编译，得到可执行文件，并将所述可执行文件在人工智能处理器上运行；所述可执行文件用于指示所述人工智能处理器对所述CNN卷积层的输入数据进行特征标准化，并对所述特征标准化后的数据执行卷积运算。

【技术特征摘要】
1.一种基于Caffe的数据处理方法，其特征在于，所述方法包括：获取配置命令；所述配置命令用于指示对Caffe文件进行参数配置；根据所述配置命令，在所述Caffe文件中定义标准化参数和卷积神经网络CNN首层卷积层的算子类型，得到配置后Caffe文件；所述标准化参数表示对CNN卷积层的输入数据进行特征标准化的参数；对所述配置后Caffe文件进行编译，得到可执行文件，并将所述可执行文件在人工智能处理器上运行；所述可执行文件用于指示所述人工智能处理器对所述CNN卷积层的输入数据进行特征标准化，并对所述特征标准化后的数据执行卷积运算。2.根据权利要求1所述的方法，其特征在于，所述配置后Caffe文件还包括人工智能处理器逻辑和通用处理器逻辑；所述人工智能处理器逻辑表示执行所述Caffe文件中人工智能处理器层时语句执行的顺序；所述通用处理器逻辑表示执行所述Caffe文件中通用处理器层时语句执行的顺序；则，将所述可执行文件在人工智能处理器上运行之前，所述方法包括：根据切换指令在所述可执行文件中增加逻辑切换标识；所述逻辑切换标识用于指示所述CNN卷积层的运算为所述人工智能处理器逻辑。3.根据权利要求1所述的方法，其特征在于，在所述Caffe文件中定义标准化参数和CNN首层卷积层的算子类型，得到配置后Caffe文件，包括：分别在所述Caffe文件中的卷积层参数中添加所述标准化参数、在所述Caffe文件中的工厂模式中定义所述CNN首层卷积层的算子类型，构成所述配置后Caffe文件。4.根据权利要求1所述的方法，其特征在于，所述标准化参数的取值为根据预设的模型训练得到的数据。5.根据权利要求1所述的方法，其特征在于，所述标准化参数包括：减均值参数和缩放参数；所述减均值参数，表征对所述输入数据进行减均值操作；所述缩放参数，表征对所述输入数据进行减均值操作之后的数据进行缩放操作。6.根据权利要求5所述的方法，其特征在于，所述减均值参数包括第一减均值参数或者第二减均值参数；所述第一减均值参数，表征对所述输入数据在同一空间位置上的像素进行减均值；所述第二减均值参数，表征对所述输入数据的通道进行减均值。7.一种基于Caffe的数据处理方法，其特征在于，所述方法包括：接收可执行文件，所述可执行文件为计算机设备根据配置后Caffe文件进行编译得到文件；所述配置后的Caffe文件包括标准化参数和CNN首层卷积层的算子类型；根据所述可执行文件，对输入数据进行特征标准化处理，并对特征标准化处理后的输入数据执行卷积运算。8.根据权利要求7所述的方法，其特征在于，根据所述可执行文件，对输入数据进行特征标准化处理，包括：根据可执行文件中携带的算子类型...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科寒武纪科技有限公司，
类型：发明
国别省市：北京,11