数据处理方法和装置、存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置、存储介质及电子装置。其中，该方法包括：读取数据处理指令，数据处理指令中携带有用于对待处理的目标数据流执行张量运算的多个指令域，每个指令域用于指示在张量运算过程中所要调用的参数；根据数据处理指令，确定在每个处理周期内所要处理的目标数据流中的对象数据对应的对象存储地址，以及对对象数据所执行的对象处理操作；在处理周期内从对象存储地址中读取对象数据，并通过并行执行模块对对象数据执行对象处理操作，并行执行模块包括与对象处理操作对应的多个并行操作算子；存储并行执行模块返回的处理结果。本发明专利技术解决了由于需要多条数据处理指令来完成处理操作，导致数据处理效率较低的问题。

Data processing method and device, storage medium and electronic device

【技术实现步骤摘要】
数据处理方法和装置、存储介质及电子装置
本专利技术涉及计算机领域，具体而言，涉及一种数据处理方法和装置、存储介质及电子装置。
技术介绍
目前，在深度神经网络模型的数据处理过程中，通常都是通过指令配置用于支持对标量或向量进行计算的算子，以实现对标量或向量的逻辑运算。然而，针对操作量较大的张量(Tensor)，往往需要配置多个逻辑运算的算子，通过多条指令循环执行多次运算过程，才能得到处理结果，使得数据处理操作较复杂，导致数据处理效率较低的问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据处理方法和装置、存储介质及电子装置，以至少解决由于需要多条数据处理指令来完成处理操作，导致数据处理效率较低的技术问题。根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：读取数据处理指令，其中，上述数据处理指令中携带有用于对待处理的目标数据流执行张量运算的多个指令域，每个上述指令域用于指示在上述张量运算过程中执行的一种处理操作；根据上述数据处理指令，确定在每个处理周期本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n读取数据处理指令，其中，所述数据处理指令中携带有用于对待处理的目标数据流执行张量运算的多个指令域，每个所述指令域用于指示在所述张量运算过程中所要调用的参数；/n根据所述数据处理指令，确定在每个处理周期内所要处理的所述目标数据流中的对象数据对应的对象存储地址，以及对所述对象数据所执行的对象处理操作；/n在所述处理周期内从所述对象存储地址中读取所述对象数据，并通过并行执行模块对所述对象数据执行所述对象处理操作，其中，所述并行执行模块包括与所述对象处理操作对应的多个并行操作算子；/n存储所述并行执行模块返回的处理结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
读取数据处理指令，其中，所述数据处理指令中携带有用于对待处理的目标数据流执行张量运算的多个指令域，每个所述指令域用于指示在所述张量运算过程中所要调用的参数；
根据所述数据处理指令，确定在每个处理周期内所要处理的所述目标数据流中的对象数据对应的对象存储地址，以及对所述对象数据所执行的对象处理操作；
在所述处理周期内从所述对象存储地址中读取所述对象数据，并通过并行执行模块对所述对象数据执行所述对象处理操作，其中，所述并行执行模块包括与所述对象处理操作对应的多个并行操作算子；
存储所述并行执行模块返回的处理结果。


2.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理指令，确定在每个处理周期内所要处理的所述目标数据流中的对象数据对应的对象存储地址，以及对所述对象数据所执行的对象处理操作包括：
解析所述数据处理指令，得到所述多个指令域；
根据所述多个指令域，确定在每个所述处理周期内所要处理的所述对象数据的数据类型以及所述对象处理操作的操作标识；
在所述对象数据的数据类型包括权值参数的情况下，从权值缓存中确定出所要加载的所述权值参数的参数对象存储地址；
在所述对象数据的数据类型包括待处理数据的情况下，从数据缓存中确定出所要加载的所述待处理数据的数据对象存储地址。


3.根据权利要求2所述的方法，其特征在于，所述在所述处理周期内从所述对象存储地址中读取所述对象数据，并通过并行执行模块对所述对象数据执行所述对象处理操作包括：
在所述操作标识指示所述对象处理操作为逻辑运算处理操作的情况下，将读取到的所述对象数据输入所述并行执行模块中用于实现逻辑运算处理的多个第一并行操作算子；
在所述操作标识指示所述对象处理操作为数据整型操作的情况下，将读取到的所述对象数据输入所述并行执行模块中用于实现数据整型处理的多个第二并行操作算子。


4.根据权利要求1所述的方法，其特征在于，所述在所述处理周期内从所述对象存储地址中读取所述对象数据，并通过并行执行模块对所述对象数据执行所述对象处理操作包括：
根据所述数据处理指令确定所述对象数据的格式均为张量的情况下，从所述对象存储地址中读取格式为张量的所述对象数据；
通过所述并行执行模块中的多个并行操作算子对所述对象数据执行所述对象处理操作。


5.根据权利要求4所述的方法，其特征在于，在所述对象数据是深度为N的张量，且所述并行执行模块中包括M个并行操作算子的情况下，所述通过所述并行执行模块中的多个并行操作算子对所述对象数据执行所述对象处理操作包括：
在M<N的情况下，根据N/M的上取整结果对所述对象数据进行拆分，得到多个张量数据片段；依次读取每个所述张量数据片段，并在每个所述处理周期内将所述张量数据片段中每个位置上的向量在深度上的分量分别输入每个并行操作算子中执行所述对象处理操作；
在M≥N的情况下，在每个所述处理周期内将所述对象数据中每个位置上的向量在深度上的分量分别输入每个并行操作算子中执行所述对象处理操作。


6.根据权利要求1所述的方法，其特征在于，所述在所述处理周期内从所述对象存储地址中读取所述对象数据，并通过并行执行模块对所述对象数据执行所述对象处理操作包括：
根据所述数据处理指令确定所述对象数据包括格式为张量的第一对象数据及格式为标量的第二对象数据的情况下，从所述对象存储地址中读取所述第一对象数据，并从所述指令域中解析出所述第二对象数据；
对所述第二对象数据进行复制，以生成参数向量，其中，所述参数向量的长度等于所述多个并行操作算子的数量；
将所述参数向量的分量分别输入所述多个并行操作算子中；
通过所述多个并行操作算子，对所述第一对象数据及所述参数向量执行所述对象处理操作。


7.根据权利要求1所述的方法，其特征在于，所述在所述处理周期内从所述对象存储地...

【专利技术属性】
技术研发人员：于潇宇，陈德炜，熊焰，章恒，严靖琳，孟玉，李嘉昕，高剑林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44