一种数据处理方法和装置制造方法及图纸

本申请公开一种数据处理方法和装置，数据处理方法包括：获取包含第一目标数据的至少一个第一目标数据对象，各个第一目标数据对象中的第一目标数据至少包括各个数据处理通道对应的所有有效数据；每个第一目标数据对应相应位置信息，用于指示第一目标数据对应的第二目标数据的位置；所述第一目标数据对象的数量小于所述数据处理通道的数量；根据第一目标数据对应的位置信息，从各个数据处理通道分别对应的第二数据对象所包含的待处理数据中获取对应的第二目标数据；对第一目标数据和对应的第二目标数据进行数据处理。二目标数据进行数据处理。二目标数据进行数据处理。

【技术实现步骤摘要】
一种数据处理方法和装置


[0001]本申请属于人工智能
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]神经网络(Neural Networks，NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统。目前，在基于神经网络模型的数据处理中，存在数据存储与带宽需求高、计算性能低等一系列问题，如何解决这些问题，成为本领域一个技术难点。

技术实现思路

[0003]为此，本申请公开如下技术方案：
[0004]一种数据处理方法，所述方法包括：
[0005]获取包含第一目标数据的至少一个第一目标数据对象，各个第一目标数据对象中的第一目标数据至少包括各个数据处理通道对应的所有有效数据；每个第一目标数据对应相应位置信息，用于指示第一目标数据对应的第二目标数据的位置；所述第一目标数据对象的数量小于所述数据处理通道的数量；
[0006]根据所述第一目标数据对应的位置信息，从各个数据处理通道分别对应的第二数据对象所包含的待处理数据中获取对应的第二目标数据；
[0007]对所述第一目标数据和对应的第二目标数据进行数据处理。
[0008]可选的，每个第一目标数据对象的稀疏度小于设定阈值；所述稀疏度用于表征所述第一目标数据对象中无效数据的占比。
[0009]可选的，所述第一目标数据对象的形成方法包括：
[0010]基于模型训练过程，为每个数据处理通道生成对应的第一数据对象；
[0011]整合各个数据处理通道分别对应的第一数据对象中的有效数据，得到所述至少一个第一目标数据对象。
[0012]可选的，所述整合各个数据处理通道分别对应的第一数据对象中的有效数据，包括：
[0013]确定各个第一数据对象中的无效数据与有效数据；
[0014]将部分数量第一数据对象包含的有效数据，搬移至所述部分数量第一数据对象以外的第一数据对象中无效数据所处位置；所述至少一个第一目标数据对象包括完成搬移后所得的至少包含各个有效数据的第一数据对象。
[0015]可选的，所述根据所述第一目标数据对应的位置信息，从各个数据处理通道分别对应的第二数据对象所包含的待处理数据中获取对应的第二目标数据，包括：
[0016]对于所述第一目标数据对象中的每一第一目标数据，获取目标数据处理通道对应的第二数据对象中对应于目标位置的待处理数据，作为所述第一目标数据对应的第二目标数据；
[0017]其中，所述目标数据处理通道和所述目标位置，分别为所述第一目标数据的位置信息指示的数据处理通道及在所指示数据处理通道内的相应位置。
[0018]可选的，所述对所述第一目标数据和对应的第二目标数据进行数据处理，包括：
[0019]为每一第一目标数据对象分配对应的可用硬件处理通道，利用对应的可用硬件处理通道对相应第一目标数据对象内的第一目标数据和对应的第二目标数据进行数据处理；
[0020]或，按预设均衡策略，将各个第一目标数据和对应的第二目标数据所形成的待处理数据对按数量均衡分配至不同的可用硬件处理通道，利用对应的可用硬件处理通道对分配的待处理数据对进行数据处理。
[0021]可选的，所述方法，包括对预设的多个功能层所对应的第一目标数据和第二目标数据的数据处理；每个功能层对应多个数据处理通道，且每个功能层对应待处理的至少一个第一目标数据对象及在所对应各个数据处理通道上的第二数据对象，各个功能层之间依次串接；
[0022]所述整合各个所述数据处理通道分别对应的第一数据对象中的有效数据包括：
[0023]确定当前功能层在各个数据处理通道上分别对应的第一数据对象中的无效数据，与有效数据中对下游功能层的数据处理无价值的非价值数据；
[0024]将所述当前功能层对应的第一数据对象中部分数量第一数据对象包含的目标有效数据，搬移至所述当前功能层中所述部分数量第一数据对象以外的第一数据对象中无效数据和非价值数据所处位置；
[0025]其中，所述当前功能层对应的所述至少一个第一目标数据对象包括对所述当前功能层完成搬移后所得的至少包含各个有效数据的第一数据对象；所述第一数据对象包含的目标有效数据为所述第一数据对象中无效数据和非价值数据以外的数据。
[0026]可选的，所述非价值数据的确定过程包括：
[0027]若所述多个功能层中第一功能层所对应的各个第一数据对象中存在第一数据对象包括无效数据，从所述第一功能层的上游功能层对应的各个第一数据对象中确定对应的数据处理结果会被所述无效数据无效掉的待处理数据，作为所述非价值数据。
[0028]可选的，所述第一目标数据对象的形成方法，还包括：
[0029]确定各个数据处理通道分别对应的第一数据对象中的数据是否满足稀疏化条件，在满足情况下触发所述整合各个数据处理通道分别对应的第一数据对象中的有效数据，得到所述至少一个第一目标数据对象的步骤。
[0030]一种数据处理装置，所述装置包括：
[0031]第一获取单元，用于获取包含第一目标数据的至少一个第一目标数据对象，各个第一目标数据对象中的第一目标数据至少包括各个数据处理通道对应的所有有效数据；每个第一目标数据对应相应位置信息，用于指示第一目标数据对应的第二目标数据的位置；所述第一目标数据对象的数量小于所述数据处理通道的数量；
[0032]第二获取单元，用于根据所述第一目标数据对应的位置信息，从各个数据处理通道分别对应的第二数据对象所包含的待处理数据中获取对应的第二目标数据；
[0033]数据处理单元，用于对所述第一目标数据和对应的第二目标数据进行数据处理。
[0034]由以上方案可知，本申请公开一种数据处理方法和装置，数据处理方法包括：获取包含第一目标数据的至少一个第一目标数据对象，各个第一目标数据对象中的第一目标数
据至少包括各个数据处理通道对应的所有有效数据；每个第一目标数据对应相应位置信息，用于指示第一目标数据对应的第二目标数据的位置；所述第一目标数据对象的数量小于所述数据处理通道的数量；根据第一目标数据对应的位置信息，从各个数据处理通道分别对应的第二数据对象所包含的待处理数据中获取对应的第二目标数据；对第一目标数据和对应的第二目标数据进行数据处理。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其它的附图。
[0036]图1是本申请提供的有效数据整合前后的计算量对比示例；
[0037]图2是本申请提供的数据处理方法流程图；
[0038]图3是本申请提供的形成第一目标数据对象的一种流程图；
[0039]图4(a)是本申请提供的各个输入通道对应的稀疏权重矩阵示例；
[0040]图4(b)是本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，所述方法包括：获取包含第一目标数据的至少一个第一目标数据对象，各个第一目标数据对象中的第一目标数据至少包括各个数据处理通道对应的所有有效数据；每个第一目标数据对应相应位置信息，用于指示第一目标数据对应的第二目标数据的位置；所述第一目标数据对象的数量小于所述数据处理通道的数量；根据所述第一目标数据对应的位置信息，从各个数据处理通道分别对应的第二数据对象所包含的待处理数据中获取对应的第二目标数据；对所述第一目标数据和对应的第二目标数据进行数据处理。2.根据权利要求1所述的方法，每个第一目标数据对象的稀疏度小于设定阈值；所述稀疏度用于表征所述第一目标数据对象中无效数据的占比。3.根据权利要求1所述的方法，所述第一目标数据对象的形成方法包括：基于模型训练过程，为每个数据处理通道生成对应的第一数据对象；整合各个数据处理通道分别对应的第一数据对象中的有效数据，得到所述至少一个第一目标数据对象。4.根据权利要求3所述的方法，所述整合各个数据处理通道分别对应的第一数据对象中的有效数据，包括：确定各个第一数据对象中的无效数据与有效数据；将部分数量第一数据对象包含的有效数据，搬移至所述部分数量第一数据对象以外的第一数据对象中无效数据所处位置；所述至少一个第一目标数据对象包括完成搬移后所得的至少包含各个有效数据的第一数据对象。5.根据权利要求1所述的方法，所述根据所述第一目标数据对应的位置信息，从各个数据处理通道分别对应的第二数据对象所包含的待处理数据中获取对应的第二目标数据，包括：对于所述第一目标数据对象中的每一第一目标数据，获取目标数据处理通道对应的第二数据对象中对应于目标位置的待处理数据，作为所述第一目标数据对应的第二目标数据；其中，所述目标数据处理通道和所述目标位置，分别为所述第一目标数据的位置信息指示的数据处理通道及在所指示数据处理通道内的相应位置。6.根据权利要求1所述的方法，所述对所述第一目标数据和对应的第二目标数据进行数据处理，包括：为每一第一目标数据对象分配对应的可用硬件处理通道，利用对应的可用硬件处理通道对相应第一目标数据对象内的第一目标数据和对应的第二目标数据进行数据处理；或，按预设均衡策略，将各个第一目标数据和对应的第二目标数据所形成的待处理数据对按数量均衡分配至不同的可用硬件处理通道，利用对应的...

【专利技术属性】
技术研发人员：陈勇，
申请(专利权)人：鼎道智芯上海半导体有限公司，
类型：发明
国别省市：