本申请提供一种数据处理方法、装置、电子设备及存储介质，该方法包括：按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，直至所有处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。通过利用若干个处理层实现数据管理，且处理层中的处理单元所依据的有效数据管理逻辑较为简单，每个处理单元都能快速实现元素移位处理，从而提高了有效数据的管理效率。的管理效率。的管理效率。
【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质
[0001]本申请涉及集成电路
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]目前，计算机和集成电路技术得到了高速发展，计算机内部芯片在得到输入数据后，首先将对输入数据进行预处理，以使输入数据中的有效数据和无效数据能够得到区分。
[0003]在现有技术中，通常基于芯片的通用处理器运行预设的循环算法，来对输入数据中的每个元素进行有效性判断，然后再调整输入数据中的元素位置，以实现有效数据的筛选和合并。
[0004]但是，由于输入数据常常为高维向量数据，若基于现有技术进行有效数据管理，则需要进行大量的循环运算，无法保证有效数据管理效率。
技术实现思路
[0005]本申请提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术无法保证有效数据管理效率等缺陷。
[0006]本申请第一个方面提供一种数据处理方法，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，所述方法包括：获取待处理数据；其中，所述待处理数据中每个元素携带有类别标签，所述类别标签分为有效标签和无效标签两类；按照所述待处理数据的元素原始排列顺序，将所述待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各所述处理单元，根据预设的有效数据管理逻辑和所述元素的类别标签，进行元素移位，并基于所述数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对所述待处理数据的元素进行移位，直至所有所述处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据。
[0007]可选的，所述处理单元根据预设的有效数据管理逻辑和所述元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到所述上层处理单元。
[0008]可选的，还包括：检测所述待处理数据的元素有效率；根据所述元素有效率和所述待处理数据的数据长度，确定所述处理层的部署需求信息。
[0009]可选的，检测所述待处理数据的元素有效率，包括：根据所述待处理数据中各元素携带的类别标签，从所述待处理数据中定位有效元素；根据所述待处理数据中的有效元素量和所述待处理数据的数据长度，确定所述待处理数据的元素有效率。
[0010]可选的，在得到处理后的目标数据之后，所述方法还包括：检测所述目标数据中的有效元素量；比较所述目标数据中的有效元素量和待处理数据中的有效元素量是否一致；当所述目标数据中的有效元素量和待处理数据中的有效元素量不一致时，进行数据处理异常报警。
[0011]可选的，还包括：判断当前得到的所有所述目标数据中的有效元素总量是否达到有效元素获取需求；若当前得到的所有所述目标数据中的有效元素总量未达到有效元素获取需求，则获取新的待处理数据，以增添目标数据。
[0012]可选的，在得到处理后的目标数据之后，所述方法还包括：根据所述目标数据的元素排列顺序和各所述元素所携带的类别标签，判断所述目标数据是否达到有效数据管理标准；当所述目标数据未达到所述有效数据管理标准时，按照所述目标数据的元素排列顺序，将所述目标数据中的元素依次输入到首个处理层的各个处理单元，以重新对所述目标数据进行元素移位操作，得到新的目标数据。
[0013]本申请第二个方面提供一种数据处理装置，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，所述装置包括：获取模块，用于获取待处理数据；其中，所述待处理数据中每个元素携带有类别标签，所述类别标签分为有效标签和无效标签两类；输入模块，用于按照所述待处理数据的元素原始排列顺序，将所述待处理数据中的元素依次输入到首个处理层的各个处理单元；处理模块，用于基于各所述处理单元，根据预设的有效数据管理逻辑和所述元素的类别标签，进行元素移位，并基于所述数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对所述待处理数据的元素进行移位，直至所有所述处理层的处理单元完成元素移位操作；输出模块，用于按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据。
[0014]可选的，所述处理单元根据预设的有效数据管理逻辑和所述元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到所述上层处理单元。
[0015]可选的，所述装置还包括：判断模块，用检测所述待处理数据的元素有效率；根据所述元素有效率和所述待
处理数据的数据长度，确定所述处理层的部署需求信息。
[0016]可选的，所述判断模块，具体用于：根据所述待处理数据中各元素携带的类别标签，从所述待处理数据中定位有效元素；根据所述待处理数据中的有效元素量和所述待处理数据的数据长度，确定所述待处理数据的元素有效率。
[0017]可选的，所述判断模块，还用于：检测所述目标数据中的有效元素量；比较所述目标数据中的有效元素量和待处理数据中的有效元素量是否一致；当所述目标数据中的有效元素量和待处理数据中的有效元素量不一致时，进行数据处理异常报警。
[0018]可选的，所述判断模块，还用于：判断当前得到的所有所述目标数据中的有效元素总量是否达到有效元素获取需求；若当前得到的所有所述目标数据中的有效元素总量未达到有效元素获取需求，则获取新的待处理数据，以增添目标数据。
[0019]可选的，所述判断模块，还用于：根据所述目标数据的元素排列顺序和各所述元素所携带的类别标签，判断所述目标数据是否达到有效数据管理标准；当所述目标数据未达到所述有效数据管理标准时，按照所述目标数据的元素排列顺序，将所述目标数据中的元素依次输入到首个处理层的各个处理单元，以重新对所述目标数据进行元素移位操作，得到新的目标数据。
[0020]本申请第三个方面提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
[0021]本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
[0022]本申请技术方案，具有如下优点：本申请提供一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取待处理数据；其中，待处理数据中每个元素携带有类别标签，类别标签分为有效标签和无效标签两类；按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，其特征在于，所述方法包括：获取待处理数据；其中，所述待处理数据中每个元素携带有类别标签，所述类别标签分为有效标签和无效标签两类；按照所述待处理数据的元素原始排列顺序，将所述待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各所述处理单元，根据预设的有效数据管理逻辑和所述元素的类别标签，进行元素移位，并基于所述数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对所述待处理数据的元素进行移位，直至所有所述处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据。2.根据权利要求1所述的方法，其特征在于，所述处理单元根据预设的有效数据管理逻辑和所述元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到所述上层处理单元。3.根据权利要求1所述的方法，其特征在于，还包括：检测所述待处理数据的元素有效率；根据所述元素有效率和所述待处理数据的数据长度，确定所述处理层的部署需求信息。4.根据权利要求3所述的方法，其特征在于，检测所述待处理数据的元素有效率，包括：根据所述待处理数据中各元素携带的类别标签，从所述待处理数据中定位有效元素；根据所述待处理数据中的有效元素量和所述待处理数据的数据长度，确定所述待处理数据的元素有效率。5.根据权利要求4所述的方法，其特征在于，在得到处理后的目标数据之后，所述方法还包括：检测所述目标数据中的有效元素量；比较所述目标数据中的有效元素量和待处理数据中的有效元素量是否一致；当所述目标数据中的有效元素量和待处理数据中的有效元素量不一致时，进行数据处理异常报警。6.根据权利要求5所述的方法，其特征在于，还包括：判断当前得到的所有所述目标数据中的有效元素总量是...
【专利技术属性】
技术研发人员：孔令军，庞兆春，林宁亚，王贤坤，宋琪，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。