数据处理方法技术

本申请公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、设备及可读存储介质


[0001]本申请涉及神经网络模型
，更具体的说，是涉及一种数据处理方法
、
装置
、
设备及可读存储介质
。

技术介绍

[0002]随着深度学习技术的发展，神经网络模型的结构开始由简入繁，提升了表征能力，使得神经网络模型可以执行图像处理任务
、
语音处理任务
、
文本处理任务
、
视频处理任务等任务，为了实现高效
、
低延迟的数据处理和分析，在神经网络模型执行任务时，往往采用流式处理的方式
。
神经网络模型的流式处理方式指的是对任务数据进行裁剪分段输入神经网络模型中进行处理，神经网络模型对分段任务数据的处理结果进行拼接，得到完整任务数据的处理结果
。
[0003]神经网络模型的计算图是一种包含模型结构和功能的中间表示
(Intermediate Representation
，
IR)
，计算图中包括节点和边，其中的节点用于表示目标模型中需要执行的算子，算子是构成神经网络模型的基本计算单元，例如可以是执行卷积
、
池化等运算的计算单元，边用于连接节点，以展示目标模型运行过程中各算子之间的运行逻辑
。
神经网络模型的部署，是指把训练好的神经网络模型的计算图部署在特定环境中
(
如服务器或嵌入式设备
)
的过程，在神经网络模型部署完成之后，即可基于计算图实现对任务数据的推理
。
[0004]在某些场景下，神经网络模型在对不同分段任务数据处理时，不同分段任务数据处理方式可能不同，这种情况下，神经网络模型对应多种计算图，这无疑增大了神经网络模型的部署资源需求
。

技术实现思路

[0005]鉴于上述问题，本申请提出了一种数据处理方法
、
装置
、
设备及可读存储介质
。
具体方案如下：
[0006]一种数据处理方法，所述方法包括：
[0007]获取待处理数据；
[0008]采用预设填充值对所述待处理数据进行尾部填充，得到填充后的待处理数据，并对所述填充后的待处理数据进行分段，得到多个数据片段；所述多个数据片段中包括多个有效数据片段以及一个无效数据片段，所述无效数据片段中只包括所述预设填充值；
[0009]针对每个数据片段，获取所述数据片段各处理阶段的历史输入数据，利用所述数据片段各处理阶段的历史输入数据对所述数据片段进行处理，并确定所述数据片段的下一数据片段在各处理阶段的历史输入数据
。
[0010]可选地，所述利用所述数据片段各处理阶段的历史输入数据对所述数据片段进行处理，并确定所述数据片段的下一数据片段在各处理阶段的历史输入数据，包括：
[0011]针对所述数据片段的每个处理阶段，将所述处理阶段的历史输入数据与所述处理阶段的当前输入数据进行拼接，得到所述处理阶段的实际输入数据；对所述处理阶段的实
际输入数据进行处理，得到所述处理阶段的输出数据；确定所述数据片段的下一数据片段在该处理阶段的历史输入数据
。
[0012]可选地，所述确定所述数据片段的下一数据片段在该处理阶段的历史输入数据，包括：
[0013]利用预设算子从所述处理阶段的当前输入数据或所述处理阶段的实际输入数据中，确定所述数据片段的下一数据片段在该处理阶段的历史输入数据
。
[0014]可选地，针对首个所述数据片段，所述获取所述数据片段各处理阶段的历史输入数据，包括：
[0015]获取预先确定的首个所述数据片段各处理阶段的历史输入数据
。
[0016]可选地，所述首个所述数据片段各处理阶段的历史输入数据的确定方式，包括：
[0017]基于各处理阶段所需历史输入数据的长度，确定预设数据片段，所述预设数据片段中包括多个所述预设填充值；
[0018]对所述预设数据片段进行各处理阶段的处理，得到所述首个所述数据片段各处理阶段的历史输入数据
。
[0019]可选地，所述对所述预设数据片段进行各处理阶段的处理，得到所述首个所述数据片段各处理阶段的历史输入数据，包括：
[0020]针对所述预设数据片段的每个处理阶段，确定所述处理阶段的当前输入数据，从所述处理阶段的当前输入数据中确定所述首个所述数据片段在所述处理阶段的历史数据；其中，首个处理阶段的当前输入数据为所述预设数据片段；非首个处理阶段的当前输入数据为上一处理阶段的输出数据
。
[0021]可选地，在各个所述数据片段处理完毕之后，所述方法还包括：
[0022]获取各个所述数据片段最后一个处理阶段的输出数据；
[0023]基于目标数据片段最后一个处理阶段的输出数据，得到所述待处理数据的处理结果，所述目标数据片段为有效数据片段
。
[0024]一种数据处理装置，所述装置包括：
[0025]获取单元，用于获取待处理数据；
[0026]分段单元，用于采用预设填充值对所述待处理数据进行尾部填充，得到填充后的待处理数据，并对所述填充后的待处理数据进行分段，得到多个数据片段；所述多个数据片段中包括多个有效数据片段以及一个无效数据片段，所述无效数据片段中只包括所述预设填充值；
[0027]数据片段处理单元，用于针对每个数据片段，获取所述数据片段各处理阶段的历史输入数据，利用所述数据片段各处理阶段的历史输入数据对所述数据片段进行处理，并确定所述数据片段的下一数据片段在各处理阶段的历史输入数据
。
[0028]可选地，所述数据片段处理单元，包括：
[0029]阶段处理单元，用于针对所述数据片段的每个处理阶段，将所述处理阶段的历史输入数据与所述处理阶段的当前输入数据进行拼接，得到所述处理阶段的实际输入数据；对所述处理阶段的实际输入数据进行处理，得到所述处理阶段的输出数据；确定所述数据片段的下一数据片段在该处理阶段的历史输入数据
。
[0030]可选地，所述阶段处理单元，具体用于：
[0031]利用预设算子从所述处理阶段的当前输入数据或所述处理阶段的实际输入数据中，确定所述数据片段的下一数据片段在该处理阶段的历史输入数据
。
[0032]可选地，所述阶段处理单元，具体用于：
[0033]针对首个所述数据片段，获取预先确定的首个所述数据片段各处理阶段的历史输入数据
。
[0034]可选地，所述装置还包括首个数据片段各处理阶段的历史输入数据确定单元，所述首个数据片段各处理阶段的历史输入数据确定单元，包括：
[0035]预设数据片段确定单元，用于基于各处理阶段所需历史输入数据的长度，确定预设数据片段，所述预设数据片段中包括多个所述预设填充值；
[0036]预设数据片段处理单元，用于对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，所述方法包括：获取待处理数据；采用预设填充值对所述待处理数据进行尾部填充，得到填充后的待处理数据，并对所述填充后的待处理数据进行分段，得到多个数据片段；所述多个数据片段中包括多个有效数据片段以及一个无效数据片段，所述无效数据片段中只包括所述预设填充值；针对每个数据片段，获取所述数据片段各处理阶段的历史输入数据，利用所述数据片段各处理阶段的历史输入数据对所述数据片段进行处理，并确定所述数据片段的下一数据片段在各处理阶段的历史输入数据
。2.
根据权利要求1所述的方法，其特征在于，所述利用所述数据片段各处理阶段的历史输入数据对所述数据片段进行处理，并确定所述数据片段的下一数据片段在各处理阶段的历史输入数据，包括：针对所述数据片段的每个处理阶段，将所述处理阶段的历史输入数据与所述处理阶段的当前输入数据进行拼接，得到所述处理阶段的实际输入数据；对所述处理阶段的实际输入数据进行处理，得到所述处理阶段的输出数据；确定所述数据片段的下一数据片段在该处理阶段的历史输入数据
。3.
根据权利要求2所述的方法，其特征在于，所述确定所述数据片段的下一数据片段在该处理阶段的历史输入数据，包括：利用预设算子从所述处理阶段的当前输入数据或所述处理阶段的实际输入数据中，确定所述数据片段的下一数据片段在该处理阶段的历史输入数据
。4.
根据权利要求1所述的方法，其特征在于，针对首个所述数据片段，所述获取所述数据片段各处理阶段的历史输入数据，包括：获取预先确定的首个所述数据片段各处理阶段的历史输入数据
。5.
根据权利要求4所述的方法，其特征在于，所述首个所述数据片段各处理阶段的历史输入数据的确定方式，包括：基于各处理阶段所需历史输入数据的长度，确定预设数据片段，所述预设数据片段中包括多个所述预设填充值；对所述预设数据片段进行各处理阶段的处理，得到所述首个...

【专利技术属性】
技术研发人员：徐昌贵，赵彬，胡国平，吴江照，
申请(专利权)人：合肥智能语音创新发展有限公司，
类型：发明
国别省市：