【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
[0001]本申请涉及但不限于计算机视觉
，尤其涉及一种数据处理方法、 装置、设备及存储介质。
技术介绍
[0002]深度学习框架迭代一次神经网络通常包括四个步骤：数据处理、神经网络 前向计算、反向计算网络参数梯度以及更新网络参数。
[0003]虽然不同的深度学习框架迭代一次神经网络的步骤基本一致，但每个步骤 具体的实现以及接口有较大区别，数据处理步骤尤为突出，导致一个深度学习 框架数据处理的脚本不能直接用于另一个深度学习框架。
技术实现思路
[0004]有鉴于此，本申请实施例至少提供一种数据处理方法、装置、设备及存储 介质。
[0005]本申请实施例的技术方案是这样实现的：
[0006]一方面，本申请实施例提供一种数据处理方法，所述方法包括：采样批量 数据接口调用采样单个数据接口至少两次组成批量样本；所述批量样本包括至 少两个预处理操作后的样本；所述采样单个数据接口接收待采样的数据集和采 样的索引序列；所述采样单个数据接口，基于所述采样的索引...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：采样批量数据接口调用采样单个数据接口至少两次组成批量样本；所述批量样本包括至少两个预处理操作后的样本；所述采样单个数据接口接收待采样的数据集和采样的索引序列；所述采样单个数据接口，基于所述采样的索引序列调用读取数据样本接口，得到对从所述待采样的数据集中采样的样本进行所述预处理操作后的样本。2.根据权利要求1所述的方法，其特征在于，所述采样单个数据接口，基于所述采样的索引序列调用读取数据样本接口，得到对从所述待采样的数据集中采样的样本进行所述预处理操作后的样本，包括：所述采样单个数据接口接收所述采样的索引序列中的当前索引后，调用所述读取数据样本接口；所述读取数据样本接口基于所述当前索引对所述待采样的数据集进行采样，得到当前样本；所述读取数据样本接口，对所述当前样本进行预处理操作。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：采样器按照所述采样的索引序列依次确定所述当前索引，并记录所述当前索引。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：构造采样器接口基于采样器配置参数，生成所述采样器，所述采样器配置参数包括以下至少之一：批量化大小(batch_size)、是否进行打乱数据集、是否在读取完数据集后重复开始、以及是否在结束读取后丢弃最后一批次数据(drop_last_batc)。5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：所述构造采样器接口基于所述采样器配置参数和所述待采样的数据集，生成所述采样的索引序列。6.根据权利要求2至5任一项所述的方法，其特征在于，所述读取数据样本接口，对所述当前样本进行预处理操作，包括以下至少之一：样本的加载操作、图像预处理操作以及数据格式的转换操作。7.根据权利要求1至6任一项所述的方法，其特征在于，所述预处理操作后的样本满足深度学习模块要求的输入格式。8.根据权利要求1至7任一项所述的方法，其特征在于，所述采样批量数据接口获取批量化大小；所述采样批量数据接口确定当前已经获得的所述预处理操作后的样本的数量；在所述预处理操作后的样本的数量小于所述批量化大小的情况下，所述采样批量数据接口继续调用所述采样单个数据接口得到所述预处理操作后的样本，直至所述预处理操作后的样本的数量等于所述批量化大小。9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：数据集构造器接口，根据接收到的数据集路径构造所述待采样的数据集。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：所述数据集构造器接口将构造的所述待采样的数据集返回给所述构造采样器接口、所
述读取数据样本接口、所述采样单个数据接口和所述采样批量数据接口。11.根据权利要求9所述的方法，其特征在于，所述数据集构造器接口，根据接收到的数据集路径构造所述待采样的数据集，包括：所述数据集构造器接口根据所述数据集路径和待构造的数据集相关的参数，构造所述待采样的数据集；其中，所述待构造的数据集相关的参数包括以下至少之一：所述待构造的数据集中的样本是否已标注，以及所述待构造的数据集的属性。12.一种数据处理装置，其特征在于，包括：采样批量数据接口，用于调用采样单个数据接口至少两次组成批量样本...
【专利技术属性】
技术研发人员：陈恺，钱晨，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。