【技术实现步骤摘要】
本申请涉及计算机，更具体地，涉及一种数据处理方法、装置以及电子设备。
技术介绍
1、在对神经网络模型进行训练之后，训练得到的神经网络模型则可以实现相应的功能。在训练的过程中，可以通过训练样本对待训练的神经网络模型进行训练，以得到能实现所需功能的神经网络模型。其中，训练样本在输入到待训练的神经网络模型之前会进行预处理。但是，相关预处理的效率还有待提升。
技术实现思路
1、鉴于上述问题，本申请提出了一种数据处理方法、装置以及电子设备，以改善上述问题。
2、第一方面，本申请提供了一种数据处理方法，所述方法包括：将数据标识输入到模型训练框架的第一函数中，以通过所述第一函数从数据集中加载对应的样本数据到目标存储区域中；通过第二函数并行对加载到所述目标存储区域中样本数据进行预处理，其中，预处理后的样本数据用于对待训练的神经网络模型进行训练。
3、第二方面，本申请提供了一种数据处理装置，所述装置包括：数据获取单元，用于将数据标识输入到模型训练框架的第一函数中，以通过所述第一函数从数据集中加载对应的样本数据到目标存储区域中；数据处理单元，用于通过第二函数并行对加载到所述目标存储区域中样本数据进行预处理，其中，预处理后的样本数据用于对待训练的神经网络模型进行训练。
4、第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行以实现上述的方法。
5、第四方面，本申请提供了一
6、本申请提供的一种数据处理方法、装置以及电子设备，在该方法中，在获取到数据标识后，可以将数据标识输入到模型训练框架的第一函数中，以通过第一函数从数据集中加载对应的样本数据到目标存储区域中，然后，通过第二函数并行对加载到目标存储区域中样本数据进行预处理。从而通过上述方式使得在第一函数仅支持串行的对样本数据进行加载以及预处理的情况下，可以将对样本数据进行预处理的操作从第一函数中抽离出来，使得第一函数只进行样本数据的加载操作，然后，通过支持并行处理的第二函数来对目标存储区域中样本数据进行并行的预处理，从而提升了对样本数据进行预处理的效率。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过第二函数并行对加载到所述目标存储区域中样本数据进行预处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述第一处理器件为中央处理器或者图形处理器，所述第二处理器件为中央处理器或者图形处理器，且所述第一处理器件与所述第二处理器件不同。
5.根据权利要求1所述的方法，其特征在于，应用于第一设备，所述将数据标识输入到模型训练框架的第一函数中，以通过所述第一函数从数据集中加载对应的样本数据到目标存储区域中，包括：
6.根据权利要求5所述的方法，其特征在于，所述将数据标识发送给对应的目标设备之前还包括：
7.根据权利要求1所述的方法，其特征在于，所述通过第二函数并行对加载到所述目标存储区域中样本数据进行预处理，包括：
8.根据权利要求1-7任一所述的方法，其特征在于，所述模型训练框架为Pytorch训练框架，所述第一函数为getitem函数。<...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过第二函数并行对加载到所述目标存储区域中样本数据进行预处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述第一处理器件为中央处理器或者图形处理器，所述第二处理器件为中央处理器或者图形处理器，且所述第一处理器件与所述第二处理器件不同。
5.根据权利要求1所述的方法，其特征在于，应用于第一设备，所述将数据标识输入到模型训练框架的第一函数中，以通过所述第一函数从数据集中加载对应的样本数据到目标存储区域中，包括：
6.根据权利要求5所述的方法，其特征在于，所述将数据标识发送给...
【专利技术属性】
技术研发人员：彭齐荣，李少军，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。