一种数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质，该方法的步骤包括：获取样本数据；基于多线程以并行方式对样本数据执行数据预处理操作得到预处理数据；利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，TensorFlow深度学习框架基于TensorFlow官方源码编译安装于GPU设备。本方法能够确保GPU设备对预处理数据进行训练时硬件性能得到充分利用，进而相对提高了GPU设备中TensorFlow深度学习框架的数据训练效率。此外，本发明专利技术还提供一种数据处理装置、设备及存储介质，有益效果同上所述。

A data processing method, device, equipment and storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质
本专利技术涉及深度学习领域，特别是涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
随着GPU(GraphicsProcessingUnit，图形处理器)计算设备近十几年的快速发展，为科学计算和并行计算带来了巨大的性能提升，从最初的集成式GPU核心到独立式GPU核心再到当前的GPGPU(GeneralPurposeGPU，通用计算图形处理器)，该过程不仅让视频、图像的处理速度和性能变得更加高效，同时也能够对当下的深度学习算法提供硬件支持，因此使用GPU进行基于深度学习的数据训练成为目前深度学习领域的常用方式。TensorFlow深度学习框架是目前流行的深度学习框架之一，由于深度学习的训练过程需要大量的样本数据作为支持，因此当前基于TensorFlow深度学习框架对样本数据进行训练的整体效率是当前本领域技术人员所关注的重点，而现阶段在优化GPU中TensorFlow深度学习框架的数据训练效率时往往无章可循。由此可见，提供一种数据处理方法，以相对提高GPU中TensorFlow深度学习框架的数据训练效率，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的是提供一种数据处理方法、装置、设备及存储介质，以相对提高GPU中TensorFlow深度学习框架的数据训练效率。为解决上述技术问题，本专利技术提供一种数据处理方法，应用于GPU设备，包括：获取样本数据；基于多线程以并行方式对样本数据执行数据预处理操作得到预处理数据；利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，TensorFlow深度学习框架基于TensorFlow官方源码编译安装于GPU设备。优选的，在利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果之前，方法还包括：在TensorFlow深度学习框架中安装XLA框架；利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，包括：利用安装有XLA框架的TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果。优选的，利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，包括：利用TensorFlow深度学习框架以预处理数据对应的最低训练精度对预处理数据执行卷积训练得到训练结果，最低训练精度为训练精度中能够正常训练预处理数据且数值最小的精度。优选的，训练精度包括32位的浮点数精度以及16位的浮点数精度；利用TensorFlow深度学习框架以预处理数据对应的最低训练精度对预处理数据执行卷积训练得到训练结果，包括：利用TensorFlow深度学习框架以预处理数据对应的最低训练精度对预处理数据执行卷积通道的尺寸为8的倍数的卷积训练得到训练结果。优选的，利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，包括：利用TensorFlow深度学习框架对预处理数据执行由TensorFlow-SlimAPI或TF.layerAPI发起的卷积训练得到训练结果。优选的，获取样本数据，包括：在缓存中获取样本数据，样本数据为TFrecord格式的数据。优选的，当GPU设备的数量大于1时，利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，包括：调用Horovod并行框架控制各GPU设备的TensorFlow深度学习框架之间以并行方式对相应的预处理数据执行卷积训练得到训练结果。此外，本专利技术还提供一种数据处理装置，包括：数据获取模块，用于获取样本数据；预处理模块，用于基于多线程以并行方式对样本数据执行数据预处理操作得到预处理数据；框架训练模块，用于利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，TensorFlow深度学习框架基于TensorFlow官方源码编译安装于GPU设备。此外，本专利技术还提供一种GPU设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现如上述的数据处理方法的步骤。此外，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据处理方法的步骤。本专利技术所提供的数据处理方法，应用于GPU设备，首先获取样本数据，并基于多线程并行方式对样本数据执行数据预处理操作得到预处理数据，进而利用TensorFlow深度学习框架对预处理数据执行卷积训练得到训练结果，其中，TensorFlow深度学习框架基于TensorFlow官方源码编译并安装于GPU设备。由于本方法以多线程并行的方式对样本数据执行数据预处理操作，得到预处理数据，因此能够相对提高对于样本数据的处理效率，并且由于TensorFlow官方源码编译安装的TensorFlow深度学习框架能够与GPU设备具有更高的兼容性，因此利用GPU设备中基于TensorFlow官方源码编译安装的TensorFlow深度学习框架对预处理数据执行卷积训练，能够进一步确保GPU设备对预处理数据进行训练时硬件性能得到充分利用，进而相对提高了GPU设备中TensorFlow深度学习框架的数据训练效率。此外，本专利技术还提供一种数据处理装置、设备及存储介质，有益效果同上所述。附图说明为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据处理方法的流程图；图2为本专利技术实施例提供的另一种数据处理方法的流程图；图3为本专利技术实施例提供的另一种数据处理方法的流程图；图4为本专利技术实施例提供的一种数据处理装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本专利技术保护范围。TensorFlow深度学习框架是目前流行的深度学习框架之一，由于深度学习的训练过程需要大量的样本数据作为支持，因此当前基于TensorFlow深度学习框架对样本数据进行训练的整体效率是当前本领域技术人员所关注的重点，而现阶段在优化GPU中TensorFlow深度学习框架的数据训练效率时往往无章可循。为此，本专利技术的核心是提供一种数据处理方法、装置、设备及存储介质，以相对提高GPU中TensorFlow深度学习框架的数据训练效率。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。请参见图1所示本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于GPU设备，包括：/n获取样本数据；/n基于多线程以并行方式对所述样本数据执行数据预处理操作得到预处理数据；/n利用TensorFlow深度学习框架对所述预处理数据执行卷积训练得到训练结果，所述TensorFlow深度学习框架基于TensorFlow官方源码编译安装于所述GPU设备。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于GPU设备，包括：
获取样本数据；
基于多线程以并行方式对所述样本数据执行数据预处理操作得到预处理数据；
利用TensorFlow深度学习框架对所述预处理数据执行卷积训练得到训练结果，所述TensorFlow深度学习框架基于TensorFlow官方源码编译安装于所述GPU设备。


2.根据权利要求1所述的数据处理方法，其特征在于，在所述利用TensorFlow深度学习框架对所述预处理数据执行卷积训练得到训练结果之前，所述方法还包括：
在所述TensorFlow深度学习框架中安装XLA框架；
所述利用TensorFlow深度学习框架对所述预处理数据执行卷积训练得到训练结果，包括：
利用安装有所述XLA框架的TensorFlow深度学习框架对所述预处理数据执行所述卷积训练得到训练结果。


3.根据权利要求1所述的数据处理方法，其特征在于，所述利用TensorFlow深度学习框架对所述预处理数据执行卷积训练得到训练结果，包括：
利用所述TensorFlow深度学习框架以所述预处理数据对应的最低训练精度对所述预处理数据执行所述卷积训练得到训练结果，所述最低训练精度为训练精度中能够正常训练所述预处理数据且数值最小的精度。


4.根据权利要求3所述的数据处理方法，其特征在于，所述训练精度包括32位的浮点数精度以及16位的浮点数精度；
所述利用所述TensorFlow深度学习框架以所述预处理数据对应的最低训练精度对所述预处理数据执行所述卷积训练得到训练结果，包括：
利用所述TensorFlow深度学习框架以所述预处理数据对应的最低训练精度对所述预处理数据执行卷积通道的尺寸为8的倍数的所述卷积训练得到训练结果。


5....

【专利技术属性】
技术研发人员：王鹏飞，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11