一种对用于图片识别的卷积神经网络训练的方法与设备技术

本申请的目的是提供一种对用于图片识别的卷积神经网络进行训练的方法与设备。具体地，根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络；将所述卷积神经网络所对应的训练图片数据分配至所述多个网络；对所述多个网络按所分配的所述训练图片数据进行并行训练处理；根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息。与现有技术相比，本申请通过使用同一套参数信息初始化同一GPU上卷积神经网络的多个网络，将训练图片数据分配至所述多个网络进行并行训练处理，用所得误差信息更新所述参数信息，从而提高GPU单卡计算效率，减少计算资源浪费，提升卷积神经网络对图片的识别效率。

【技术实现步骤摘要】

本申请涉及计算机领域，尤其涉及一种对用于图片识别的卷积神经网络训练的技术。
技术介绍
随着互联网高速发展，网络中图片数据量激增，针对图片数据的处理技术迅速发展并日益完善，其中，卷积神经网络这样的深度学习算法被广泛应用于图片识别中，并在降低网络模型复杂度、提升图片数据处理能力等方面取得了显著的成效。为了提升图片识别中数据的处理效率，目前对于基于GPU进行图片识别学习训练的卷积神经网络多采用单机多GPU或多机多GPU的方式，其中，GPU(Graphics Processing Unit)又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。然而，对于每一块GPU而言，其性能并没有被充分利用，从而造成计算资源的严重浪费。
技术实现思路
本申请的目的是提供一种对用于图片识别的卷积神经网络训练的方法与设备，用以解决基于GPU对用于图片识别的卷积神经网络训练效率低下造成资源浪费的问题。根据本申请的一个方面，提供了一种对用于图片识别的卷积神经网络训练的方法，该方法解决了基于GPU对用于图片识别的卷积神经网络训练效率低下造成资源浪费的问题，其中该方法包括：根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络；将所述卷积神经网络所对应的训练图片数据分配至所述多个网络；对所述多个网络按所分配的所述训练图片数据进行并行训练处理；根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息。根据本申请的另一方面，还提供了一种提供了一种对用于图片识别的卷积神经网络训练的设备，该设备解决了基于GPU对用于图片识别的卷积神经网络训练效率低下造成资源浪费的问题，其中该设备包括：第一装置，用于根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络；第二装置，用于将所述卷积神经网络所对应的训练图片数据分配至所述多个网络；第三装置，用于对所述多个网络按所分配的所述训练图片数据进行并行训练处理；第四装置，用于根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息。与现有技术相比，本申请通过根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络，将所述卷积神经网络所对应的训练图片数据分配至所述多个网络并进行训练处理后，用训练处理所得的误差信息更新所述卷积神经网络的参数信息，从而提高GPU的单卡计算效率，减少计算资源浪费，进而提升卷积神经网络对图片的识别效率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个方面的一种对用于图片识别的卷积神经网络训练的设备示意图；图2示出根据本申请一个优选实施例的一种对用于图片识别的卷积神经网络训练的方法与设备中将训练图片数据分配至多个网络的示意图；图3示出根据本申请一个优选实施例的一种对用于图片识别的卷积神经网络训练的方法与设备中根据经训练所得误差信息更新卷积神经网络
参数信息的示意图；图4示出根据本申请另一个方面的一种对用于图片识别的卷积神经网络训练的方法流程图；图5示出根据本申请一个优选实施例的一种多GPU并行方案示意图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。图1示出根据本申请一个方面的一种对用于图片识别的卷积神经网络训练的设备1的示意图。其中，所述设备1包括第一装置11、第二装置12、第三装置13和第四装置14.其中，所述设备1的第一装置11根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络；第二装置12
将所述卷积神经网络所对应的训练图片数据分配至所述多个网络；第三装置13对所述多个网络按所分配的所述训练图片数据进行并行训练处理；第四装置14根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息。具体地，第一装置11根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络。其中，对所述卷积神经网络的多个网络使用同一套参数对其进行初始化，即所述同一GPU上的多个网络共享同一套初始化参数，初始化参数包括权值但不限于权值。共享同一套初始化参数，可为所述多个网络并行打下基础，简化初始化工作同时提高多个网络并行工作的效率。优选地，所述卷积神经网络的多个网络可以是该卷积神经网络的多个网络副本，每个网络都保留有完整卷积神经网络所需的必要的数据信息。本领域技术人员应能理解上述初始化同一GPU上所述卷积神经网络的多个网络的方式仅为举例，其他现有的或今后可能出现的初始化同一GPU上所述卷积神经网络的多个网络的方式如可适用于本专利技术，也应包含在本专利技术保护范围以内，并在此以引用方式包含于此。优选地，所述多个网络的数量信息与所述GPU所支持的独立工作流的数量相适应。具体地，GPU的每个独立工作流上可以相应地运行一个网络，由于每个独立工作流不会互相阻塞，因此多个网络可以在各自的独立工作流上并行运行，由此，多个网络的数量受到所述GPU所支持的独立工作流的数量的约束，需小于或等于GPU所支持的独立工作流的数量。所述独立工作流的数量受到GPU本身架构以及所支持通用计算标准的约束，具体地，GPU需要有独立核心流处理器的硬件架构，同时需要支持至少一种GPU的通用计算标准如Nvidia的CUDA、Khronos的OpenCL、AMD的Stream等，例如，例如Nvidia所生产的GPU从开普勒架构都可以支持硬件队列独立工作且不互相阻塞，即允许CUDA流独占一个硬件工作队列，从而形成独立工作流，每个独立工作流对应一个网络可充分利用GPU的硬件资源，并提高卷积神经网络的处理速度。在此，CUDA(Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。接着，第二装置12将所述卷积神经网络所对应本文档来自技高网...

【技术保护点】
一种对用于图片识别的卷积神经网络进行训练的方法，包括：根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络；将所述卷积神经网络所对应的训练图片数据分配至所述多个网络；对所述多个网络按所分配的所述训练图片数据进行并行训练处理；根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息。

【技术特征摘要】
2015.04.03 CN 20151015843911.一种对用于图片识别的卷积神经网络进行训练的方法，包括：根据用于图片识别的卷积神经网络的参数信息初始化同一GPU上所述卷积神经网络的多个网络；将所述卷积神经网络所对应的训练图片数据分配至所述多个网络；对所述多个网络按所分配的所述训练图片数据进行并行训练处理；根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息。2.根据权利要求1所述的方法，其中，所述多个网络中每一个都独占所述GPU中的一个硬件队列；其中，所述将所述卷积神经网络所对应的训练图片数据分配至所述多个网络包括：将所述卷积神经网络所对应的训练图片数据经所述硬件队列分配至所述多个网络。3.根据权利要求1所述的方法，其中，所述将所述卷积神经网络所对应的训练图片数据分配至所述多个网络包括：将所述卷积神经网络所对应的训练图片数据按所述多个网络的数量分成多个训练图片子集；将每个训练图片子集传输至对应的所述网络。4.根据权利要求3所述的方法，其中，任两个所述训练图片子集中的图片数量的差值低于预定的图片分配阈值。5.根据权利要求1至4中任一项所述的方法，其中，所述网络包括多个计算层；其中，所述对所述多个网络按所分配的所述训练图片数据进行并行训练处理包括：对所述多个网络按所分配的所述训练图片数据进行并行训练处理，其中，所述多个网络的训练处理按所述计算层保持同步。6.根据权利要求5所述的方法，其中，所述对所述多个网络按所分配的所述训练图片数据进行并行训练处理还包括：在至少一个所述计算层中将所述多个网络的训练处理合并进行。7.根据权利要求5所述的方法，其中，所述根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息包括：根据所述网络在每一所述计算层中的误差信息，确定所述所述网络经训练处理后的误差信息；根据所述网络经训练处理后的误差信息更新所述卷积神经网络的参数信息。8.根据权利要求5所述的方法，其中，所述对所述多个网络按所分配的所述训练图片数据进行并行训练处理还包括：根据所述多个网络的训练处理过程中所述GPU的利用率，确定所述多个网络在下一个所述计算层中的训练处理方式。9.根据权利要求1所述的方法，其中，所述多个网络的数量信息与所述GPU所支持的独立工作流的数量相适应。10.根据权利要求1所述的方法，其中，所述训练图片数据中的图片满足单通道像素尺寸小于等于32*32。11.根据权利要求1所述的方法，其中，所述方法还包括：向对应参数服务器上传所述卷积...

【专利技术属性】
技术研发人员：王琤，贾喆，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY