一种基于分布式动态训练系统技术方案

本发明专利技术为人工智能行业提供基础算力，提供远端计算方式,公开了一种基于分布式动态训练系统,其具体计算方法如下:步骤一：建立深度学习模型；步骤二：获取远端数据源。步骤三：处理获取到的数据源。步骤四：实时训练。本发明专利技术的一种基于分布式动态训练系统，步骤简便，易于实现，具有实时的动态训练功能，极大地提高机器的深度学习与分布式计算能力。

A Distributed Dynamic Training System

The invention provides basic computing power and remote computing mode for the artificial intelligence industry, and discloses a distributed dynamic training system based on the following specific calculation methods: step 1: establishing a deep learning model; step 2: acquiring remote data sources. Step 3: Processing the acquired data source. Step 4: Real-time training. The invention is based on a distributed dynamic training system, which is simple, easy to implement, has real-time dynamic training function, and greatly improves the deep learning and distributed computing ability of the machine.

【技术实现步骤摘要】
一种基于分布式动态训练系统
本专利技术涉及一种训练系统，具体涉及一种基于分布式动态训练系统。
技术介绍
近些年来，深度学习与分布式计算在机器学习领域是备受关注的研究内容，目前被广泛的应用于人工智能相关应用的研究与开发当中。人工智能行业和领域发展的制约瓶颈分为三大块，分别是算法、算力、和数据。随着大数据技术的k速发展，数据信息的采集、处理、传递和存储等关键性技术问题从提出到现如今已经有较为成熟的技术解决了这些难题，为各行各业提供了海量的数据源,通过对数据的分析和处理产生的效益也逐步进入社会，进入商业化的阶段。同时，伴随着近代计算机科学领域的巨大进步，机器学习领域中的深度学习算法的快速兴起，神经网络占据了机器学习领域的主导地位，高效率的cm,rm等深度学习网络的成熟以及基于它们基础上的应用逐渐产生,于此同时，云计算和云超级计算集群和节点的诞生为人工智能领域提供了强大的算力支撑。但是，云计算提供的算力在具备弹性可扩容的高效率下，会导致大量的数据源在由本地到运算的过程产生巨大的时间成本，为了解决本地和运算计算之间的数据模型传递的时间成本，提出了基于各个神经网络动态训练模式。此模式解决了大部分用户传输成本和效益。
技术实现思路
为了解决上述问题，本专利技术为人工智能行业提供基础算力，提供远端计算方式,公开了一种基于分布式动态训练系统。本专利技术的技术方案是：一种基于分布式动态训练系统,其特征在于：其具体计算方法如下:步骤一：建立深度学习模型；获取目标初始化神经网络的特征信息；将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；根据所述分析结果确定所述目标初始化神经网络；步骤二：获取远端数据源；数据源为用户神经网络计算所需的数据，由使用者提供，本系统按照系统规定形式对数据进行顺序切割处理,然后将处理完成的数据通过网络传输到计算平台的云存储端，数据源中存储有已训练神经网络；获取远端数据源用于获取目标初始化神经网络的特征信息，用于将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；目标初始化网络获取模块，用于根据所述分析结果确定所述目标初始化神经网络；神经网络深度学习模块，用于通过训练数据训练所述目标初始化神经网络，得到深度学习的目标神经网络；步骤三：处理获取到的数据源；首先，在平台的数据层，通过系统会构建一个对应数据源大小的完整数据池，数据源在经过第一步的切割处理之后存于云端，会将于数据源一一对应的加密之后的HASH值通过系统调度器发送至平台，在平台中通过加密之后的HASH码从网络中提取出客户端上传来的数据源；数据源计算方法按照循环的方式，每轮使用所述多个损失函数中的一个损失函数计算所述预测目标和所述真实目标之间的loss值，进而根据每轮计算出的loss值反向传播调整所述深度学习模型中的参数，包括：第j轮使用所述多个损失函数中的第i损失函数计算所述预测目标和所述真实目标之间的loss值，进而根据所述第i损失函数计算出的loss值进行反向传播调整所述深度学习模型中的参数，i依次取1,2,……，N，N为多个损失函数的个数，j＝1,2,……，M，M为预设迭代次数；若第j+1轮中使用的损失函数计算出的loss值大于第j轮使用的损失函数计算出的loss值，则恢复根据第j轮使用的损失函数计算出的loss值反向传播调整的所述深度学习模型中的参数值并根据第j轮使用的损失函数对所述深度学习模型进行反向传播调整参数；步骤四：实时训练；在平台端构建出的数据池的映射地址为云存储服务系统所提供，计算平台中的计算框架会从数据池中调用数据,按照计算所需的数据量和数据池存有的数据量对应关系进行数据的提取与计算，达到实时的目的。进一步地，所述训练系统包括包括：第一获取单元，用于获取训练样本数据；第二获取单元，用于基于预先建立的深度学习模型及所述训练样本数据，获得所述训练样本数据的预测目标；第三获取单元，用于获取多个损失函数；调整单元，用于通过所述多个损失函数各自计算所述预测目标和所述训练样本数据的真实目标之间的loss值，进而根据计算出的loss值反向传播调整所述深度学习模型中的参数。进一步地，所述的获取远端数据源的数据的切割和处理方式为:将完整数据按照动态值的大小等分切割，然后通过格式化二进制数据流将完成的数据进行一进制化形成可用于动态训练的格式数据。有益效果本专利技术的一种基于分布式动态训练系统，步骤简便，易于实现，具有实时的动态训练功能，极大地提高机器的深度学习与分布式计算能力。具体实施方式下面对本专利技术的一种基于分布式动态训练系统作详细说明。一种基于分布式动态训练系统,其特征在于：其具体计算方法如下:步骤一：建立深度学习模型；获取目标初始化神经网络的特征信息；将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；根据所述分析结果确定所述目标初始化神经网络；步骤二：获取远端数据源；数据源为用户神经网络计算所需的数据，由使用者提供，本系统按照系统规定形式对数据进行顺序切割处理,然后将处理完成的数据通过网络传输到计算平台的云存储端，数据源中存储有已训练神经网络；获取远端数据源用于获取目标初始化神经网络的特征信息，用于将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；目标初始化网络获取模块，用于根据所述分析结果确定所述目标初始化神经网络；神经网络深度学习模块，用于通过训练数据训练所述目标初始化神经网络，得到深度学习的目标神经网络；步骤三：处理获取到的数据源；首先，在平台的数据层，通过系统会构建一个对应数据源大小的完整数据池，数据源在经过第一步的切割处理之后存于云端，会将于数据源一一对应的加密之后的HASH值通过系统调度器发送至平台，在平台中通过加密之后的HASH码从网络中提取出客户端上传来的数据源；数据源计算方法按照循环的方式，每轮使用所述多个损失函数中的一个损失函数计算所述预测目标和所述真实目标之间的loss值，进而根据每轮计算出的loss值反向传播调整所述深度学习模型中的参数，包括：第j轮使用所述多个损失函数中的第i损失函数计算所述预测目标和所述真实目标之间的loss值，进而根据所述第i损失函数计算出的loss值进行反向传播调整所述深度学习模型中的参数，i依次取1,2,……，N，N为多个损失函数的个数，j＝1,2,……，M，M为预设迭代次数；若第j+1轮中使用的损失函数计算出的loss值大于第j轮使用的损失函数计算出的loss值，则恢复根据第j轮使用的损失函数计算出的loss值反向传播调整的所述深度学习模型中的参数值并根据第j轮使用的损失函数对所述深度学习模型进行反向传播调整参数；步骤四：实时训练；在平台端构建出的数据池的映射地址为云存储服务系统所提供，计算平台中的计算框架会从数据池中调用数据,按照计算所需的数据量和数据池存有的数据量对应关系进行数据的提取与计算，达到实时的目的。所述训练系统包括包括：第一获取单元，用于获取训练样本数据；第二获取单元，用于基于预先建立的深度学习模型及所述训练样本数据，获得所述训练样本数据的预测目标；第三获取单元，用于获取多个损失函数；调整单元，用于通过所述多个损失函数各自计算所述本文档来自技高网...

【技术保护点】
1.一种基于分布式动态训练系统,其特征在于：其具体计算方法如下:步骤一：建立深度学习模型；获取目标初始化神经网络的特征信息；将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；根据所述分析结果确定所述目标初始化神经网络；步骤二：获取远端数据源；数据源为用户神经网络计算所需的数据，由使用者提供，本系统按照系统规定形式对数据进行顺序切割处理,然后将处理完成的数据通过网络传输到计算平台的云存储端，数据源中存储有已训练神经网络；获取远端数据源用于获取目标初始化神经网络的特征信息，用于将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；目标初始化网络获取模块，用于根据所述分析结果确定所述目标初始化神经网络；神经网络深度学习模块，用于通过训练数据训练所述目标初始化神经网络，得到深度学习的目标神经网络；步骤三：处理获取到的数据源；首先，在平台的数据层，通过系统会构建一个对应数据源大小的完整数据池，数据源在经过第一步的切割处理之后存于云端，会将于数据源一一对应的加密之后的HASH值通过系统调度器发送至平台，在平台中通过加密之后的HASH码从网络中提取出客户端上传来的数据源；数据源计算方法按照循环的方式，每轮使用所述多个损失函数中的一个损失函数计算所述预测目标和所述真实目标之间的loss值，进而根据每轮计算出的loss值反向传播调整所述深度学习模型中的参数，包括：第j轮使用所述多个损失函数中的第i损失函数计算所述预测目标和所述真实目标之间的loss值，进而根据所述第i损失函数计算出的loss值进行反向传播调整所述深度学习模型中的参数，i依次取1,2,……，N，N为多个损失函数的个数，j＝1,2,……，M，M为预设迭代次数；若第j+1轮中使用的损失函数计算出的loss值大于第j轮使用的损失函数计算出的loss值，则恢复根据第j轮使用的损失函数计算出的loss值反向传播调整的所述深度学习模型中的参数值并根据第j轮使用的损失函数对所述深度学习模型进行反向传播调整参数；步骤四：实时训练；在平台端构建出的数据池的映射地址为云存储服务系统所提供，计算平台中的计算框架会从数据池中调用数据,按照计算所需的数据量和数据池存有的数据量对应关系进行数据的提取与计算，达到实时的目的。...

【技术特征摘要】
1.一种基于分布式动态训练系统,其特征在于：其具体计算方法如下:步骤一：建立深度学习模型；获取目标初始化神经网络的特征信息；将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；根据所述分析结果确定所述目标初始化神经网络；步骤二：获取远端数据源；数据源为用户神经网络计算所需的数据，由使用者提供，本系统按照系统规定形式对数据进行顺序切割处理,然后将处理完成的数据通过网络传输到计算平台的云存储端，数据源中存储有已训练神经网络；获取远端数据源用于获取目标初始化神经网络的特征信息，用于将所述目标初始化神经网络的特征信息在预设神经网络大数据或数据库中进行分析，得到分析结果；目标初始化网络获取模块，用于根据所述分析结果确定所述目标初始化神经网络；神经网络深度学习模块，用于通过训练数据训练所述目标初始化神经网络，得到深度学习的目标神经网络；步骤三：处理获取到的数据源；首先，在平台的数据层，通过系统会构建一个对应数据源大小的完整数据池，数据源在经过第一步的切割处理之后存于云端，会将于数据源一一对应的加密之后的HASH值通过系统调度器发送至平台，在平台中通过加密之后的HASH码从网络中提取出客户端上传来的数据源；数据源计算方法按照循环的方式，每轮使用所述多个损失函数中的一个损失函数计算所述预测目标和所述真实目标之间的loss值，进而根据每轮计算出的loss值反向传播调整所述深度学习模型中的参数，包括：第j轮使用所述多个损失函数中的第i损失函数计算所述预测目标...

【专利技术属性】
技术研发人员：蒋健，兰毅，谭涛，
申请(专利权)人：深算科技重庆有限公司，
类型：发明
国别省市：重庆,50