一种基于梯度下降法的数据处理方法及相关装置制造方法及图纸

本申请实施例第一方面公开了一种基于梯度下降法的数据处理方法，应用于共享节点，具体包括：计算获得当前节点的原始梯度，对当前节点的原始梯度进行压缩，获得压缩梯度，将所述压缩梯度发送至参数服务器，以使所述参数服务器根据各共享节点发送的压缩梯度计算梯度均值，接收参数服务器发送的梯度均值以更新模型参数。本申请第二方面提供了一种数据处理的装置。本申请第三方面提供了一种数据处理的系统。本申请第四方面以及第五方面分别提供了一种计算机可读存储介质以及一种计算机程序产品，用于执行上述一种数据处理的方法。本申请用于降低所需传输的数据量，从而降低了传输所需的带宽，为在共享计算节点上部署深度学习提供支持。

【技术实现步骤摘要】
一种基于梯度下降法的数据处理方法及相关装置
本专利技术涉及深度学习与共享计算领域，尤其涉及一种基于梯度下降法的数据处理方法及相关装置。
技术介绍
当前，以深度学习为代表的新一代人工智能技术正在广泛地影响着人们的生活和工作，通过赋能新物流、新制造等经济活动形式，对经济结构优化和产业升级有重大拉动作用。对于广大的企业经营者而言，如何利用人工智能来提高企业决策、资源分配效率和用户体验，成为了必须要考虑的问题。作为当前人工智能技术浪潮的代表，深度学习本质上就是通过对数据进行挖掘和归纳，从而找到其中蕴藏的规律，目前已经在视频、语音、自然语言理解等方向有着广泛应用。为了保证所归纳的规律能够尽可能符合应用场景的特点，因此需要收集大量的待训练数据并构造参数容量足够大的数学模型，以上要求导致了深度学习技术应用是存储密集和计算密集，而且由于数学模型的构造需要用到一种基于梯度下降反向传播的优化算法，使得模型的构造过程是通信密集。整个流程中模型参数的梯度总共需要传输2次，即为统计数据的节点传输至服务器的过程以及服务器返回节点的过程，由于梯度的数据规模往往正比于模型参数量，因此整个系统的通信开销非常庞大，设每本文档来自技高网...

【技术保护点】
1.一种基于梯度下降法的数据处理方法，应用于共享节点，其特征在于，所述数据处理方法包括：计算获得当前节点的原始梯度；对当前节点的原始梯度进行压缩，获得压缩梯度；将所述压缩梯度发送至参数服务器，以使所述参数服务器根据各共享节点发送的压缩梯度计算梯度均值；接收参数服务器发送的梯度均值以更新模型参数。

【技术特征摘要】
1.一种基于梯度下降法的数据处理方法，应用于共享节点，其特征在于，所述数据处理方法包括：计算获得当前节点的原始梯度；对当前节点的原始梯度进行压缩，获得压缩梯度；将所述压缩梯度发送至参数服务器，以使所述参数服务器根据各共享节点发送的压缩梯度计算梯度均值；接收参数服务器发送的梯度均值以更新模型参数。2.根据权利要求1所述的方法，其特征在于，所述对当前节点的原始梯度进行压缩，包括对原始梯度进行梯度裁剪，所述梯度裁剪包括：根据梯度压缩需求设置裁剪参数，所述裁剪参数为比例参数。3.根据权利要求2所述的方法，其特征在于，对所述原始梯度进行梯度裁剪包括：对所有需计算的梯度裁剪元素取绝对值；对所述取得的绝对值进行从大到小排列；根据所述裁剪参数的值，取得比例内的最小的梯度裁剪元素的绝对值作为裁剪阈值；筛选出绝对值大于所述裁剪阈值的梯度裁剪元素，所述梯度裁剪元素用于进行梯度压缩元素的筛选。4.根据权利要求2所述的方法，其特征在于，所述对当前节点的原始梯度进行压缩，包括：根据梯度压缩需求设置目标比特值，所述目标比特值用于表示梯度压缩元素。5.根据权利要求4所述的方法，其特征在于，对所述当前节点的原始梯度进行压缩，还包括对原始梯度进行梯度量化，梯度量化为使用所述目标比特值表示所述压缩参数梯度。6.如权利要求5所述的方法，其特征在于，所述梯度量化为使用所述目标比特值表示所述参数梯度具体包括：对需要计算的梯度压缩元素取绝...

【专利技术属性】
技术研发人员：范博文，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：广东,44