一种基于Tensorflow框架的模型并行方法技术

本发明专利技术公开一种基于Tensorflow框架的模型并行方法，其特征在于，在TensorFlow的模型并行中加入并行优化算法，以创新性贪心算法执行模型划分取代原本的随机模型划分；模型并行优化算法的策略是找出计算图中的关键路径，然后对执行这条路径的设备采用以最小完工时间为目标的贪心算法，将关键路径上的节点放置于执行速度最快的设备上。将关键路径放在同一设备上，可最大限度地减少网络传输时延，从而达到减小任务完工时间的目的。为避免计算关键路径的复杂算法和解决单个设备内存存储不了整个关键路径的问题，同时还要考虑到长路径上节点的重要程度，优化算法以节点的计算复杂度排序来估计关键路径。

【技术实现步骤摘要】
一种基于Tensorflow框架的模型并行方法
本专利技术涉及计算机领域，尤其涉及一种基于Tensorflow框架的模型并行方法。
技术介绍
自TensorFlow开源发布框架以来，有关深度学习的学术和业界研究得到了前所未有的发展，随着相关的模型越来越高级，越来越复杂，分层结构得到的层数越来越多，神经网络模型越来越大，逐渐超过单个设备内存限制，对减少模型训练时间的需求也与日俱增。然而，TensorFlow对单个计算节点是具有高度限制性的，尤其是随着数据集大小的增加，其限制表现得更为突出，通过分布式并行的方式来提高深度学习模型的训练效率和解决单个设备对内存的限制瓶颈是一种行之有效的方法。因此，亟需一种提解决神经网络模型过大以致超过超过单个设备内存限制、同时减少模型训练时间的分布式并行算法。
技术实现思路
为了解决上述问题，本专利技术实施例提供一种基于Tensorflow框架的模型并行方法。本专利技术实施例提供一种基于Tensorflow框架的模型并行方法，包括：并行优化算法，实现算法以创新性贪心算法执行模型划分本文档来自技高网...

【技术保护点】
1.一种基于Tensorflow框架的模型并行方法，其特征在于，实现以创新性贪心算法执行模型划分取代原本的随机模型划分模式。/n

【技术特征摘要】
1.一种基于Tensorflow框架的模型并行方法，其特征在于，实现以创新性贪心算法执行模型划分取代原本的随机模型划分模式。


2.根据权利要求1所述一种基于Tensorflow框架的模型并行方法，其特征在于，模型并行优化算法具有可伸缩性，它使用户能够运行更大的模型，并通过添加更多设备使计算更快完成。


3.根据权利要求1所述一种基于Tensorflow框架的模型并行方法，其特征在于，所述模型并行优化算法不是简单地根据经验随机对设备进行划分，其策略是找出计算图谱中的关键路径，然后对执行这条路径的设备执行以最小完工时间为目标的贪心算法，将关键路径上的节点放置于执行速度最快的设备上。


4.根据权利要求1或2所述基于Tensorflow框架的模型并行方法，其特征在于，所述模型并行优化算法是以节点的计算复杂度排序来估...

【专利技术属性】
技术研发人员：田文洪，谢远伦，杨锦涛，许凌霄，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51