内存资源静态部署系统及方法技术方案

本公开提供了一种内存资源静态部署系统，包括：内存资源获取组件，用于获取多个计算设备中每一个设备的内存资源量；生命周期采集组件，基于将要部署在多个计算设备上的任务关系拓扑图的每个任务节点所属的所有拓扑路径，采集每个任务节点的每个逻辑输出缓存的从被写入数据开始到该数据可以被覆写为止的生命周期；最小数据流水间隔搜索组件，在0和最大浮点运算值之间搜索适用于系统的最小数据流水间隔；以及内存池数量分配组件，用于将每个逻辑输出缓存的所采集的生命周期除以最小数据流水间隔的商向上取整获得一个整数，从而为对应的逻辑输出缓存分配所述整数份的内存池。

Static deployment system and method of memory resources

【技术实现步骤摘要】
内存资源静态部署系统及方法
本公开涉及一种数据处理装置的内存资源静态部署系统及其方法，更具体地说，本公开涉及一种用于静态分布流式数据处理装置的内存资源静态部署系统及其方法。
技术介绍
随着机器学习的发展以及人工神经网络的研究的逐步深入，深度学习的概念得到广泛的关注和应用。由于深度学习所进行的数据处理多为执行大量的重复类型的计算，因此，人们多采用协处理器，诸如GPU、TPU与CPU结合来进行这种深度学习的数据处理。尽管现有的各种并行处理方式使得数据处理速度提升了，但数据在设备之间搬运的速度并没有相对于传统的CPU集群有质的提升，譬如机器内部通信通过PCIe完成，机器之间即使采用最快的无限带宽互联，其带宽也要比GPU核（cores）访问片上内存（devicememory）慢上一到两个数量级。一个小批次的数据在GPU设备上处理的时间可能是数十毫秒，但这批数据从设备外部拷贝到设备上也要花上差不多量级的时间，这就意味着数据的搬运（datamovement）在分布式深度学习架构中在提高架构处理效率时必须得到足够的重视。因此，使得小批次的数据的移动尽本文档来自技高网...

【技术保护点】
1.一种内存资源静态部署系统，包括：/n内存资源获取组件，用于获取计算系统中的多个计算设备中每一个设备的内存资源量；/n生命周期采集组件，基于将要部署在多个计算设备上的任务关系拓扑图的每个任务节点所属的所有拓扑路径，采集每个任务节点的每个逻辑输出缓存的从被写入数据开始到该数据可以被覆写为止的生命周期D(r)；/n最小数据流水间隔搜索组件，在预定搜索范围内搜索满足如下公式的最小数据流水间隔II

【技术特征摘要】
1.一种内存资源静态部署系统，包括：
内存资源获取组件，用于获取计算系统中的多个计算设备中每一个设备的内存资源量；
生命周期采集组件，基于将要部署在多个计算设备上的任务关系拓扑图的每个任务节点所属的所有拓扑路径，采集每个任务节点的每个逻辑输出缓存的从被写入数据开始到该数据可以被覆写为止的生命周期D(r)；
最小数据流水间隔搜索组件，在预定搜索范围内搜索满足如下公式的最小数据流水间隔IImin:



其中，II为流水间隔，r是部署在每个计算设备上的所有任务节点的所有逻辑输出缓存编号，D(r)是每个逻辑输出缓存的所采集的生命周期，M(z)是计算设备编号为z的计算设备内存总容量，m(r)是每份内存池的固定容量；以及
内存池数量分配组件，用于将每个逻辑输出缓存的所采集的生命周期除以最小数据流水间隔IImin的商向上取整获得一个整数，从而为对应的逻辑输出缓存分配所述整数份的内存池。


2.根据权利要求1所述的内存资源静态部署系统，其中所述预定搜索范围在0和最大浮点运算值之间。


3.根据权利要求1或2所述的内存资源静态部署系统，其中所述生命周期采集组件基于每个任务节点的操作任务获取每个任务节点的操作时间，并基于任务节点所处的下游最长消费路径所包含的所有任务节点的操作时间求和计算该任务节点的生命周期。


4.根据权利要求2所述的内存资源静态部署系统，其中所述生命周期采集组件获取所采集的所有任务节点的生命周期中的最大生命周期，并且所述预定搜索范围在0和最大生命周期之间。


5.根据权利要求4所述的内存资源静态部署系统，其中所述生命周期采集组件基于每个任务节点的操作任务获取每个任务节点的操作时间，并将所有任务节点的操作时间中的最大操作时间作为所述计算系统的系统瓶颈，并且所述预定搜索范围在所述系统瓶颈和最大生命周期之间。

【专利技术属性】
技术研发人员：李新奇，柳俊丞，成诚，袁进辉，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：北京;11