The invention provides a method for measuring middle-level calculation time in a depth learning model by using auxiliary graphs. This method constructs a blank auxiliary graph G', and inserts the layer to be measured into the middle of the Layer Pad and the Layer Slice of the graph G', constructs a new G, measures the execution time of the graph G', G', and calculates the difference between the two as the calculation time of the layer to be measured. Through this method, the calculation time of the measurement layer is accurate, and the problem of system error caused by system overhead in the calculation time of the direct measurement layer is solved.
【技术实现步骤摘要】
一种利用辅助图测量深度学习模型中层计算时间的方法
本专利技术涉及深度学习
;具体地,涉及一种利用辅助图测量深度学习模型中层计算时间的方法。
技术介绍
深度学习目前已经在诸如金融保险、安防监控等个行业得到了广泛应用。深度学习的核心方法是使用神经网络模型分析和描述数据的特征。相较于线性算法,深度学习往往需要更为庞大的数据训练方能取得准确的模型。训练一个神经网络模型往往需要数天或者数周的时间才能完成。对此,提前获知深度学习时间,并据此调度训练任务、合理分配资源,将可提高训练效率。深度学习模型,通常包括多个层,而训练时间有主要由各层计算时间决定。虽然训练时间,也在一定程度上受到参数传输时间的影响。但是,较之计算时间,模型训练过程中的传输时间可通过模型数据流图中的参数规模及网络带宽等以较容易的方式获得,本专利技术不做过多讨论。然而,对于深度学习模型中层计算时间的测量,根据现有技术来看,直接准确地测量层的计算时间是很困难的。这是由于模模型训练过程中存在着一些系统开销,如初始化、读取输入数据、计算损耗等,这些都会影响层计算时间的测量结果。
技术实现思路
有鉴于此,本专利技术提供一种利用辅助图测量深度学习模型中层计算时间的方法。该方法通过引入辅助图,解决了直接测量层计算时间时存在的系统开销导致测量不准确的问题。一方面,本专利技术提供一种用于测量深度学习模型中层的计算时间的辅助图。上述的用于测量深度学习模型中层计算时间的辅助图,包括:输入层、输出层,以及成对的Pad层和Slice层;其中,Pad层的输出即Slice层的输入;Pad层和Slice层中间可插入待测层构建新的图 ...
【技术保护点】
1.一种用于测量深度学习模型中层的计算时间的辅助图,其特征在于,该辅助图包括:输入层、输出层,以及成对的Pad层和Slice层;其中,Pad层的输出即Slice层的输入;Pad层和Slice层中间可插入待测层构建新的图;在所述新图中,Pad层的输出作为待测层的输入,待测层的输出作为Slice层的输入;Pad层和Slice层均为大小和形状可变化的层。
【技术特征摘要】
1.一种用于测量深度学习模型中层的计算时间的辅助图,其特征在于,该辅助图包括:输入层、输出层,以及成对的Pad层和Slice层;其中,Pad层的输出即Slice层的输入;Pad层和Slice层中间可插入待测层构建新的图;在所述新图中,Pad层的输出作为待测层的输入,待测层的输出作为Slice层的输入;Pad层和Slice层均为大小和形状可变化的层。2.根据权利要求1所述的辅助图,其特征在于,所述的Slice层为稳定的层。3.根据权利要求1所述的辅助图,其特征在于,Pad层能够接受很小规模的输入并输出很大规模的输出;Slice层能够接受很大规模的输入并输出很小规模的输出。4.一种测量深度学习模型中层的计算时间的方法,其特征在于,构建权利要求1-3所述的任一辅助图,记为G’;将待测层插入到所述辅助图G’的Pad层和Slice层中间,构建新的图G”;测量图G’、G”的执行时间Tc(G’)、Tc(G”),将图G”、G’间的时间差作为待测层的计算时间Tc,即Tc=Tc(G”)-Tc(G’)。5.根据权利要求4所述的测量深度学习模型中层的计算时间的方法,其特征在于,在所述的图G’中,以待...
【专利技术属性】
技术研发人员:孙军欢,张骏雪,
申请(专利权)人:北京瀚海星云科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。