运行时间预测方法、模型搜索方法及系统技术方案

本发明专利技术公开了一种运行时间预测方法、模型搜索方法及系统，其中运行时间预测方法包括以下步骤：获取网络的结构信息、数据计算总量、数据传输总量以及计算平台的计算并行度和访存带宽；结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间；所述网络结构信息包括网络的层数信息和分支信息。本发明专利技术通过结合网络的参数和计算平台的参数，预测一个网络模型在硬件计算平台上运行一次推理运算的运行时间，为选出高准确度以及低延时的网络提供了基础，可广泛应用于网络优化技术领域。

【技术实现步骤摘要】
运行时间预测方法、模型搜索方法及系统
本专利技术涉及网络优化
，尤其涉及一种运行时间预测方法、模型搜索方法及系统。
技术介绍
深度神经网络凭借在图像分类、人脸检测等任务的优异表现，已经成为人工智能中一种不可缺少的技术。其中，以堆叠式沙漏网络(StackedHourglassNetwork)为代表的深度模型在人体关键点检测任务中也获得不错的效果。相比于图像分类任务的神经网络，用于人体关键点检测的网络中常用堆叠式结构，而且结构中为准对称性结构，因此网络结构更为复杂，大大增加了网络结构的人工设计难度。因此含有准对称性网络结构的自动设计方法显得尤为重要。神经结构搜索(NeuralArchitectureSearch,NAS)是一种能够自动生成最优网络结构的优化方法。神经结构搜索的原理为在一个称为搜索空间的网络结构集合中，通过某种搜索策略找出满足一定约束或者性能要求的子网络结构。搜索空间包含网络中的层的类型和层与层之间的连接关系。现有的主流搜索策略有强化学习，遗传算法，和基于梯度的优化方法。现有的神经网络结构搜索算法大多仍然只针对简单的图像分类任务，这些网络结构相对单一，网络结构中的分支较少，而且只存在特征尺度变小的路径而没有特征尺度变大的路径。但是在人体关键点检测任务的模型结构中常有准对称性结构。准对称性结构是指网络结构中同时存在特征提取的下采样路径和还原特征图的上采样路径，而且两条路径且上采样路径上的特征图需要和下采样路径上相同尺度的特征图进行融合。准对称性结构也存在于人体关键点检测任务中表现较好的堆叠式沙漏网络，但是该网络结构并没有被包含在上述的图像分类网络的搜索空间当中。因此使用用于图像分类任务的网络结构搜索方法并不能搜索出性能较好的用于人体关键点检测任务的神经网络结构。再者，现有的网络结构搜索算法大部分只关注搜索模型的精度，搜索模型参数量的大小，如将网络参数的大小、训练时间和分布式训练时通信代价作为一种限定的代价作为一种惩罚反馈到控制网络搜索的循环神经网络当中。或者考虑到待搜索网络结构的硬件执行性能，将控制端每次搜索的网络结构转化成一个专用芯片上的配置信息，然后将该网络模型在芯片上真实运行，运行的时间反馈到控制端的网络结构搜索算法中。现也有一些方法以模型中不同算子的计算量大小对算子的运算时间进行简单的线性建模；比如将推论神经网络的硬件作为一个内部结构和运行数据流不可知的黑盒模块，但这样无法对模型在硬件上运行的细节进行准确建模，也没有深入地考虑如硬件的片上存储大小和片外存储带宽等对模型在硬件上的执行效率的影响。名词解释：准对称神经网络：为具有准对称性结构的神经网络，所述准对称性结构是指网络结构中同时存在特征提取的下采样路径和还原特征图的上采样路径，而且两条路径且上采样路径上的特征图需要和下采样路径上相同尺度的特征图进行融合。
技术实现思路
为了解决上述技术问题之一，本专利技术的目的是提供一种基于模型中时延参数的运行时间预测方法、模型搜索方法及系统。本专利技术所采用的第一技术方案是：一种运行时间预测方法，包括以下步骤：获取网络的结构信息、数据计算总量、数据传输总量以及计算平台的计算并行度和访存带宽；结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间；所述网络结构信息包括网络的层数信息和分支信息。进一步，所述分支信息包括分支网络和无分支网络，所述结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间这一步骤，具体包括以下步骤：结合数据计算总量和计算并行度获取数据计算时间；结合数据传输总量和访存带宽获取权值参数的访存时间；根据网络结构信息获取输入特征图的访存时间和输出特征图的访存时间；当网络结构信息为分支网络，结合数据计算时间、权值参数的访存时间、输入特征图的访存时间、输出特征图的访存时间和第一公式获取运行时间；当网络结构信息为无分支网络，结合数据计算时间、权值参数的访存时间、输入特征图的访存时间、输出特征图的访存时间和第二公式获取运行时间。进一步，所述第一公式为：其中，所述LAT代表运行时间，所述代表网络中第i层的数据计算时间，所述代表权值参数的访存时间，所述代表输入特征图的访存时间，所述代表输出特征图的访存时间，所述IBRC和OBRC分别表示可选的输入输出路径的使用参数，所述λi的数值范围[0,1]。进一步，所述第二公式为：其中，所述LAT代表运行时间，所述代表网络中第i层的数据计算时间，所述代表权值参数的访存时间，所述代表输入特征图的访存时间，所述代表输出特征图的访存时间，所述λi的数值范围[0,1]。本专利技术所采用的第二技术方案是：一种运行时间预测系统，包括：信息获取模块，用于获取网络的结构信息、数据计算总量、数据传输总量以及计算平台的计算并行度和访存带宽；时间预测模块，用于结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间；所述网络结构信息包括网络的层数信息和分支信息。本专利技术所采用的第三技术方案是：一种模型搜索方法，包括以下步骤：对准对称神经网络的算子搜索空间进行定义；根据准对称神经网络的结构约束建立待搜索结构；对待搜索结构进行训练，在搜索空间获得若干个模型；采用预设方法计算模型的在计算平台的运行时间，根据运行时时间获取并输出最终的模型结构；其中，所述预设方法为上所述的一种运行时间预测方法。进一步，所述对准对称神经网络的算子搜索空间进行定义这一步骤，具体为：对准对称神经网络的算子搜索空间进行定义，以获取待搜索结构中的算子种类；其中，准对称性结构包括下采样计算路径和上采样计算路径，所述下采样计算路径下采样操作算子和普通操作算子，所述上采样计算路径包括上采样操作算子、特征融合算子和普通操作算子。进一步，所述采用预设方法计算模型的在计算平台的运行时间，根据运行时时间获取并输出最终的模型结构这一步骤，具体包括以下步骤：根据预设的评估精确度对模型进行筛选，获得若干个初始模型；采用预设方法分别计算各初始模型的运行时间；判断初始模型的运行时间是否小于预设的最大运行时间，若是，输出该初始模型的网络结构作为最终的模型结构。进一步，所述采用预设方法计算模型的在计算平台的运行时间，根据运行时时间获取并输出最终的模型结构这一步骤，具体包括以下步骤：采用预设方法计算模型的运行时间；将运行时间与模型的损失函数进行结合；将结合后的损失函数对模型继续训练后，获得并输出最终的模型结构。进一步，所述采用预设方法计算模型的在计算平台的运行时间，根据运行时时间获取并输出最终的模型结构这一步骤，具体包括以下步骤：根据预设的评估精确度对模型进行筛选，获得若干个初始模型；采用预设方法本文档来自技高网...

【技术保护点】
1.一种运行时间预测方法，其特征在于，包括以下步骤：/n获取网络的结构信息、数据计算总量、数据传输总量以及计算平台的计算并行度和访存带宽；/n结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间；/n所述网络结构信息包括网络的层数信息和分支信息。/n

【技术特征摘要】
1.一种运行时间预测方法，其特征在于，包括以下步骤：
获取网络的结构信息、数据计算总量、数据传输总量以及计算平台的计算并行度和访存带宽；
结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间；
所述网络结构信息包括网络的层数信息和分支信息。


2.根据权利要求1所述的一种运行时间预测方法，其特征在于，所述分支信息包括分支网络和无分支网络，所述结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间这一步骤，具体包括以下步骤：
结合数据计算总量和计算并行度获取数据计算时间；
结合数据传输总量和访存带宽获取权值参数的访存时间；
根据网络结构信息获取输入特征图的访存时间和输出特征图的访存时间；
当网络结构信息为分支网络，结合数据计算时间、权值参数的访存时间、输入特征图的访存时间、输出特征图的访存时间和第一公式获取运行时间；
当网络结构信息为无分支网络，结合数据计算时间、权值参数的访存时间、输入特征图的访存时间、输出特征图的访存时间和第二公式获取运行时间。


3.根据权利要求2所述的一种运行时间预测方法，其特征在于，所述第一公式为：



其中，所述LAT代表运行时间，所述代表网络中第i层的数据计算时间，所述代表权值参数的访存时间，所述代表输入特征图的访存时间，所述代表输出特征图的访存时间，所述IBRC和OBRC分别表示可选的输入输出路径的使用参数，所述λi的数值范围[0,1]。


4.根据权利要求2所述的一种运行时间预测方法，其特征在于，所述第二公式为：



其中，所述LAT代表运行时间，所述代表网络中第i层的数据计算时间，所述代表权值参数的访存时间，所述代表输入特征图的访存时间，所述代表输出特征图的访存时间，所述λi的数值范围[0,1]。


5.一种运行时间预测系统，其特征在于，包括：
信息获取模块，用于获取网络的结构信息、数据计算总量、数据传输总量以及计算平台的计算并行度和访存带宽；
时间预测模块，用于结合结构信息、数据计算总量、数据传输总量、计算并行度和访存带宽预测网络在计算平台上的运行时间；
所述网络结构信息包括网络的层数...

【专利技术属性】
技术研发人员：梁东宝，粟涛，陈弟虎，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44