一种确定网络结构精度和延时优化点的方法和装置制造方法及图纸

本申请的目的在于提供一种确定网络结构精度和延时优化点的方法。该方法首先估算多个网络结构的延时，所述多个网络结构中的每个网络结构的延时为该网络结构中所有模块的延时的总和；然后，基于所述多个网络结构的延时确定子搜索空间；最后，从所述子搜索空间中选择至少一个网络结构作为搜索结果。该方法利用估算的网络结构的延时缩小搜索空间，使得网络结构搜索更加高效。

【技术实现步骤摘要】
一种确定网络结构精度和延时优化点的方法和装置
本专利技术涉及神经网络领域，尤其涉及网络结构搜索。
技术介绍
神经网络的兴起和发展，使得配置神经网络结构(亦称为网络结构搜索)成为人们亟待解决的问题。近年来，在嵌入式装置中配置神经网络成为了一个热门的研究对象，尤其是自动驾驶领域。不同于终端装置，嵌入式装置的计算能力有限，这就使得配置神经网络结构有了诸多限制。其中，最突出的问题是对于大型的神经网络结构计算速度慢。现有的方法一般是以牺牲性能为代价来提升速度。显然我们需要找到一种速度和精度最佳平衡的神经网络结构模型。
技术实现思路
本申请一方面提供一种确定网络结构精度和延时优化点的方法。所述方法包括：估算多个网络结构的延时，所述多个网络结构中的每个网络结构包括一个或者多个模块，所述多个网络结构中的每个网络结构的延时为该网络结构中所述一个或者多个模块的延时的总和；基于所述多个网络结构的延时确定子搜索空间；从所述子搜索空间中选择至少一个网络结构作为搜索结果。在一些实施例中，所述的确定网络结构精度和延时优化点的方法其特征在于，所述估算多个网络结构的延时包括：通过性能分析获取所述多个网络结构中的每个网络结本文档来自技高网...

【技术保护点】
1.一种在计算设备上实施的确定网络结构精度和延时优化点的方法，其特征在于，所述方法包括：估算多个网络结构的延时，所述多个网络结构中的每个网络结构包括一个或者多个模块，所述多个网络结构中的每个网络结构的延时为该网络结构中所述一个或者多个模块的延时的总和；基于所述多个网络结构的延时确定子搜索空间；从所述子搜索空间中选择至少一个网络结构作为搜索结果。

【技术特征摘要】
1.一种在计算设备上实施的确定网络结构精度和延时优化点的方法，其特征在于，所述方法包括：估算多个网络结构的延时，所述多个网络结构中的每个网络结构包括一个或者多个模块，所述多个网络结构中的每个网络结构的延时为该网络结构中所述一个或者多个模块的延时的总和；基于所述多个网络结构的延时确定子搜索空间；从所述子搜索空间中选择至少一个网络结构作为搜索结果。2.如权利要求1所述的确定网络结构精度和延时优化点的方法，其特征在于，所述估算多个网络结构的延时包括：通过性能分析获取所述多个网络结构中的每个网络结构中的每个模块的延时。3.如权利要求1所述的确定网络结构精度和延时优化点的方法，其特征在于，所述从所述子搜索空间中选择至少一个网络结构作为搜索结果包括：第一步，确定剪枝集合，所述剪枝集合为所述子搜索空间中需要删除的网络结构的集合；第二步，从所述剪枝集合相对所述子搜索空间的补集中选择任一网络结构；第三步，训练所述任一网络结构并获取训练后的任一网络结构的精度；第四步，将训练后的任一网络结构加入训练集合，初始训练集合为空集；第五步，从所述训练集合中选择至少一个网络结构作为搜索结果，所述搜索结果的精度大于所述训练集合中部分网络结构，所述部分网络结构的延时小于所述搜索结果；重复第一步至第五步，直到连续至少两次确定的搜索结果之差小于预设值或直到重复次数等于预设阈值。4.如权利要求3所述的确定网络结构精度和延时优化点的方法，其特征在于，所述第一步包括：对于所述训练集合中的每个网络结构，确定相对于该每个网络结构的最优网络结构，所述最优网络结构为精度大于阈值的所述网络结构中延时最小的网络结构；确定该每个网络结构的前值，所述前值指宽度和深度均小于该每个网络结构的网络结构；将延时大于所述最优网络结构的该每个网络结构的前值加入所述剪枝集合，初始剪枝集合为空集。5.如权利要求4所述的确定网络结构精度和延时优化点的方法，其特征在于，每个其他网络结构的前值的延时和精度均小于该其他网络结构。6.如权利要求1所述的确定网络结构精度和延时优化点的方法，其特征在于，所述方法进一步包括：构建所述多个网络结构，所述多个网络结构为骨干网络...

【专利技术属性】
技术研发人员：李鑫，潘争，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京,11