图优化的方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种图优化的方法、装置、电子设备和计算机可读存储介质。该方法包括：获取离线确定的第一信息和第二信息，其中，该第一信息包括第一子图等价规则集合，该第二信息包括该第一子图等价规则集合中各子图等价规则的性能加速指标；从该第一子图等价规则集合中确定出第二子图等价规则集合，其中，该第二子图等价规则集合为在输入模型将要部署的硬件平台上有效的子图等价规则集合；根据该第二子图等价规则集合和该第二子图等价规则集合中各子图等价规则的性能加速指标，对该输入模型进行优化，得到优化后的模型。通过本发明专利技术，解决了相关技术中使用绝对性能指标进行图优化导致的寻优过程的实时性较差的问题。优化导致的寻优过程的实时性较差的问题。优化导致的寻优过程的实时性较差的问题。

【技术实现步骤摘要】
图优化的方法、装置、电子设备和计算机可读存储介质


[0001]本专利技术涉及深度学习
，尤其涉及一种图优化的方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]在经典方案中，通过人工设置固定的图优化规则策略，该策略同等地应用于所有模型。该方案问题是：固定策略集合的方案，通用性不强，对于一些新模型的优化效果不可预期；对于新平台的泛化能力差；另外，优化策略间相互耦合，同时部分优化策略可能不适合于某些网络，从而引入较高的维护成本。
[0003]而针对上述问题，相关技术中提出基于耗时评估器(cost model)反馈的绝对性能指标，对所有优化策略进行评估，寻优出最佳实现，该方案可以解决上述经典方案中的通用性、维护性问题，但是cost model往往耗时较大，在优化器寻优过程中，可能需要分钟级～小时级的部署时间，严重影响部署的实时性。
[0004]针对相关技术中使用绝对性能指标进行图优化导致的寻优过程的实时性较差的问题，目前尚未得到有效的解决。

技术实现思路

[0005]为解决上述技术问题，本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图优化的方法，其特征在于，包括：获取离线确定的第一信息和第二信息，其中，所述第一信息包括第一子图等价规则集合，所述第二信息包括所述第一子图等价规则集合中各子图等价规则的性能加速指标；从所述第一子图等价规则集合中确定出第二子图等价规则集合，其中，所述第二子图等价规则集合为在输入模型将要部署的硬件平台上有效的子图等价规则集合；根据所述第二子图等价规则集合和所述第二子图等价规则集合中各子图等价规则的性能加速指标，对所述输入模型进行优化，得到优化后的模型。2.根据权利要求1所述的方法，其特征在于，所述从所述第一子图等价规则集合中确定出第二子图等价规则集合包括：获取所述输入模型将要部署的硬件平台的硬件描述文件，其中，所述硬件描述文件用于描述所述硬件平台所支持的规格，所述硬件平台所支持的规格包括以下至少之一：算子OP类型约束、特定类型OP操作方式约束、OP输入输出尺寸约束、OP连接关系约束；针对所述第一子图等价规则集合中与所述输入模型匹配的子图等价规则，逐OP判断所述子图等价规则中的目标子图的算子是否满足所述硬件描述文件；根据判断结果，得到所述第二子图等价规则集合，其中，所述第二子图等价规则集合中的每一个目标子图的所有算子均满足所述硬件描述文件。3.根据权利要求2所述的方法，其特征在于，所述根据判断结果，得到所述第二子图等价规则集合包括：从所述判断结果中，选择判断结果为所述目标子图的所有算子均满足所述硬件描述文件的子图等价规则集合；将所述子图等价规则集合确定为所述第二子图等价规则集合。4.根据权利要求1所述的方法，其特征在于，所述第二信息所包括的所述第一子图等价规则集合中各子图等价规则的性能加速指标通过离线确定包括：为所述第一子图等价规则集合中的每个子图等价规则设置测试数据；在预设的硬件测试环境下，分别获取所述子图等价规则在所述测试数据下的性能加速指标，得到所述第一子图等价规则集合中各子图等价规则的性能加速指标，其中，所述第一子图等价规则集合中各子图等价规则的性能加速指标被保存在离线数据库中。5.根据权利要求1所述的方法，其特征在于，根据所述第二子图等价规则集合和所述第二子图等价规则集合中各子图等价规则的性能加速指标，对所述输入模型进行优化，得到优化后的...

【专利技术属性】
技术研发人员：韩新承，章放，叶挺群，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：