用于通用硬件-神经网络体系结构搜索的系统技术方案

本申请涉及用于通用硬件

【技术实现步骤摘要】
用于通用硬件
‑
神经网络体系结构搜索的系统
[0001]相关申请的交叉引用
[0002]本申请要求2021年9月29日递交的印度临时专利申请202141044206号的优先权，特此通过引用将该申请的内容全部并入。


[0003]本公开概括而言涉及计算机模型体系结构的优化，具体而言涉及与执行计算机模型的专门硬件联合进行的计算机模型体系结构的优化。

技术介绍

[0004]业界面临着在一系列硬件上缩放AI算法(例如，计算机模型)的部署的挑战。虽然硬件感知的模型体系结构搜索缓解了单个硬件平台上的神经网络的优化的问题，但现在正转向用为深度学习量身打造的定制且可配置的加速器(ASIC、FPGA)进一步驱动硬件体系结构的性能。然而，针对硬件和计算机模型参数两者进行自动优化的研究仍处于早期阶段，当前业界的大多数方法都是手动的。此外，在使方法具有可推广性而不是解决具体的、较窄的挑战方面，也存在着额外的挑战。
[0005]因此，开发一种对于广泛的硬件加速器有效收敛的方法，应对高度不规则的空间，推广到计算机模型和硬件设计，允许本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：接收针对联合硬件
‑
神经网络体系结构搜索的搜索定义，所述搜索定义包括硬件搜索空间和神经搜索空间；对于多个搜索子空间中的每个搜索子空间进行下述操作，每个搜索子空间包括所述硬件搜索空间的一部分和所述神经搜索空间的一部分：从所述搜索子空间内的多个子空间配置中识别最优子空间设计；通过将所述搜索子空间内的控制器优化设计与所述最优子空间设计进行比较，来对多个候选控制器中的一个或多个候选控制器进行评分；并且基于针对所述多个搜索子空间对所述多个候选控制器的评分，来从所述多个候选控制器中选择优化控制器。2.如权利要求1所述的方法，还包括：通过将所述搜索定义应用到所选择的优化控制器来确定优化的硬件
‑
神经网络设计。3.如权利要求1所述的方法，其中，对于每个搜索子空间，所述评分包括对所述多个候选控制器的全部进行评分。4.如权利要求1所述的方法，其中，对于每个搜索子空间，所述多个候选控制器按探索顺序被进行评分，其中，对于所述探索顺序中的每个候选控制器，所述候选控制器的控制器优化设计被针对质量阈值进行评估，使得当满足所述质量阈值时，不针对所述搜索子空间评估所述探索顺序中的后续控制器，而当不满足所述质量阈值时，评估所述探索顺序中的下一个控制器。5.如权利要求1所述的方法，其中，所述最优子空间设计是通过枚举所述搜索子空间内的所有子空间配置来从多个子空间配置中确定的。6.如权利要求1所述的方法，其中，所述多个候选控制器中的一个或多个候选控制器包括硬件控制器和神经网络控制器之间的对接。7.如权利要求6所述的方法，其中，所述硬件控制器和/或神经网络控制器包括可区分算法、遗传算法、和/或强化算法。8.如权利要求1所述的方法，其中，所述多个候选控制器生成硬件和神经网络表示，所述硬件和神经网络表示包括离散设计、概率设计和设计群体中的一个或多个。9.如权利要求1所述的方法，其中，所述评分是基于所述搜索定义中所包括的目标的。10.一种系统，包括：处理器；以及非暂态计算机可读存储介质，包含计算机程序代码，该计算机程序代码供所述处理器执行来用于：接收针对联合硬件
‑
神经网络体系结构搜索的搜索定义，所述搜索定义包括硬件搜索空间和神经搜索空间；对于多个搜索子空间中的每个搜索子空间进行下述操作，每个搜索子空间包括所述硬件搜索空间的一部分和所述神经搜索空间的一部分：从所述搜索子空间内的多个子空间配置中识别最优子空间设计；通过将所述搜索子空间内的控制器优化设计与所述最优子空间设计进行比较，来对多个候选控制器中的一个或多个候选控制器进行评分；并且基于针对所述多个搜索子空间对所述多个候选控制器的评分，来从所述多个候选控制
器中选择优化控制器。11.如权利要求10所述的系统，所述计算机程序代码还供所述处理器执行来用于：通过将所述搜索定义应用到所选择的优化控制器来确定优化的硬件
‑
神经网络设计。12.如权利要求10所述的系统，其中，对于每个搜索子空间，所述评分包括对所述多个候选控制器的全部进行评分。13.如权利要求10所述的系...

【专利技术属性】
技术研发人员：亚什，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：