【技术实现步骤摘要】
一种面向晶上系统的注意力网络调度优化方法及装置
[0001]本专利技术属于智能计算领域，尤其涉及一种面向晶上系统的注意力网络调度优化方法及装置。
技术介绍
[0002]近年来，随着大数据时代的来临与图形计算单元等等硬件的快速发展，以注意力网络为代表的神经网络模型已在自然语言处理、计算机视觉、时间序列数据建模等领域取得广泛的应用。注意力网络通过独特的注意力机制来表示输入数据间的相互关系，从而将注意力集中在对于结果更为重要的特征上。在实际应用中，由于时间顺序、空间关系的约束，往往需要根据数据的可用性对注意力值进行筛选。目前，注意力网络依靠掩码矩阵来约束数据可用性，即首先统一计算所有注意力值，然后通过掩码将不可用的注意力值置零。这种实现方法虽然简化了模型设计与计算任务映射，但引入了大量的无效计算，计算效率相对较低。
[0003]另一方面，晶上系统技术得到了长足发展。晶上系统把预先生产好的特定功能芯粒通过先进的集成封装技术形成一个系统芯片。以芯粒模式集成的芯片是一个异构系统，具有高灵活、高性能、低成本的优势，适合作为注意力网...
【技术保护点】
【技术特征摘要】
1.一种面向晶上系统的注意力网络调度优化方法，其特征在于，包括以下步骤：（1）对注意力网络的注意力计算过程进行解析并优化，以获取元素的依赖关系，根据元素的依赖关系生成计算图；（2）根据所述步骤（1）获取的计算图和晶上系统的芯粒连接图以及总时间优化目标，基于优先级对计算资源调度方案进行优化，以获取最优的优先级矩阵；（3）将所述步骤（2）获取的最优的优先级矩阵通过计算图映射转化为对应的调度方案，使用晶上系统编译器生成计算程序，将计算操作依次分配给中相应的芯粒，以获取注意力网络的最优计算资源调度方案。2.根据权利要求1所述的面向晶上系统的注意力网络调度优化方法，其特征在于，所述注意力网络包括嵌入层、编码器、解码器和输出层，所述编码器和所述解码器均由一个或多个级联或并联的注意力模块组成；所述注意力网络的输入包括源输入和目标输入。3.根据权利要求1所述的面向晶上系统的注意力网络调度优化方法，其特征在于，所述步骤（1）包括以下子步骤：（1.1）将源输入通过嵌入层以获取键矩阵K和价值矩阵V，将目标输入通过嵌入层以获取查询矩阵Q，根据键矩阵K、价值矩阵V、查询矩阵Q和表示目标输入和源输入依赖关系的掩码矩阵M获取注意力值矩阵A，以确定注意力网络的注意力计算过程；（1.2）对所述步骤（1.1）确定的注意力计算过程进行解析并优化，以获取新的注意力计算过程；（1.3）根据所述步骤（1.2）获取的新的注意力计算过程获取元素的依赖关系；（1.4）根据所述步骤（1.3）获取的元素的依赖关系生成计算图；（1.5）重复所述步骤（1.1）
‑
所述步骤（1.4），直至获取注意力网络中每一个注意力模块的计算图。4.根据权利要求3所述的面向晶上系统的注意力网络调度优化方法，其特征在于，所述计算图为有向无环图，用于定义计算注意力值矩阵元素时对相似度分数矩阵B和价值矩阵V中的元素的依赖关系。5.根据权利要求1所述的面向晶上系统的注意力网络调度优化方法，其特征在于，所述步骤（2）包括以下子步骤：（2.1）根据晶上系统的全部芯粒以及芯粒对之间的通信代价获取芯粒连接图；（2.2）根据所述步骤（1）获取的计算图以及所述步骤（2.1）获取的芯粒连接图获取计算依赖约束；（2.3）根据任务负载确定全部任务完成的总时间，以确定总时间优化目标；（2.4）根据所述步骤（2.2）获取的计算依赖约束和所述步骤（2.3）确定的总时间优化目标采用优先级调度优化方法随机生成一批原始优先级矩阵，其中，矩阵大小对应于任务和芯粒的数量；根据任务负载和芯粒处理能力对原始优先级矩阵进行校正以获取优先级矩阵，并对优先级矩阵进行多次迭代，以获取最优的优先级矩阵。6...
【专利技术属性】
技术研发人员：王之宇，刘勤让，邓庆文，孙天宁，曹志鹏，李顺斌，郭威，张汝云，李沛杰，万智泉，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。