【技术实现步骤摘要】
【国外来华专利技术】结构化剪枝方法、系统和计算机可读介质
[0001]本公开涉及神经网络
，具体而言，涉及一种用于机器学习模型的结构化剪枝方法、系统和计算机可读介质。
技术介绍
[0002]随着神经网络技术的出现和发展，各种类型的神经网络模型已经被探索并应用于许多现实世界的应用，例如，包括语音识别、自然语言处理(natural language processing，NLP)、预测、数据验证、风险管理等。给定特定的应用，例如语音识别，神经网络模型可以被训练以从训练样本中学习与该应用相关的规则和模式(pattern)。这些学习到的规则和模式以神经网络模型的层内和层间节点之间的连接(connection)的权重(或强度)的形式表示和存储，并且其通常使用权重矩阵(weight matrix)表示。
[0003]对于现实世界的应用，这种权重矩阵通常尺寸非常大，因此占用大量存储器，从而导致较大的存储开销。而且，当使用神经网络模型执行预测或决策(例如，确定声音是否由某个人发出)时，需要对权重矩阵执行大量的乘法和加法/累加运算以产生这种预测或决...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于机器学习模型的结构化剪枝方法，包括：接收输入权重模式；基于分块行列剪枝方法从所述输入权重模式获得输出权重模式，所述分块行列剪枝方法包括：将所述输入权重模式划分为子模式的网状网络，所述输入权重模式的每行包括第一数量的子模式的子行，所述输入权重模式的每列包括第二数量的子模式的子列；从每个子模式剪除相应的一个或多个子列以实现预定列稀疏度；以及在对于所述输入权重模式的每行，所述输入权重模式的相应行中的子模式的至少一个子行未剪除的约束下，从每个子模式剪除相应的一个或多个子行以实现预定行稀疏度。2.根据权利要求1所述的结构化剪枝方法，其中，剪除相应的一个或多个子列包括：将相应的一个或多个子列中的所有权重值设置为零。3.根据权利要求1所述的结构化剪枝方法，其中，所述方法还包括：通过从所述输出权重模式中移除权重值为全零的子列和子行，以紧凑形式压缩所述输出权重模式。4.根据权利要求1所述的结构化剪枝方法，其中，从所述子模式的网状网络的每个子模式剪除相应的一个或多个子列以实现预定列稀疏性包括：响应于确定子模式的子列的范数小于第一预定阈值，剪除所述子模式的子列。5.根据权利要求4所述的结构化剪枝方法，其中，所述子列的范数包括所述子列的每个元素的平方之和的平方根。6.根据权利要求1所述的结构化剪枝方法，其中，在约束下从所述子模式的网状网络的每个子模式中剪除相应的一个或多个子行以实现预定行稀疏度包括：响应于确定子模式的子行的范数小于第二预定阈值，剪除所述子模式的子行。7.根据权利要求6所述的结构化剪枝方法，其中，在约束下从所述子模式的网状网络的每个子模式中剪除相应的一个或多个子行以实现预定行稀疏度还包括：确定所述输入权重模式的特定行中的所有子行的相应范数小于所述第二预定阈值；以及保留所述输入权重模式的特定行中的所有子行的相应范数中最高范数的至少一个子行，并剪除所述输入权重模式的特定子行中的剩余子行。8.根据权利要求1所述的结构化剪枝方法，其中，从每个子模式剪除相应的一个或多个子列以实现预定列稀疏度包括：从每个子模式剪除相应的一个或多个子列，使得所述输出权重模式中子列的稀疏度在预定列稀疏度附近的预定范围内。9.一种计算机可读介质，所述计算机可读介质用于存储可执行指令，在执行所述可执行指令时，所述一个或多个处理器执行以下动作：接收输入权重模式；基于分块行列剪枝方法从所述输入权重模式获得输出权重模式，所述分块行列剪枝方法包括：将所述输入权重模式划分为子模式的网状网络，所述输入权重模式的每行包括第一数量的子模式的子行，所述输入权重模式的每列包括第二数量的子模式的子列；
从每个子模式剪除相应的一个或多个子列以实现预定列稀疏度；以及在对于所述输入权重模式的每行，所述输入权重模式的相应行中的子模式的至少一个子行未剪除的约束下，从每个子模式剪除相应的一个或多个子行以实现预定行稀疏度。10.根据权利要求9所述的计算机可读介质，其中，剪除相应的一个或多个子列包括：将相应的一个或多个子列中的所有权重值设置为零。11.根据权利要求9所述的计算机可读介质，其中，所述动作还包括：通过从所述输出权重模式中移除权重值为全零的...
【专利技术属性】
技术研发人员：任骜，张涛，王雨豪，谢源，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。