具有快速逐点卷积的高效推断制造技术

本文描述的实施例涉及一种方法，包括：在卷积神经网络(CNN)模型处接收输入数据；生成包括CNN模型的第一层和CNN模型的第二层之间的多个连接的分解计算网络，其中：该分解计算网络包括N个输入，该分解计算网络包括M个输出，并且该分解计算网络包括从N个输入中的每个输入到M个输出中的每个输出的至少一条路径；将该分解计算网络中的多个连接的连接权重设置为1，以使得分解计算网络的权重密度<100％；使用分解计算网络来执行快速逐点卷积以生成快速逐点卷积输出；以及向CNN模型的第二层提供快速逐点卷积输出。二层提供快速逐点卷积输出。二层提供快速逐点卷积输出。

【技术实现步骤摘要】
【国外来华专利技术】具有快速逐点卷积的高效推断
[0001]根据35 U.S.C.
§
119的优先权要求
[0002]本专利申请要求于2019年9月16日提交的题为“EFFICIENT INFERENCING WITH FAST POINTWISE CONVOLUTION(具有快速逐点卷积的高效推断)”的非临时申请No.16/571,760的优先权，该非临时申请已转让给其受让人并且由此通过援引被明确纳入于此。

技术介绍

[0003]本公开的各方面涉及优化机器学习模型性能，尤其涉及改进逐点卷积的效率。
[0004]机器学习可以产生经训练模型，诸如人工神经网络、分类树等，其表示对被标记的训练数据集合的广义拟合。将经训练模型应用于新数据产生推断，这可被用于获得关于新数据的洞察。在一些情形中，将经训练模型应用于新数据被称为对新数据“运行推断”。
[0005]创建推断是计算密集型的，尤其是随着模型复杂度的增加。相应地，需要用于改进机器学习模型的性能的方法，诸如通过使用神经网络模型来使得推断更高率。
[0006]简要概述r/>[0007]某本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在卷积神经网络(CNN)模型处接收输入数据；生成包括所述CNN模型的第一层和所述CNN模型的第二层之间的多个连接的分解计算网络，其中：所述分解计算网络包括N个输入，所述分解计算网络包括M个输出，并且所述分解计算网络包括从所述N个输入中的每个输入到所述M个输出中的每个输出的至少一条路径；使用所述分解计算网络来执行快速逐点卷积以生成快速逐点卷积输出；以及向所述CNN模型的所述第二层提供所述快速逐点卷积输出。2.如权利要求1所述的方法，进一步包括：将所述分解计算网络中的多个连接的连接权重设置为1，以使得所述分解计算网络的权重密度<100％。3.如权利要求1所述的方法，其中：所述分解计算网络包括数个阶段n＝log2N，并且所述多个连接包括连接到所述CNN模型的所述第一层和所述CNN模型的所述第二层之间的加法节点的多个加权连接。4.如权利要求3所述的方法，其中将所述分解计算网络中的所述多个连接的连接权重设置为1包括将所述数个阶段中的至少一个阶段的所有连接权重设置为1。5.如权利要求3所述的方法，其中将所述分解计算网络中的所述多个连接的连接权重设置为1包括将所述数个阶段中的至少一个阶段的连接权重子集设置为1。6.如权利要求1所述的方法，其中：N≠2
n
或者N≠M，并且所述方法进一步包括：在所述分解计算网络上执行具有空激活跳过的线性缩放，以及向所述CNN模型的所述第二层提供所述快速逐点卷积输出包括：向所述CNN模型的所述第二层仅提供所述快速逐点卷积输出的前M个通道。7.如权利要求1所述的方法，进一步包括：向所述分解计算网络添加多个跳过连接。8.如权利要求1所述的方法，进一步包括：从所述CNN模型生成模型输出；以及向在移动电子设备上运行的低功率应用提供所述模型输出。9.如权利要求1所述的方法，进一步包括：由第一处理器基于所述快速逐点卷积输出来执行第一推断；由第二处理器使用所述分解计算网络来执行第二快速逐点卷积以生成第二快速逐点卷积输出；以及向所述CNN模型的所述第二层提供所述第二快速逐点卷积输出。10.如权利要求1所述的方法，其中：所述输入数据是从移动电子设备中的传感器接收的，并且所述输入数据与在所述移动电子设备上运行的应用相关联，并且被配置成用于以下至少一项：生物特征检测、人类存在检测、环境条件检测、对象检测或对象分类。11.一种处理系统，包括：
存储器，其包括计算机可执行指令；以及第一处理器，其被配置成执行所述计算机可执行指令并使所述处理系统执行以下操作：在卷积神经网络(CNN)模型处接收输入数据；生成包括所述CNN模型的第一层和所述CNN模型的第二层之间的多个连接的分解计算网络，其中：所述分解计算网络包括N个输入，所述分解计算网络包括M个输出，并且所述分解计算网络包括从所述N个输入中的每个输入到所述M个输出中的每个输出的至少一条路径；使用所述分解计算网络来执行快速逐点卷积以生成快速逐点卷积输出；以及向所述CNN模型的所述第二层提供所述快速逐点卷积输出。12.如权利要求11所述的处理系统，其中所述第一处理器被进一步配置成使所述处理系统：将所述分解计算网络中的多个连接的连接权重设置为1，以使得所述分解计算网络的权重密度<100％。13.如权利要求11所述的处理系统，其中：所述分解计算网络包括数个阶段n＝log2N，并且所述多个连接包括连接到所述CNN模型的所述第一层和所述CNN模型的所述第二层之间的加法节点的多个加权连接。14.如权利要求13所述的处理系统，其中所述分解计算网络中设置为1的所述多个连接包括所述数个阶段中的至少一个阶段的所有连接权重。15.如权利要求13所述的处理系统，其中所述分解计算网络中设置为1的所述多个连接包括所述数个阶段中的至少一个阶段的连接权重子集。16.如权利要求11所述的处理系统，其中：N≠2
n
或者N≠M，并且所述第一处理器被进一步配置成使所述处理系统...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：