深度学习模型动态分支选择的推理方法及系统技术方案

本发明专利技术提供一种深度学习模型动态分支选择的推理方法及系统，本发明专利技术针对传统深度学习模型推理过程中卷积神经网络在解码部分中的深层特征存在冗余的问题，能够根据初级特征的类别，自动选择相应的解码分支，每个解码分支通过对应分支类别的初级特征输入以及相应的输出进行训练分别得到不同的特征权重组，能专注于对应分支类别的初级特征的处理和深层特征的识别以完成更加复杂的分类或者表征的生成，从而降低计算冗余，提升推理速度，满足边缘计算设备的实际应用需求。计算设备的实际应用需求。计算设备的实际应用需求。

【技术实现步骤摘要】
深度学习模型动态分支选择的推理方法及系统


[0001]本专利技术属于人工智能深度学习推理
，尤其涉及一种应用在边缘计算设备上的深度学习模型动态分支选择的推理方法及系统。

技术介绍

[0002]当前边缘计算终端应用对于深度学习视觉算法的需求越来越多，但受制于当前边缘终端成本，高精度复杂模型运行推理延迟无法满足实际应用，而简单模型精度上达不到要求，这是因为对于数据密集型的复杂任务，通常需要复杂的卷积神经网络模型才能很好地拟合任务，过于轻量型的模型会欠拟合。
[0003]此外，在深度学习视觉模型的推理过程中，卷积神经网络模型实时生成的深层特征会存在冗余。深度卷积神经网络较浅层部分会提取出一些初级特征（如圆、线、纹理等底层特征），一般称作为编码，然后神经网络的更深层部分识别这些初级特征，得到更深层的特征（如车轮特征），最后识别这些更深层的特征输出推理结果，一般称作为解码，传统的深度卷积神经网络模型中只有一个大的解码器，该解码器只有一套特征权重组来对初级特征进行处理和对深层特征进行识别，但我们发现当输入包含较大不同类别的特征的图片时，在神经网络的深层部分，也就是解码部分，往往会存在一部分特征是冗余的，导致神经网络的计算存在冗余。以分类任务为例，区分特征相差较多的两个类别，比如人和车，神经网络的编码部分会提取一些初级特征，通过解码部分的特征识别后，某些层的一些通道可能会生成类似车轮特征，但这些特征对于识别人来说是冗余的。

技术实现思路

[0004]针对目前深度学习模型存在的特征冗余导致在边缘计算设备中推理速度不足的问题，本专利技术提供一种冗余低、速度快、适合边缘计算设备的深度学习模型动态分支选择的推理方法及系统。
[0005]本专利技术采用的技术方案如下：一方面，提供一种深度学习模型动态分支选择的推理方法，包括：S101、构建并训练用于图片的语义分类、语义检测或者语义分割的深度学习模型，所述深度学习模型包括编码器、分支选择器以及分别一一对应不同的分支类别的多个解码分支，所述深度学习模型被训练为：由所述编码器从输入的图片中提取多个初级特征；由所述分支选择器识别并输出初级特征的分支类别；由解码分支通过与分支类别对应的特征权重组对所有初级特征进行处理得到深层特征、对所述深层特征进行识别输出推理结果；S102、将所述编码器、分支选择器以及各解码分支的特征权重组部署到边缘计算设备中，在输入推理任务图片后，输出初级特征和分支类别；S103、将所述多个解码分支部署到边缘计算设备中，根据步骤S102输出的分支类别选
择相应的解码分支，由该解码分支接收步骤S102输出的初级特征，输出推理结果。
[0006]另一方面，提供一种深度学习模型动态分支选择的推理系统，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种深度学习模型动态分支选择的推理方法。
[0007]本专利技术针对传统深度学习模型推理过程中卷积神经网络在解码部分中的深层特征存在冗余的问题，能够根据初级特征的类别，自动选择相应的解码分支，每个解码分支通过对应分支类别的初级特征输入以及相应的输出进行训练分别得到不同的特征权重组，能专注于对应分支类别的初级特征的处理和深层特征的识别以完成更加复杂的分类或者表征的生成，从而降低计算冗余，提升推理速度，满足边缘计算设备的实际应用需求。
附图说明
[0008]下面结合附图和具体实施方式对本专利技术进行详细说明：图1为本专利技术的流程图；图2为本专利技术的原理图；图3为本专利技术的端对端训练的流程图。
具体实施方式
[0009]如图1以及图2所示，本说明书实施例提供一种深度学习模型动态分支选择的推理方法，包括：S101、构建并训练用于图片的语义分类、语义检测或者语义分割的深度学习模型，深度学习模型包括编码器11、分支选择器12以及分别一一对应不同的分支类别的多个解码分支13，该深度学习模型被训练为：由编码器11从输入的图片中提取多个初级特征（中间特征）。
[0010]由分支选择器12识别并输出初级特征的分支类别。
[0011]由解码分支13通过与分支类别对应的特征权重组对所有初级特征进行处理得到深层特征、对深层特征进行识别输出推理结果。
[0012]其中，分支选择器12也可以认为是一个较小的解码器，如果输入的图片通过编码器11输出的初级特征有较明显区别，分支选择器12就能够识别出初级特征的大致属于哪个分支类别。
[0013]每个解码分支13是一个独立的解码器，不同的解码分支13与不同的推理任务一一对应，负责不同的任务输出。这里不同的推理任务可以是多类别分类任务中的子类别集合中的某类识别，也可以是不同表征形式的任务。区别于传统深度卷积神经网络中的解码器只有一套特征权重组，本专利技术中的每个解码分支13通过对应分支类别的初级特征输入以及相应的输出进行训练分别得到不同的特征权重组，使其在被选择后通过与分支类别对应的特征权重组，对所有初级特征进行处理得到深层特征、对深层特征进行识别输出推理结果，由于每个解码分支13分别具有对应分支类别的一套特征权重组，使得每个解码分支能够专注于处理相应分支类别的初级特征和识别相应分支类别的深层特征，从而减少冗余，提升推理速度。
[0014]编码器11采用常用深度卷积神经网络模型的浅层部分的结构，如ResNet网络模
型、Inception网络模型或者MobileNet网络模型等的浅层部分的结构，以MobileNet网络模型为例，浅层部分是指MobileNet的第一层卷积层和前两个尺度的瓶颈结构(bottleneck)。
[0015]分支选择器12为用于分类的神经网络（分类器），其通过对每个初级特征进行分类，输出与解码分支数量相同的独热编码（one-hot）矢量，并对该矢量进行取最大值位置操作(Argmax)得到被选择的解码分支的编号，如输出的矢量为[0，0，1，0，0，0，0，0，0，0]，进行Argmax操作后，得到解码分支的编号为3。分支选择器由全局平均池化层、全连接层、激活层以及全连接层构成，由最后一个全连接层输出上述矢量并进行Argmax操作。
[0016]解码分支13采用常用深度卷积网络模型的深层部分的结构，如ResNet网络模型、Inception网络模型或者MobileNet网络模型等的深层部分的结构，比如MobileNet的深层的瓶颈结构。每个解码分支13的结构可以相同也可以不相同，视任务而定。
[0017]S102、将编码器、分支选择器以及各解码分支的特征权重组部署到边缘计算设备中，在输入推理任务图片后，输出初级特征和分支类别。
[0018]S103、将多个解码分支部署到边缘计算设备中，根据步骤S102输出的分支类别选择相应的解码分支，由该解码分支接收步骤S102输出的初级特征，输出推理结果。
[0019]在目前的边缘计算设备中部署时，尤其是部署在神经网络计算加速单元时，仅支持预加载好比如卷积层或者全连接层的权重后，然后将权重和输入作矩阵运算得到输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型动态分支选择的推理方法，其特征在于，包括：S101、构建并训练用于图片的语义分类、语义检测或者语义分割的深度学习模型，所述深度学习模型包括编码器、分支选择器以及分别一一对应不同的分支类别的多个解码分支，所述深度学习模型被训练为：由所述编码器从输入的图片中提取多个初级特征；由所述分支选择器识别并输出初级特征的分支类别；由解码分支通过与分支类别对应的特征权重组对所有初级特征进行处理得到深层特征、对所述深层特征进行识别输出推理结果；S102、将所述编码器、分支选择器以及各解码分支的特征权重组部署到边缘计算设备中，在输入推理任务图片后，输出初级特征和分支类别；S103、将所述多个解码分支部署到边缘计算设备中，根据步骤S102输出的分支类别选择相应的解码分支，由该解码分支接收步骤S102输出的初级特征，输出推理结果。2.根据权利要求1所述的一种深度学习模型动态分支选择的推理方法，其特征在于，所述编码器采用常用深度卷积神经网络模型的浅层部分的结构。3.根据权利要求2所述的一种深度学习模型动态分支选择的推理方法，其特征在于，所述编码器采用ResNet、Inception或者MobileNet的浅层部分结构。4.根据权利要求3所述的一种深度学习模型动态分支选择的推理方法，其特征在于，所述分支选择器通过对初级特征进行分类，输出与解码分支数量相同的矢量，并对该矢量进行取最大值位置操作得到被选择的解码分支的编号，所述分支选择器由全局平均池化层、全连接层、激活层以及全连...

【专利技术属性】
技术研发人员：李发成，袁施薇，张如高，虞正华，
申请(专利权)人：魔视智能科技上海有限公司，
类型：发明
国别省市：