一种基于多次移位相加量化的图像识别方法及系统技术方案

本发明专利技术公开了一种基于多次移位相加量化的图像识别方法及系统，属于图像识别技术领域，方法包括：获取待识别图像；将所述待识别图像输入训练后的图像识别模型中；图像识别模型包括至少一个卷积层；所述卷积层采用多次移位相加量化对待识别图像进行处理，将卷积层中浮点数乘法转为对定点数的移位、加法和取反操作；根据图像识别模型的输出，生成所述待识别图像的识别结果。本发明专利技术方法大幅提升边缘智能计算终端对于图像识别模型的运行效率。多次移位相加量化方法同时解决了模型的训练问题，可以有效避免梯度爆炸。以有效避免梯度爆炸。以有效避免梯度爆炸。

【技术实现步骤摘要】
一种基于多次移位相加量化的图像识别方法及系统


[0001]本专利技术涉及图像识别
，具体涉及一种基于多次移位相加量化的图像识别方法及系统。

技术介绍

[0002]变电站的安全可靠运行是电力系统稳定运行的基础。随着智能技术的发展，目前已有大量智能视觉设备被部署于变电站，从各个维度监测变电站的安全运行情况。例如在站区内安装的大量智能监控摄像头，能有效识别异常目标，辅助运维人员预防和应对外破；再例如变电站巡检机器人，可以巡视开关柜、进行倒闸操作等。目前，这些智能应用的实现主要依靠被部署在云端的智能视觉/图像识别模型。而随着传感器、机器人等终端的增加，未来将会有海量图像数据被上传，这不仅会为通信链路带来巨大的传输压力，导致传输延时甚至丢包，也会给云端带来较重的计算和存储负担。针对这一问题，提出了云边端的电力智能架构体系，在云计算中心与端侧视觉设备之间加入边缘智能终端，起到承上启下的作用、实现图像数据的就地处理，大幅减少上行至云端的数据量。
[0003]为了真正的实现图像数据在变电站的就地处理，保证各类应用的实效性，需要在边缘侧为各类视觉应用提供足够的算力。除了增加边缘智能计算设备外，还可以对图像识别模型进行优化，在保障计算实时性的同时尽量缩减成本。图像识别模型最主要的组成为浮点数乘法运算，因为其是卷积运算的基础，而目前的乘法实现主要依赖复杂的逻辑、移位、加法等计算操作。如果能够简化这一运算过程，或者应用合适量化方法将大位宽浮点型的权重参数转化为小位宽的定点数，则能有效减少底层运算操作次数，缩短复杂计算过程带来的大计算延时、降低数据搬运带来的能量消耗、优化图像识别模型对于算力的需求。

技术实现思路

[0004]针对上述问题，本专利技术提出一种基于多次移位相加量化的图像识别方法及系统，该方法可以是面向变电站视觉检测模型的多次移位相加(MSA，multiple shift add)量化方法。该方法可以在几乎不影响视觉检测(图像识别)模型识别精度的情况下，大幅提升边缘智能计算终端对于图像识别模型的运行效率。
[0005]本专利技术的目的至少通过如下技术方案实现：
[0006]一种基于多次移位相加量化的图像识别方法，包括：
[0007]获取待识别图像；
[0008]将所述待识别图像输入训练后的图像识别模型中；图像识别模型包括至少一个卷积层；所述卷积层采用多次移位相加量化对待识别图像进行处理，将卷积层中浮点数乘法转为对定点数的移位、加法和取反操作；
[0009]根据图像识别模型的输出，生成所述待识别图像的识别结果。
[0010]作为本专利技术的进一步改进，所述卷积层采用多次移位相加量化对待识别图像进行处理，将卷积层中浮点数乘法转为对定点数的移位、加法和取反操作，包括：
[0011]卷积层中卷积核W，其中C
out
和C
in
分别是卷积核输出和输入的通道个数，k为卷积核的尺寸大小，则卷积计算结果Y为：
[0012][0013]其中，X为卷积层的输入图像的张量，为卷积操作；浮点数的卷积计算结果Y是W和X张量对应位置元素x
ij
与w
ij
相乘后求和得到，其中i∈[1,k],j∈[1,k]；
[0014]再进行多次移位相加量化，具体包括：
[0015]对输入/激活值张量x
ij
进行转化，将其从浮点数转化为定点数；
[0016]将权值w
ij
的绝对值转化为多个2的n次幂相加的形式，令：
[0017][0018]其中是多次移位相加量化后的权重，是与相乘的结果，n
i
为第i次移位的位数，n
i
的计算公式为：
[0019][0020]其中，
[0021][0022]的计算公式为：
[0023][0024]其中为向下取整函数，即x向下取整；
[0025]通过对进行移位操作实现乘法运算，移位操作采用以下方式：
[0026][0027]其中<<表示向左移位，>>表示向右移位。
[0028]作为本专利技术的进一步改进，还包括对n
i
的位宽进行限制的步骤，其具体包括：
[0029]n
i
＝clip[n
i
,
‑2b
‑1,2
b
‑1‑
1][0030]其中，b为移位位数n
i
所占用的存储位宽，其最高位为符号位用来表示左移，符号位>0；右移，符号位<0；或不移，符号位＝0；clip[x,min,max]为截断函数。
[0031]作为本专利技术的进一步改进，还包括引入符号函数来获取w
ij
的符号，其公式如下：
[0032]s
ij
＝sign(w
ij
)
[0033]当w
ij
为负数时s
ij
＝
‑
1，w
ij
为正数时s
ij
＝1，w
ij
为0时s
ij
＝0；
[0034]利用取反和加法操作对于权值符号的表达，采用如下翻转函数：
[0035][0036]翻转函数有三种映射关系，分别使保持不变，将置为0，或者是改变的符号；当s
ij
＝
‑
1时，的符号发生翻转，对应底层硬件实现即求补码值；求补码计算由取反及加法操作组成。
[0037]作为本专利技术的进一步改进，所述卷积层的运算操作为：
[0038][0039]其中X
Fix
是由组成的输入/激活值张量，Y
MSA
是多次移位相加量化后的卷积计算结果，为ConvMSA算子。
[0040]作为本专利技术的进一步改进，所述图像识别模型中还包括偏置参量B的计算方法，偏置参量B的计算方法包括：
[0041]进行偏置参量B转化，将浮点数转化为定点数。
[0042]一种基于多次移位相加量化的图像识别模型的训练方法，包括：
[0043]得到带标签的样本图像；
[0044]将所述样本图像输入构建的图像识别模型中，图像识别模型包括至少一个卷积层，采用多次移位相加量化算子替换图像识别模型中所有的卷积运算算子，并采用多次移位相加量化对图像识别模型进行训练；
[0045]当满足预设条件时，完成对卷积神经网络的训练，得到基于多次移位相加量化的图像识别模型；得到基于多次移位相加量化的图像识别模型中卷积层能够采用多次移位相加量化对待识别图像进行处理，能够将卷积层中浮点数乘法转为对定点数的移位、加法和取反操作。
[0046]作为本专利技术的进一步改进，所述基于多次移位相加量化的图像识别模型的反向传播的公式如下：
[0047][0048][0049]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多次移位相加量化的图像识别方法，其特征在于，包括：获取待识别图像；将所述待识别图像输入训练后的图像识别模型中；图像识别模型包括至少一个卷积层；所述卷积层采用多次移位相加量化对待识别图像进行处理，将卷积层中浮点数乘法转为对定点数的移位、加法和取反操作；根据图像识别模型的输出，生成所述待识别图像的识别结果。2.根据权利要求1所述的基于多次移位相加量化的图像识别方法，其特征在于，所述卷积层采用多次移位相加量化对待识别图像进行处理，将卷积层中浮点数乘法转为对定点数的移位、加法和取反操作，包括：卷积层中卷积核W，其中C
ont
和C
in
分别是卷积核输出和输入的通道个数，k为卷积核的尺寸大小，则卷积计算结果Y为：其中，X为卷积层的输入图像的张量，为卷积操作；浮点数的卷积计算结果Y是W和X张量对应位置元素x
ij
与w
ij
相乘后求和得到，其中i∈[1,k],∈[1,k]；再进行多次移位相加量化，具体包括：对输入/激活值张量x
ij
进行转化，将其从浮点数转化为定点数；将权值w
ij
的绝对值转化为多个2的n次幂相加的形式，令：其中是多次移位相加量化后的权重，是与相乘的结果，n
i
为第i次移位的位数，n
i
的计算公式为：其中，其中，的计算公式为：其中为向下取整函数，即x向下取整；通过对进行移位操作实现乘法运算，移位操作采用以下方式：其中<<表示向左移位，>>表示向右移位。
3.根据权利要求2所述的基于多次移位相加量化的图像识别方法，其特征在于，还包括对n
i
的位宽进行限制的步骤，其具体包括：n
i
＝clip[n
i
,
‑2b
‑1,2
b
‑1‑
1]其中，b为移位位数n
i
所占用的存储位宽，其最高位为符号位用来表示左移，符号位>0；右移，符号位<0；或不移，符号位＝0；clip[x,min,max]为截断函数。4.根据权利要求1所述的基于多次移位相加量化的图像识别方法，其特征在于，还包括引入符号函数来获取w
ij
的符号，其公式如下：s
ij
＝sign(w
ij
)当w
ij
为负数时s
ij
＝
‑
1，w
ij
为正数时s
ij
＝1，w
ij
为0时s
ij
＝0；利用取反和加法操作对于权值符号的表达，采用如下翻转函数：翻转函数有三种映射关系，分别使保持不变，将置为0，或者是改变的符号；当s
ij
＝
‑
1时，的符号发生翻转，对应底层硬件实现即求补码值；求补码计算由取反及加法操作组成。5.根据权利要求2所述的基于多次移位相加量化的图像识别方法，其特征在于，所述卷积层的运算操作为：其中X
Fix
是由组成的输入/激活值张量，Y
MSA
是多次移位相加量化后的卷积计算结果，为ConvMSA算子。6.根据权利要求2所述的基于多次移位相加量化的图像识别方法，其特征在于，所述图像识别模型中还包括偏置参量B的计算方法，偏置参量B的计算方法包括：进行偏置参量B转化，将浮点数转化为定点数。7.一种基于多次移位相加量化的图像识别模型的训练方法，其特征在于，包括：得到带标签的样本图像；将所述样本图像输入构建的图像识别模型中，图像识别模型包括至少一个卷积层，采用多次移位相加量化算子替换图像识别模型中所有的卷积运算算子，并采用多次移位相加量化对图像识别模型进行训练；当满足预设条件时，完成对卷积神经网络的训练，得到基于多次移位相加量化的图像识别模型；得到基于多次移位相加量化的图像识别模型...

【专利技术属性】
技术研发人员：张鋆，宋睿，焦飞，周华良，李友军，
申请(专利权)人：南瑞集团有限公司国网山东省电力公司国家电网有限公司，
类型：发明
国别省市：