一种基于脉冲神经网络的短程跟踪方法及系统技术方案

本发明专利技术公开了一种基于脉冲神经网络的短程跟踪方法及系统，涉及人工智能技术领域，该方法包括基于注意力机制，对输入图像进行脉冲编码；对卷积神经网络的结构进行修改，以将卷积神经网络参数迁移至脉冲神经网络中，重新构建脉冲神经网络；计算输入图像的相邻图像帧中对应特征点间的脉冲相似度，得到区域相似性；使用重新构建的脉冲神经网络对输入图像中的目标进行跟踪。本发明专利技术重新构建的脉冲神经网络有效结合卷积神经网络的强特征提取特性，和脉冲神经网络高效率计算特性。

A short range tracking method and system based on impulse neural network

The invention discloses a short-range tracking method and system based on pulse neural network, which relates to the field of artificial intelligence technology. The method includes pulse coding of input image based on attention mechanism; modifying the structure of convolution neural network to transfer convolution neural network parameters to pulse neural network and reconstruct pulse neural network; calculating input image The pulse similarity between the corresponding feature points in the adjacent image frame is obtained, and the region similarity is obtained. The pulse neural network reconstructed by the invention effectively combines the strong feature extraction characteristics of the convolution neural network and the high efficiency calculation characteristics of the pulse neural network.

【技术实现步骤摘要】
一种基于脉冲神经网络的短程跟踪方法及系统
本专利技术涉及人工智能
，具体涉及一种基于脉冲神经网络的短程跟踪方法及系统。
技术介绍
随着人工智能相关技术的发展与广泛应用，类脑计算越发受到研究者的关注，传统深度神经网络的结构虽然是受大脑启发，但其在计算、学习规则上与大脑还存在根本差异，在大脑中，信息是以脉冲序列为载体进行传递，为了模拟这种生物神经元的信息处理机制，具有高度仿生学的脉冲神经网络应运而生。脉冲神经网络被称为“第三代神经网络”，已经成为图像分类等模式识别问题中研究的焦点，脉冲神经网络属于人工智能领域的前沿技术研究课题，并具有计算效率高、消耗能量低、占用资源少、易于硬件实现等优势，是研究类脑神经计算和编码策略的理想选择，通过对脉冲神经网络的理论及应用研究，对促进人工神经网络的发展有很重要的意义，还可推动非冯·诺依曼计算架构的新型人工智能芯片等边缘设备的研究。目前对于脉冲神经网络的研究已经有了一些初步的成果，但它的应用仍处于起步阶段，主要用于手写数字识别、图像分割等方面，难以应用到复杂的视觉场景中，造成这一问题的关键在于脉冲神经网络中的神经元函数不可微，无法使用传统误差反向传播的方式进行训练，且当前效率较低的训练算法，也无法克服复杂脉冲神经网络模型的训练问题，给脉冲神经网络的推广应用带来了瓶颈。另一方面，跟踪是计算机视觉领域中很重要的研究方向，在自动驾驶、安全、行为识别、人机交互等诸多领域都有具体的应用。近些年来，基于卷积神经网络、自动编码器等深度学习模型在跟踪技术上取得了很多进展，这得益于深度学习模型具有显著的特征提取能力，此类深度学习模型由于计算量大、占用资源多、需依赖顶级显卡加速，使得这些模型无法应用至边缘设备中，但如果能够融入脉冲神经网络模型的计算效率高、易于硬件实现等特性，可以使应用成为可能，但目前脉冲神经网络模型多用于分类问题，无需对输出脉冲进行特定处理，而像跟踪等需要输出后额外操作的领域，还未进行尝试。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于脉冲神经网络的短程跟踪方法及系统，重新构建的脉冲神经网络有效结合卷积神经网络的强特征提取特性，和脉冲神经网络高效率计算特性。本专利技术提供一种基于脉冲神经网络的短程跟踪方法，包括以下步骤：基于注意力机制，对输入图像进行脉冲编码；对卷积神经网络的结构进行修改，以将卷积神经网络参数迁移至脉冲神经网络中，重新构建脉冲神经网络；计算输入图像的相邻图像帧中对应特征点间的脉冲相似度，得到区域相似性；使用重新构建的脉冲神经网络对输入图像中的目标进行跟踪。在上述技术方案的基础上，所述基于注意力机制，对输入图像进行脉冲编码，具体步骤包括：使用3×3的感受野区域算子对输入图像进行卷积操作，得到特征图；基于特征值的由大至小顺序，对特征图中的像素点进行排序，按照排序，取预设数量的像素点，并将取出的像素点的特征值设置为排名第一像素点的特征值；计算特征图中每个像素点的脉冲发放个数si，j，计算公式为：其中，pmax为特征图中像素点的最大像素值，pmin为特征图中像素点的最小像素值，pi,j为特征图中像素点的灰度值，S为特征图的脉冲个数；计算特征图中每个像素点的频率fi,j，并基于计算得到的每个像素点的脉冲发放个数si，j，生成脉冲编码序列，所述计算特征图中每个像素点的频率，计算公式为：fi,j＝T/si,j其中，T为特征图总的脉冲时间。在上述技术方案的基础上，所述对卷积神经网络的结构进行修改，对卷积神经网络结构具体的修改过程为：对于输入层，输入的图像进行归一化处理；对于卷积层，卷积层中的所有偏置设为0，其它的原有核大小及初始化设置均不变；对于激活层，原先需使用激活函数的位置，将激活函数替换为relu()激活函数；对于池化层，若网络使用的是单脉冲输出的神经元，则池化层中保持原有的Max-Pooling层或Average-Pooling层，若网络使用的是多脉冲输出的神经元，则将池化层的Max-Pooling层修改为Average-Pooling层；对于全连接层，将全连接层中的所有偏置设为0，且全连接层的原有神经元个数及初始化均不变，全连接层的权重均在训练阶段使用L2正则化策略；以及删除无法直接表示层，并将卷积神经网络中所有权重的类型设置为16位的浮点型。在上述技术方案的基础上，所述将卷积神经网络参数迁移至脉冲神经网络中，重新构建脉冲神经网络，对于脉冲神经网络结构的构建，具体过程为：对于卷积层，构建与卷积神经网络的卷积层相同个数，相同大小的卷积核，然后直接迁移卷积神经网络的权重参数，构建脉冲神经网络的卷积层；对于池化层，若网络使用的是单脉冲输出的神经元，则卷积神经网络的Max-Pooling层对应脉冲神经网络池化层输入的2×2区域内最早发出脉冲的时间，卷积神经网络的Average-Pooling层对应脉冲神经网络池化层的平均脉冲时间；若网络使用的是多脉冲输出的神经元，则对池化层的Average-Pooling层采用卷积方式计算；对于激活层，迁移卷积神经网络的激活层构成脉冲神经网络的激活层，且对于迁移过来的激活层中使用relu()激活函数的位置，均使用脉冲神经网络中的线性激活方式，计算累计电压，当累计电压达到发放阈值时，发放产生输出脉冲，膜电压重置为静息电位，当累计电压小于发放阈值时，记录当前的电压值，并当累积电压低于静息电位时，将膜电压重置为静息电位；对于全连接层，构建与卷积神经网络全连接层相同个数的神经元，并直接迁移卷积神经网络全连接层的权重，构成脉冲神经网络的全连接层。在上述技术方案的基础上，所述计算输入图像的相邻图像帧中对应特征点间的脉冲相似度，得到区域相似性中，两特征点间脉冲相似度的计算过程为：计算当前时刻t与脉冲编码序列中前一个发放脉冲时间的距离计算公式为：其中，为当前时刻t在第n个脉冲编码序列序列中的后一个脉冲发放时间；计算当前时刻t与脉冲编码序列中后一个发放脉冲时间的距离ΔtP(t)，计算公式为：其中，为当前时刻t在脉冲编码序列1中前一个脉冲的发放时间，为当前时刻t在脉冲编码序列2中前一个脉冲的发放时间；计算两个脉冲编码序列的当前时刻t之后一个脉冲发放时间差ΔtF(t)，计算公式为：其中，为当前时刻t在脉冲编码序列1中后一个脉冲的发放时间，当前时刻t在脉冲编码序列2中后一个脉冲的发放时间；计算当前时刻t，两个脉冲编码序列间的距离sWISI，计算公式为：其中，为当前时刻t在n个第脉冲编码序列中后一个脉冲的发放时间，为当前时刻t在n个第脉冲编码序列中前一个脉冲的发放时间，为当前时刻t与脉冲编码序列中后一个发放脉冲时间的距离，为当前时刻t在第n个脉冲编码序列序列中的前一个脉冲发放时间。在上述技术方本文档来自技高网...

【技术保护点】
1.一种基于脉冲神经网络的短程跟踪方法，其特征在于，包括以下步骤：/n基于注意力机制，对输入图像进行脉冲编码；/n对卷积神经网络的结构进行修改，以将卷积神经网络参数迁移至脉冲神经网络中，重新构建脉冲神经网络；/n计算输入图像的相邻图像帧中对应特征点间的脉冲相似度，得到区域相似性；/n使用重新构建的脉冲神经网络对输入图像中的目标进行跟踪。/n

【技术特征摘要】
1.一种基于脉冲神经网络的短程跟踪方法，其特征在于，包括以下步骤：
基于注意力机制，对输入图像进行脉冲编码；
对卷积神经网络的结构进行修改，以将卷积神经网络参数迁移至脉冲神经网络中，重新构建脉冲神经网络；
计算输入图像的相邻图像帧中对应特征点间的脉冲相似度，得到区域相似性；
使用重新构建的脉冲神经网络对输入图像中的目标进行跟踪。


2.如权利要求1所述的一种基于脉冲神经网络的短程跟踪方法，其特征在于，所述基于注意力机制，对输入图像进行脉冲编码，具体步骤包括：
使用3×3的感受野区域算子对输入图像进行卷积操作，得到特征图；
基于特征值的由大至小顺序，对特征图中的像素点进行排序，按照排序，取预设数量的像素点，并将取出的像素点的特征值设置为排名第一像素点的特征值；
计算特征图中每个像素点的脉冲发放个数si，j，计算公式为：



其中，pmax为特征图中像素点的最大像素值，pmin为特征图中像素点的最小像素值，pi,j为特征图中像素点的灰度值，S为特征图的脉冲个数；
计算特征图中每个像素点的频率fi,j，并基于计算得到的每个像素点的脉冲发放个数si，j，生成脉冲编码序列，所述计算特征图中每个像素点的频率，计算公式为：
fi,j＝T/si,j
其中，T为特征图总的脉冲时间。


3.如权利要求1所述的一种基于脉冲神经网络的短程跟踪方法，其特征在于，所述对卷积神经网络的结构进行修改，对卷积神经网络结构具体的修改过程为：
对于输入层，输入的图像进行归一化处理；
对于卷积层，卷积层中的所有偏置设为0，其它的原有核大小及初始化设置均不变；
对于激活层，原先需使用激活函数的位置，将激活函数替换为relu()激活函数；
对于池化层，若网络使用的是单脉冲输出的神经元，则池化层中保持原有的Max-Pooling层或Average-Pooling层，若网络使用的是多脉冲输出的神经元，则将池化层的Max-Pooling层修改为Average-Pooling层；
对于全连接层，将全连接层中的所有偏置设为0，且全连接层的原有神经元个数及初始化均不变，全连接层的权重均在训练阶段使用L2正则化策略；以及
删除无法直接表示层，并将卷积神经网络中所有权重的类型设置为16位的浮点型。


4.如权利要求3所述的一种基于脉冲神经网络的短程跟踪方法，其特征在于，所述将卷积神经网络参数迁移至脉冲神经网络中，重新构建脉冲神经网络，对于脉冲神经网络结构的构建，具体过程为：
对于卷积层，构建与卷积神经网络的卷积层相同个数，相同大小的卷积核，然后直接迁移卷积神经网络的权重参数，构建脉冲神经网络的卷积层；
对于池化层，若网络使用的是单脉冲输出的神经元，则卷积神经网络的Max-Pooling层对应脉冲神经网络池化层输入的2×2区域内最早发出脉冲的时间，卷积神经网络的Average-Pooling层对应脉冲神经网络池化层的平均脉冲时间；若网络使用的是多脉冲输出的神经元，则对池化层的Average-Pooling层采用卷积方式计算；
对于激活层，迁移卷积神经网络的激活层构成脉冲神经网络的激活层，且对于迁移过来的激活层中使用relu()激活函数的位置，均使用脉冲神经网络中的线性激活方式，计算累计电压，当累计电压达到发放阈值时，发放产生输出脉冲，膜电压重置为静息电位，当累计电压小于发放阈值时，记录当前的电压值，并当累积电压低于静息电位时，将膜电压重置为静息电位；
对于全连接层，构建与卷积神经网络全连接层相同个数的神经元，并直接迁移卷积神经网络全连接层的权重，构成脉冲神经网络的全连接层。


5.如权利要求1所述的一种基于脉冲神经网络的短程跟踪方法，其特征在于，所述计算输入图像的相邻图像帧中对应特征点间的脉冲相似度，得到区域相似性中，两特征点间脉冲相似度的计算过程为：
计算当前时刻t与脉冲编码序列中前一个发放脉冲时间的距离计算公式为：



其中，为当前时刻t在第n个脉冲编码序列序列中的后一个脉冲发放时间；
计算当前时刻t与脉冲编码序列中后一个发放脉冲时间的距离ΔtP(t)，计算公式为：



其中，为当前时刻t在脉冲编码序列1中前一个脉冲的发放时间，为当前时刻t在脉冲编码序列2中前一个脉冲的发放时间；
计算两个脉冲编码序列的当前时刻t之后一个脉冲发放时间差ΔtF(t)，计算公式为：



其中，为当前时刻t在脉冲编码序列1中后一个脉冲的发放时间，当前时刻t在脉冲编码序列2中后一个脉冲的发放时间；
计算当前时刻t，两个脉冲编码序列间的距离sWISI，计算公式为：

【专利技术属性】
技术研发人员：洪苑乾，李金生，肖菲，晏新亮，吴善农，柳博予，李欣，董蓓，
申请(专利权)人：中建三局智能技术有限公司，
类型：发明
国别省市：湖北;42