一种基于脉冲神经网络的类脑目标跟踪方法技术

本发明专利技术提出了一种基于脉冲神经网络的类脑目标跟踪方法。本发明专利技术构建的目标检测模型由基础网络和不同的叠加卷积层组成：基础网络即脉冲神经网络，对输入图像进行特征提取；之后叠加的不同卷积层可获得多尺度的检测特征图，大尺度特征图用于对小物体的检测，小尺度特征图对大物体进行检测。基于该目标检测模型最终输出为目标坐标位置和置信概率，并采用PID控制实现移动端对目标实现跟踪。本发明专利技术的有益效果是：与传统的目标检测模型相比，采用基于LIF神经元的脉冲神经网络作为基础网络，使得目标检测模型具有更好的生物合理性。检测模型具有更好的生物合理性。检测模型具有更好的生物合理性。

【技术实现步骤摘要】
一种基于脉冲神经网络的类脑目标跟踪方法


[0001]本专利技术涉及目标跟踪领域，特别涉及一种基于脉冲神经网络的类脑目标跟踪方法。

技术介绍

[0002]近年来，随着人工智能技术的不断发展，目标跟踪技术因此取得了进一步的进展，在工业、医疗、家居、交通等方面广泛应用。有效的目标检测模型对于目标跟踪技术至关重要，目标检测模型主要通过对输入图像进行目标检测并输出检测目标的位置坐标等信息，其次通过运动控制算法实现移动端对目标的跟踪。
[0003]当下，深度学习在目标跟踪领域应用广泛，其中Faster R-CNN、SSD和YOLO等传统的目标检测模型较为常见。虽然这些目标检测模型利用深度神经网络能够实现对输入图像的目标检测，但是该深度神经网络不具备较好的生物合理性，进而存在计算量大、功耗较高和过度依赖GPU等硬件加速平台等限制条件，进而导致目标检测速度较慢、准确率不够高。
[0004]目前，脉冲神经网络因其更加符合生物脑的结构特征，具有较好的生物合理性等优势受到研究者们的广泛关注，因此将脉冲神经网路与传统的目标检测模型结合形成更加具有生物可释性的类脑目标检测模型具有更加广阔的研究前景。

技术实现思路

[0005]本专利技术的目的在于克服传统的目标检测算法具有较低的生物可释性等缺陷，与脉冲神经网络结合，提出一种基于LIF脉冲神经元的类脑目标跟踪方法。该方法使得目标检测模型具有更好的生物合理性，使得目标跟踪方法更加有效。
[0006]该目标检测算法实质上是用一个矩形框来定位，并判断分类矩形框中的物体。定位为用一个矩形框框定物体，并标示出矩形框左上角和右下角顶点，进而识别矩形框中的最大物体。该算法使用宽高比例不同、大小不同的默认识别框来切割并覆盖整个图像，并对不同矩形框中的图像内容进行单目标检测，最后汇总对整个图像的物体识别情况。并对图像中检测到的每个物体标示其置信度和识别框左上角及右下角顶点坐标。在该目标检测模型中，基础网络为脉冲神经络，主要用于对输入图像进行特征提取，在基础网络之后设置了不同的卷积层，这是为了获得多尺度的检测特征图(feature map)，因此可预测不同尺度和高宽比的默认识别框及其相关类别概率，最终通过非最大抑制步骤来产生最终结果。最后基于目标的坐标信息进行PID控制，来实现移动端的目标跟踪。
[0007]为了解决上述技术问题，本专利技术采用的技术方案是：一种基于脉冲神经网络的类脑目标跟踪方法，包括步骤：
[0008]S1、输入图像：由摄像头组件输入待跟踪目标图像；
[0009]S2、目标检测模型对输入图像进行目标检测：
[0010]首先利用基础网络脉冲神经网络对输入图像进行特征提取，形成检测特征图之后添加不同尺度卷积层进行多尺度检测；
[0011]S3、输出坐标位置信息：由S2步骤产生的不同尺度的检测特征图进行多尺度的默认识别框预测，利用softmax对预测的默认识别框类别进行分类，边界回归获得真实目标的位置信息并输出待跟踪目标识别框的左上角和右下角顶点坐标和置信度；
[0012]S4、目标跟踪：根据S3步骤得到的目标位置信息，基于PID控制改变移动端的运动状态，进而实现目标跟踪。
[0013]步骤S1所述脉冲神经网络的基本单元采用LIF神经元，LIF神经元动态模型为具有更好的生物合理性，使得对输入图像进行有效提取。
[0014]步骤S2所述不同尺度卷积层对基础网络产生的特征图进行进一步特征提取，并产生不同尺度大小的检测图，采用大尺度特征图检测小目标对象；采用小尺度特征图检测大目标对象。
[0015]步骤S3所述目标坐标位置信息为目标物体识别框位于整个图像的左上角及右下角顶点坐标[x1，y1，x2，y2]，其中softmax计算公式为
[0016]步骤S4所述目标跟踪是利用顶点坐标判断识别目标位于画面的位置信息，并根据调整识别框坐标差和面积差改变识别目标的运动状态。
[0017]本专利技术的有益效果是：
[0018]1.本专利技术采用脉冲神经网络作为目标检测模型的基础网络，采用LIF神经元作为基础单元，进而使得目标检测模型更具有生物合理性。
[0019]2.本专利技术基于目标检测算法模型输出的结果，基于PID控制改变移动端的运动状态，进而实现识别目标的跟踪。
附图说明
[0020]图1是目标检测模型输出的目标坐标信息示意图；
[0021]图2是利用目标检测模型实现对物体的跟踪示意图；
[0022]图3是本专利技术基于脉冲神经网络的类脑目标跟踪方法的流程图；
[0023]图4是本专利技术的脉冲神经网络流程图。
具体实施方式
[0024]下面结合附图和具体实施方式对本专利技术作进一步详细说明：
[0025]附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施案例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0026]首先，本实验在COCO数据集上进行训练，由微软团队提供的一个可用于图像识别的数据集，数据集中的图像分为训练、验证和测试集，可用于检测90种常见对象，为目标跟踪算法的常用数据集。
[0027]图1显示了识别目标位于画面的具体位置信息，其中分别以图像识别框标示出目
标检测模型识别的物体，并最终根据匹配标签确定待跟踪目标。
[0028]根据识别坐标的左上角和右下角顶点[x1，y1，x2，y2]，其中(x1，y1)为检测目标的左上角顶点，(x2，y2)为有下角顶点。计算出目标的中心位置坐标[(x1+x2)/2，(y1+y2)/2]，如果同一个画面中出现多个待跟踪目标，例如附图1中产生多个识别框，则通过计算并比较中心位置坐标向量距离值选择距离画面中心最近的目标作为最终的跟踪目标，即向量距离值越小，越接近画面中心位置。
[0029]用计算目标的位置信息即坐标值来确定目标在画面中的偏离程度和远近距离，其中偏离程度由横坐标与画面中心坐标的差值决定，远近距离由目标识别框面积一一映射。使用PID控制器，设定值根据识别框的期望面积设定(例如30000)，该期望面积与移动端跟踪目标的保持距离一一对应。根据移动端摄像头对目标物体的实际识别距离与期望设定值做比较，通过PID控制输出来调整移动端速度值，进而实现远近距离的调节。对于转向，同样使用PID控制器，设定值为0即转向后保持识别物体位于画面中央，根据设定值与实际坐标差的比较结果来进行PID控制，其输出结果调整移动端左右电机差，进而实现转向。
[0030]如图3所示，本专利技术的主要创新点在于使用基于LIF神经元的脉冲神经网络作为目标检测模型的基础网络，用于对输入图像的特征提取，并通过添加不同尺度的卷积层对特征图进行多尺度的检测，以实现多尺度的识别框对目标进行预测。最后结合PID控制算法，根据目标检测模型输出的目标位置信息对目标进行跟踪控制。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脉冲神经网络的类脑目标跟踪方法，其特征在于，包括以下步骤：S1、输入图像：由摄像头组件输入待跟踪目标图像；S2、目标检测模型对输入图像进行目标检测：首先利用基础网络脉冲神经网络对输入图像进行特征提取，形成检测特征图之后添加不同尺度卷积层进行多尺度检测；S3、输出坐标位置信息：由S2步骤产生的不同尺度的检测特征图进行多尺度的默认识别框预测，利用softmax对预测的默认识别框类别进行分类，边界回归获得真实目标的位置信息并输出待跟踪目标识别框的左上角和右下角顶点坐标和置信度；S4、目标跟踪：根据S3步骤得到的目标位置信息，基于PID控制改变移动端的运动状态，进而实现目标跟踪。2.根据权利要求1所述的一种基于脉冲神经网络的类脑目标跟踪方法，其特征在于，步骤S1所述脉冲神经网络的基本单元采用LIF神经元，LIF神经元动态模型可近似为一阶微分方程描述：其中，u(t)脉冲神经元膜电压；u
rest
为神经元静息电位；R为膜电阻，I(t)...

【专利技术属性】
技术研发人员：杨双鸣，杨铭，胡植才，王江，邓斌，李会艳，
申请(专利权)人：天津大学，
类型：发明
国别省市：