一种基于FPGA的目标跟踪设备制造技术

一种基于FPGA的目标跟踪设备，嵌入到被控对象上，目标跟踪设备包括：摄像头数据采集模块；FPGA开发板；LCD显示屏模块；摄像头数据采集模块安装到被控对象上方，摄像头数据采集模块的数据传输端口与FPGA开发板IO端口连接，FPGA开发板与LCD显示屏模块双向连接，FPGA开发板的控制信号输出端口连接被控对象的控制输入端。本实用新型专利技术摆脱嵌入式的串行计算模型，利用自身硬件资源实现大规模的硬件并行计算，实现目标识别，使得跟踪的实时性更强；FPGA开发板具有现场可编程特性，当面对更复杂场景，识别更复杂目标时，该设备可修改神经网络大小，FPGA开发板将图像信息显示在LCD显示屏模块上，用户通过触摸LCD显示屏模块选择被跟踪目标，实现被控制物体的目标跟踪。

【技术实现步骤摘要】
一种基于FPGA的目标跟踪设备
本技术涉及嵌入式
，具体涉及一种基于FPGA的目标跟踪设备。
技术介绍
目标跟踪技术一直是计算机视觉研究领域中的热点之一，其在军事侦察、精确制导、火力打击、战场评估以及安防监控等诸多方面均有广泛的应用前景。近年来目标跟踪技术发展取得了很大进步。研发出了多个性能优良的跟踪器，可以在简单场景中实时跟踪目标。应用假设可以使跟踪的问题简单化(如平滑的运动、少量阻塞、光照恒定性、高对比度背景等)，但这些假设在现实场景中是不存在的，限制了其在自动化监控、人机交互、视频检索、交通监控、车辆导航等应用领域的应用。目标跟踪的难点在于：目标外观随时间而变化，如尺度变化、旋转、超平面旋转、光照变化引起的目标颜色剧烈及不均匀变化、非刚体形变、视角变化引起的外观变化等；背景复杂多变，使建模难度增加且目标容易淹没在背景中；多个目标出现咬合阻塞现象的处理；由于相机不稳、相机帧频、传感器等原因造成高速运动目标的模糊；完全遮挡或丢失后造成的时间不连续，而后目标重新出现。深度学习的提出使得人工神经网络重新成为机器学习最重要的算法之一。通过深度学习的方法构建深度学习网络抽取特征是目前目标和行为识别中得到关注的研究方向。由于深度学习可以无监督地从数据中学习到特征，而这种学习方式也符合人类感知世界的原理，因此当训练样本足够多的时候，深度学习学习到的特征具有语义特征，更适合目标跟踪与识别。谷歌虚拟人脑，百度大脑等深度学习框架是人工智能在目标识别上的重要运用。但是深度学习在目标跟踪上的运用面临功耗，规模，速度的问题。因此目前基于深度学习的目标跟踪很难在现实生活中运用。
技术实现思路
本技术的目的在于提供一种基于FPGA的目标跟踪设备。技术方案如下：一种基于FPGA的目标跟踪设备，嵌入到被控对象上，目标跟踪设备包括：摄像头数据采集模块；识别前方图像中的跟踪目标并根据选取的跟踪目标产生跟踪控制信号的FPGA开发板；实时显示经FPGA开发板识别的前方图像中的目标图像并从中选取跟踪目标的LCD显示屏模块；摄像头数据采集模块安装到被控对象上方，摄像头数据采集模块的数据传输端口与FPGA开发板IO端口连接，FPGA开发板与LCD显示屏模块双向连接，FPGA开发板的控制信号输出端口连接被控对象的控制输入端。标跟踪的FPGA开发板，FPGA开发板包括两部分：目标识别模块和控制信号输出模块；目标识别模块的输入端连接摄像头数据采集模块的输出端，控制信号输出模块的输入端连接目标识别模块的输出端，控制信号输出模块的输出端连接被控对象的控制输入端；目标识别模块，识别的前方图像中的目标图像：对摄像头数据采集模块采集的被控对象前方图像数据，采用过分割的方式将图像分割成多个小图像，并按照颜色相似、纹理相似有限合并等合并规则对过分割的小图像进行合并处理，产生1000~2000个候选目标图像；用卷积神经网络对每个候选目标图像进行深度特征提取，再将每个候选目标图像提取的深度特征送入各目标分类器中进行目标识别，得到多个目标图像。控制信号输出模块，以前方图像的中心点为原点，建立二维直角坐标系，如果跟踪目标在原点的左侧则输出向左的方向控制信号给被控对象，如果跟踪目标在原点的右侧则输出向右的方向控制信号给被控对象，如果跟踪目标在原点的正前方则输出直行方向控制信号给被控对象。有益效果：使用摄像头数据采集模块采集摄像头前方图像信息，图像数据信息通过USB传输到基于实现神经单元网络的FPGA开发板，该USB采用USB3.0版本，可以实现图像数据实时快速传输，图像传输的实时性，有效性，实现神经单元网络的FPGA开发板处理图像数据，识别目标，将产生的识别信息，一方面，FPGA开发板摆脱传统的嵌入式的串行计算模型，利用自身硬件资源实现大规模的硬件并行计算，可快速实现目标跟踪等算法，快速地实现目标识别，控制信号的产生，使得跟踪的实时性更强；另一方面，FPGA开发板具有现场可编程特性，当面对更复杂场景，识别更复杂目标时，该设备可修改神经网络大小，FPGA开发板将图像信息显示在LCD显示屏模块上，用户通过触摸LCD显示屏模块选择被跟踪目标，该设备具有良好的交互性，方便使用，并且FPGA开发板将产生的控制信号与被控制物体相连，实现被控制物体的目标跟踪。附图说明图1是本技术的基于FPGA的目标跟踪设备连接框图。具体实施方式结合具体实施方式对本技术的技术方案做详细说明。如图1所示的一种基于FPGA的目标跟踪设备，嵌入到被控对象上，目标跟踪设备包括：摄像头数据采集模块；识别前方图像中的跟踪目标并根据选取的跟踪目标产生跟踪控制信号的FPGA开发板；完成前方图像数据的深度学习和处理，并产生控制信号，输出至被控对象。实时显示经FPGA开发板识别的前方图像中的目标图像并从中选取跟踪目标的LCD显示屏模块；摄像头数据采集模块安装到被控对象上方，摄像头数据采集模块的数据传输端口与FPGA开发板IO端口连接，FPGA开发板与LCD显示屏模块双向连接，FPGA开发板的控制信号输出端口连接被控对象的控制输入端。具体地，摄像头数据采集模块能够完成图像数据初步处理工作，即利用opencv（OpenSourceComputerVisionLibrary）实现图像的消除抖动。摄像头数据采集模块的图像数据通过USB传输到FPGA开发板，该USB采用USB3.0版本，可以实现图像数据实时快速传输。具体地，所述FPGA开发板是用硬件描述语言描述实现目标跟踪的FPGA开发板，FPGA开发板包括两部分：目标识别模块和控制信号输出模块；目标识别模块的输入端连接摄像头数据采集模块的输出端，控制信号输出模块的输入端连接目标识别模块的输出端，控制信号输出模块的输出端连接被控对象的控制输入端；目标识别模块，识别的前方图像中的目标图像：对摄像头数据采集模块采集的被控对象前方图像数据，采用过分割的方式将图像分割成多个小图像，并按照颜色相似、纹理相似有限合并等合并规则对过分割的小图像进行合并处理，产生1000~2000个候选目标图像；用卷积神经网络对每个候选目标图像进行深度特征提取，再将每个候选目标图像提取的深度特征送入各目标分类器中进行目标识别，得到多个目标图像。控制信号输出模块，以前方图像的中心点为原点，建立二维直角坐标系，如果跟踪目标在原点的左侧则输出向左的方向控制信号给被控对象，如果跟踪目标在原点的右侧则输出向右的方向控制信号给被控对象，如果跟踪目标在原点的正前方则输出直行方向控制信号给被控对象。以被控对象为智能小车为例，将基于FPGA的目标跟踪设备嵌入到智能小车中：首先安装摄像头数据采集模块，校准光轴位置，使得摄像头数据采集模块的镜头光轴与智能小车的中心轴方向一致，在智能小车的中心处安装FPGA开发板以及LCD显示屏模块，将摄像头数据采集模块的数据传输端口与FPGA开发板的IO端口相连，将控制信号输出端口连接到智能小车的电机驱动上，控制电机的转速，将智能小车的电源连接到基于FPGA的目标跟踪设备的电源端口。打开基于FPGA的目标跟踪设备的电源开关，在LCD显示屏模块中选择跟踪的目标，按下确定键，然后打开智能小车启动开关，智能小车自动跟踪目标。以被控对象为飞行器为例，将基于FPGA的目标跟踪设备嵌本文档来自技高网...

【技术保护点】
一种基于FPGA的目标跟踪设备，其特征在于，嵌入到被控对象上，目标跟踪设备包括：摄像头数据采集模块；识别前方图像中的跟踪目标并根据选取的跟踪目标产生跟踪控制信号的FPGA开发板；实时显示经FPGA开发板识别的前方图像中的目标图像并从中选取跟踪目标的LCD显示屏模块；摄像头数据采集模块安装到被控对象上方，摄像头数据采集模块的数据传输端口与FPGA开发板IO端口连接，FPGA开发板与LCD显示屏模块双向连接，FPGA开发板的控制信号输出端口连接被控对象的控制输入端。

【技术特征摘要】
1.一种基于FPGA的目标跟踪设备，其特征在于，嵌入到被控对象上，目标跟踪设备包括：摄像头数据采集模块；识别前方图像中的跟踪目标并根据选取的跟踪目标产生跟踪控制信号的FPGA开发板；实时显示经FPGA开发板识别的前方图像中的目标图像并从中选取跟踪目标的LCD显示屏模块；摄像头数据采集模块安装到被控对象上方，摄像头数据采集模块的数据传输端口与FPGA开发板IO端口连接，FPGA开发板与LCD显示屏模块双向连接，FPGA开发板的...

【专利技术属性】
技术研发人员：叶文强，于起，甘淞元，蒋承知，
申请(专利权)人：东北大学，
类型：新型
国别省市：辽宁,21