一种用于无人机的智能化目标图像跟踪方法技术

本发明专利技术提出一种用于无人机的智能化目标图像跟踪方法，利用以图像为主的多种传感器感知周围环境，加强图像跟踪智能算法对周围环境的识别力，建立多种传感器的智能图像跟踪模型，提高图像目标跟踪的精度和计算效率。提高图像目标跟踪的精度和计算效率。

【技术实现步骤摘要】
一种用于无人机的智能化目标图像跟踪方法


[0001]本
技术实现思路
属于目标跟踪
，特别地，涉及一种用于无人机的智能化目标图像跟踪方法。

技术介绍

[0002]图像跟踪是机器视觉领域的重要内容，被应用于智能视频监控等领域，属于我国大力发展的人工智能技术之一，对于推动智慧城市、智能制造等国家战略的发展具有重要作用，是保障国家财产和人民安全的重要举措。
[0003]目标跟踪技术目前主要存在可疑目标、正常目标之间界限不清，频繁遮挡、表观近似等复杂情况导致跟踪不准确等瓶颈问题，而这些瓶颈问题在无人机实际应用的复杂环境下表现得更加突出。相比较于目前较常用的车载环境，无人机视觉应用的环境更加广泛，不仅用于城市道路，还广泛应用于农林植保，电力维修，外场作业等，环境更加复杂多变，为图像跟踪带来了巨大挑战。
[0004]现有技术中使用神经网络模型进行目标的跟踪，然而大部分主要集中在目标的识别，对于追踪本身效果不佳，也没有专门用于追踪的网络模型。此外，目前的跟踪神经网络大多数输入为图像数据，这在外界条件理想的情况下可以取得较好效果，但难以适应外部变化的环境，限制了无人机的应用范围。而且，过于庞大的网络规模会带来计算速度低、耗电高的问题，不适合在无人机上使用。

技术实现思路

[0005]为了解决在无人机在复杂环境下实现图像快速、准确、智能跟踪的问题，本专利技术提出一种新型智能化图像跟踪算法，利用以图像为主的多种传感器感知周围环境，加强图像跟踪智能算法对周围环境的识别力，建立多种传感器的智能图像跟踪模型，提高图像目标跟踪的精度和计算效率。
[0006]一种用于无人机的智能化目标图像跟踪方法，
[0007]步骤1：基于多传感器的多源数据采集和同步预处理：由一个主传感器按时序采集图像数据、多个副传感器按时序采集多种其他物理数据，并对上述主传感器和多个副传感器采集的时序数据进行同步预处理，得到：表示主传感器第s帧采集的图像；表示在主传感器采集第帧之前一段时间内第个副传感器所采集到的数据的平均期望；
[0008]步骤2：建立神经网络模型，推测第s帧中跟踪目标的位置
[0009]搜索图像为步骤1获得的第s帧采集的图像，跟踪目标记为；第一隐藏层为：
[0010][0011]其中、为预处理滤波器，分别表示宽、高和深度维，表示对应图像宽、高维度的坐标，、为截距参数，是激活函数；
[0012]在第二隐藏层中，利用利用雨量、雪量、PM2.5传感器的数据、、对上一层输出进行优化；在第三隐藏层中，对上一层的输出进行累加运算；在第四隐藏层中利用温度、湿度传感器的数据、对上一层输出进行优化；在第五隐藏层中，对上一层的输出进行卷积运算；
[0013]在输出层中，利用风速传感器数据，对上一层的输出进行修正：
[0014][0015]其中，表示风速传感器数据向量的第个元素，为上一层的输出，是修正线性参数，为神经网络模型的输出，是截距参数。
[0016]在神经网络模型训练阶段，对训练样本中跟踪目标在输出中对应的位置的像素置为1，其它部分像素置为0。
[0017]神经网络分类器的代价函数定义为：
[0018][0019]表示网络模型的输出值，表示训练样本中的输出标签。
[0020]采用上述神经网络模型根据主传感器采集的图像数据、多个副传感器采集的数据进行跟踪，求得模型输出的响应图中的峰值响应，作为跟踪目标的输出位置。
[0021]该方法在安装于无人机的处理器上实施。
[0022]该处理器与图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器连接。
[0023]该处理器接收多个传感器数据，并根据步骤2进行处理，输出跟踪目标的位置。
[0024]一种实施上述方法的无人机，包括无人机本体、处理器、图像传感器。
[0025]还包括图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物PM2.5传感器。
[0026]一种无人机跟踪系统，包括上述无人机。
[0027]本专利技术的专利技术点及技术效果：
[0028]1、本专利技术提出基于多传感器的多源数据采集和同步预处理方法，为多种数据的联合使用打下基础，可以有效降低神经网络的模型规模，提高跟踪的精度。
[0029]2、建立并优化神经网络模型，以第一步中获得的主、副传感器联合数据作为输入，并且采用在各隐藏层中逐步输入的方式，可避免传感器数据冗余，提高预测精度和计算速度，使得无人机能够实现目标实时图像精确跟踪。
具体实施方式
[0030]步骤1：基于多传感器的多源数据采集和同步预处理方法。
[0031]图像本质上是对现实世界的不完备映射，因此现实世界中的目标在图像空间中不可避免地存在二义性，为跟踪带来了困难。现实世界中，当无人机工作在复杂环境下，如雾天、雨天、雪天、沙尘天等环境下，传统算法的局限性更加突出。为此，提出一种基于多传感器的多源数据采集方法。
[0032]该多源数据采集方法及装置，包括以图像传感器（摄像机）为主的主传感器，及若干副传感器，包括雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒
物PM2.5传感器等。
[0033]所有传感器采集时序数据，并以时间维度进行同步处理。每种时序数据的时间横断面上，主传感器采集的图像数据为二维结构（矩阵），其它副传感器采集的数据为一维结构（向量）。
[0034]对上述传感器采集的时序数据，进行同步预处理。如下。
[0035]主传感器采集的时序数据，记为
[0036][0037]代表主传感器图像数据的在时间上的横断面，表示传感器采集的时间序数，。表示相邻采集间隔时间。
[0038]副传感器采集的时序数据，记为
[0039][0040]表示第个副传感器数据在时间上的横断面，表示第个副传感器采集的时间序数，，表示相应传感器的相邻采集间隔时间。
[0041]不同传感器采集的间隔是不同的，即、、
…
是不同的。以主传感器图像数据为基准，对其它副传感器数据进行时间同步。
[0042]定义：
[0043][0044]表示时间差值，表示在主传感器采集第帧之前一段时间内第个副传感器所采集到的数据的平均期望，表示满足的的个数，即副传感器在一段时间内采集到的数据量。
[0045]定义：
[0046][0047]表示主传感器第s帧采集的图像。
[0048]如上述定义的、，表示同步的第s帧主、副传感器联合数据。
[0049]步骤2：建立神经网络模型，将上述联合数据作为输入，基于第一步中获得的主、副传感器联合数据实施图像跟踪，推测第s帧中图像目标的位置。
[0050]在复杂应用环境下，多源传感器的传感器数据能够为图像数据中的不确定性提供补充。例如雨量、雪量、PM2.5传感器可以用来评估图像的噪声干扰程度，优化预处理滤波器的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于无人机的智能化目标图像跟踪方法，其特征在于：步骤1：基于多传感器的多源数据采集和同步预处理：由一个主传感器按时序采集图像数据、多个副传感器按时序采集多种其他物理数据，并对上述主传感器和多个副传感器采集的时序数据进行同步预处理，得到：表示主传感器第s帧采集的图像；表示在主传感器采集第帧之前一段时间内第个副传感器所采集到的数据的平均期望；步骤2：建立神经网络模型，推测第s帧中跟踪目标的位置搜索图像为步骤1获得的第s帧采集的图像，跟踪目标记为；第一隐藏层为：，其中、为预处理滤波器，分别表示宽、高和深度维，表示对应图像宽、高维度的坐标，、为截距参数，是激活函数；在第二隐藏层中，利用利用雨量、雪量、PM2.5传感器的数据、、对上一层输出进行优化；在第三隐藏层中，对上一层的输出进行累加运算；在第四隐藏层中利用温度、湿度传感器的数据、对上一层输出进行优化；在第五隐藏层中，对上一层的输出进行卷积运算；在输出层中，利用风速传感器数据，对上一层的输出进行修正：，其中，表示风速传感器数据向量的第个元素，为上一层的输出，是修正线性参数，为神经网络模型的输出，是截距参数。2.如权利要求1所述方法，其特征在于：在神经网络模型训练阶段，对训练样本中跟踪目...

【专利技术属性】
技术研发人员：胡进，
申请(专利权)人：武汉天进科技有限公司，
类型：发明
国别省市：