基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法技术方案

本发明专利技术公开了一种基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法，通过在四旋翼上安装双目摄像头、航拍智能手机，在航拍智能手机中完成目标追踪算法，并将双目摄像头所捕获的视频信息发送给航拍智能手机，航拍智能手机所获取的视频信息通过网络传输至地面控制智能手机中，地面控制智能手机通过触摸屏选取需要跟踪的运动目标，目标选定后四旋翼立即开始对目标进行追踪。本发明专利技术能够保证四旋翼对目标进行准确有效的跟踪，可应用视频跟拍、行人跟踪等领域，具有较好的实用性。

【技术实现步骤摘要】

本专利技术涉及图像模式识别领域，尤其涉及一种基于智能手机与双目视觉的四旋翼 运动目标追踪系统和方法。
技术介绍
对视频序列中感兴趣的目标进行准确有效的跟踪，在视频监控、人机交互、虚拟现 实等领域得到了广泛了的应用，使用四旋翼飞行器（以下简称四旋翼）对运动的目标进行 追踪可广泛的应用于视频跟拍、安防巡逻等领域，具有较好的实用价值。 由于四旋翼与目标都处于运动中，传统的目标跟踪方法仅是对视频序列中的目标 进行检测标记，当被跟踪目标的运动状态发生突变时，将可能丢失跟踪目标，最终导致四旋 翼对目标的跟踪失败。针对于该问题，通常的解决办法是将目标检测与跟踪滤波算法相结 合，提高算法的跟踪效率与精确度。 由于四旋翼的运动空间为三维空间，准确的对目标进行识别，并获取目标的距离 信息对于四旋翼完成目标跟踪任务具有重要的意义。传统的激光传感器质量过大，容易超 出四旋翼的负载范围，而单目摄像头无法获取当前位置到目标的深度距离信息，在实际的 四旋翼跟踪方法中得不到应用。双目视觉具有质量小，抗干扰能力强等特点，由于使用了左 目和右目摄像头，根据左右摄像头的视差，应用双目测距原理，能够准确测量四旋翼与目标 之间距离。因此使用双目摄像头采集的视频图像中能够准确的对目标进行跟踪与测量，双 目摄像头的使用是实现四旋翼对运动目标追踪的关键所在，对于提高四旋翼跟踪算法的执 行效率与精确度具有重要意义。 采用双目视觉对目标进行跟踪与距离测量，其计算量较大，传统的图像处理模块 无法实时有效的对如此大量的视频信号进行处理，同时传统的无线传输模块的传输距离和 带宽均非常有限。 同时由于四旋翼运动目标追踪在日常作业和生活中使用越来越频繁，而专业的飞 行控制器操控方法非常专业，实际控制程序繁琐，同时由于价格非常昂贵，这就限制了对四 旋翼运动目标追踪技术的应用和进一步研宄。因此，采用日常生活中方便且易获取的控制 器来进行四旋翼运动目标追踪，就显得非常有必要。
技术实现思路
本专利技术为了解决上述技术问题，提供一种基于智能手机与双目视觉的四旋翼运动 目标追踪系统和方法，不需要专用的飞行控制器即可简单易操作的实现飞行和目标追踪控 制，成本低具有较好的可拓展性和实用性、且控制方法简单方便，便于普及。 本专利技术为解决上述技术问题，采用如下技术方案： -种基于智能手机与双目视觉的四旋翼运动目标追踪系统，其特征在于：包含两 个智能手机，其中，一个航拍智能手机安装在四旋翼机架上，另一个地面控制智能手机留给 地面操控人员进行远程控制；所述航拍智能手机还配置有气压计； 所述四旋翼的机架上配置双目摄像头、智能手机接入模块、驱动模块、动力模块、 能源模块；动力模块包括四旋翼的螺旋桨与各旋翼电机，各旋翼的螺旋桨均由一个独立的 旋翼电机驱动；智能手机接入模块为四旋翼与航拍智能手机之间的接口，用以无线接收航 拍智能手机的目标控制命令并计算四旋翼电机的控制量，然后将计算出来的四旋翼电机的 控制量发送给驱动模块，同时还无线下传双目摄像头的航拍视频数据到地面控制智能手机 上； 所述驱动模块由单片机与电子调速器组成，接收航拍智能手机接入模块输出的控 制量，并通过电子调速器输出给旋翼电机； 能源模块为四旋翼飞行器的电力供应设备，主要包括锂电池；上述各模块采用统 一接口并能组合或拆卸； 两个智能手机之间能够通过公共基站无线网络互通：其中，地面控制智能手机用 于选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机；航拍智能手机 用于接收目标数据并完成目标追踪算法产生目标控制命令，然后将目标控制命令发送给四 旋翼的智能手机接入模块驱动四旋翼开始对目标进行追踪，航拍智能手机还实时接收来自 双目摄像头所捕获的视频信息并将该视频信息通过无线网络传输至地面控制智能手机中。 上述技术方案中，无线网络为3G或4G网络。 上述技术方案中，地面控制智能手机通过触摸屏幕操作选取需要跟踪的运动目 标。 上述技术方案中，智能手机具有高速多核的CPU处理器、GPU图像处理器和无线网 络通信模块。 上述技术方案中，智能手机均为Android操作系统。 一种采用上述运动目标追踪系统的四旋翼运动目标追踪方法，主要包括如下步 骤：地面控制智能手机首先选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍 智能手机；航拍智能手机接收目标数据并完成目标追踪算法产生目标控制命令，然后将目 标控制命令发送给四旋翼的智能手机接入模块驱动四旋翼开始对目标进行追踪；在对目标 进行追踪过程中，双目摄像头将捕获的视频信息实时发送给航拍智能手机，航拍智能手机 实时接收来自双目摄像头所捕获的视频信息并将该视频信息通过无线网络传输至地面控 制智能手机中。 上述技术方案中，具体包括如下步骤： 步骤S1 :使用四旋翼上的气压计，设定四旋翼的飞行高度； 步骤S2 :获取四旋翼上双目摄像头中的双目图像信息； 步骤S3 :应用基于Camshift算法与强跟踪Kalman滤波的目标跟踪算法对双目摄 像头的左目与右目的图像进行目标跟踪，并对下一帧图像中目标出现的位置进行预测； 步骤S4:判断目标是否同时出现在左目和右目中，若目标同时出现在左目和右目 中，则进行下一步算法操作，否则对四旋翼的位置进行调整；若四旋翼位置调整失败，目标 无法同时出现在左目和右目中则跳转至步骤S1顺序执行； 步骤S5:将所获取的双目摄像头左目和右目所跟踪到的运动目标的中心点位置 坐标作为追踪目标，应用双目测距原理计算出当前四旋翼与该目标之间的距离； 步骤S6 :根据所设定的四旋翼与目标之间的距离阈值，调节四旋翼与目标之间的 距离使四旋翼始终保持在所设定的距离阈值范围内；之后跳转至步骤S1循环顺序执行，直 至航拍智能手机收到追踪停止命令。 上述技术方案中，步骤S6具体包含如下三种情况： 步骤S61 :若根据计算得出追踪目标与四旋翼之间的距离大于所设定的阈值范围 时，调整四旋翼的位置，使四旋翼往靠近追踪目标的方向直线飞行，使四旋翼与追踪目标之 间的距离处于所设定的阈值范围内； 步骤S62 :若根据计算得出追踪目标与四旋翼之间的距离小于所设定的阈值范围 时，调整四旋翼的位置，使四旋翼往远离追踪目标的方向直线飞行，使四旋翼与追踪目标之 间的距离处于所设定的阈值范围内； 步骤S63 :无论是步骤S61还是步骤S62 :在调节之后均跳转至步骤S1循环执行， 从而实现对目标的追踪，直至航拍智能手机收到追踪停止命令。 本专利技术所提出的，利 用了智能手机的网络实现了双目视频图像的无线传输，使地面控制智能手机能够实时获取 当前双目摄像头的视频信息，并能够设定四旋翼所要跟踪的运动目标。同时采用航拍智能 手机作为整个跟踪系统的运算核心，利用航拍智能手机上的高速CPU与GPU (图像处理器） 实现基于双目视觉图像的目标追踪算法，根据所追踪到的目标在图像中的位置信息，应用 双目测距原理即可计算出四旋翼与目标之间距离，从而实现四旋翼对运动目标的实时追 踪，本专利技术的提出让四旋翼对运动目标的追踪变得简单方便，具有较好的可拓展性和实用 性。相对于现有技术，不需要专用的飞行控制器即可简单易操作的实现飞行和目标追踪控 制，成本低具有较好的可拓展性和实用性、且控制方法简单方便，便于普及。本专利技术能够保 本文档来自技高网...

【技术保护点】
一种基于智能手机与双目视觉的四旋翼运动目标追踪系统，其特征在于：包含两个智能手机，其中，一个航拍智能手机安装在四旋翼机架上，另一个地面控制智能手机留给地面操控人员进行远程控制；所述航拍智能手机还配置有气压计；所述四旋翼的机架上配置双目摄像头、智能手机接入模块、驱动模块、动力模块、能源模块；动力模块包括四旋翼的螺旋桨与各旋翼电机，各旋翼的螺旋桨均由一个独立的旋翼电机驱动；智能手机接入模块为四旋翼与航拍智能手机之间的接口，用以无线接收航拍智能手机的目标控制命令并计算四旋翼电机的控制量，然后将计算出来的四旋翼电机的控制量发送给驱动模块，同时还无线下传双目摄像头的航拍视频数据到地面控制智能手机上；所述驱动模块由单片机与电子调速器组成，接收航拍智能手机接入模块输出的控制量，并通过电子调速器输出给旋翼电机；能源模块为四旋翼飞行器的电力供应设备，主要包括锂电池；上述各模块采用统一接口并能组合或拆卸；两个智能手机之间能够通过公共基站无线网络互通：其中，地面控制智能手机用于选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机；航拍智能手机用于接收目标数据并完成目标追踪算法产生目标控制命令，然后将目标控制命令发送给四旋翼的智能手机接入模块驱动四旋翼开始对目标进行追踪，航拍智能手机还实时接收来自双目摄像头所捕获的视频信息并将该视频信息通过无线网络传输至地面控制智能手机中。...

【技术特征摘要】

【专利技术属性】
技术研发人员：吴怀宇，钟锐，滕雄，李威凌，陈鹏震，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42