一种基于视觉和力觉反馈的UAV群双边遥操作控制系统及其方法技术方案

本发明专利技术公开了一种基于视觉和力觉反馈的UAV群双边遥操作控制系统及其方法，所述系统包括主端、从端和通讯模块，所述主端包括手控器和控制计算机，所述从端包括UAV虚代理点、UAV群、距离传感器、图像采集模块；操作者使用单个手控器控制所有的虚拟结构点，虚拟结构点与UAV采用双向跟踪机制，控制UAV群的队形移动；当与环境障碍物进行交互时环境提供力反馈信号，一方面提供给UAV改变UAV的位姿，控制编队队形的变换，另一方面提供给主端使操作者获得力觉临场感；同时，在每个UAV上安装摄像头，通过舵机调节摄像头视角范围，为操作员提供从端全局视图，最终使操作者同时获得力觉和视觉临场感。

【技术实现步骤摘要】

本专利技术设及无人机双边遥操作控制
，特别是设及一种利用视觉和力觉反 馈的无人机群的双边遥操作控制技术。
技术介绍
对于复杂的工作任务及多变的工作环境，多机器人的协调与协作可完成单机器人 无法或难W完成的工作。多无人机（Unmanned Aerial Vehicles, UAVs)协同编队飞行可显 著提高UAV的作业能力，拓宽其使用范围，更安全、更可靠地完成编队、空中侦察和搬运等 任务。 然而，当任务变得极为复杂W及需要W高层次的认知为基础的在线决策时，多机 器人的完全自主控制仍远未能达到任务目的。在该种情况下，一方面，需要将人的智能引入 控制系统，充分利用人的在线决策提高多机器人作业能力；另一方面，将远端多机器人作业 情况反馈给本地操作员，使操作员具有良好的临场感和沉浸感，降低操作员的工作难度。双 边遥操作系统就是一种将本地操作员的智能与远程机器人的适应性相结合的技术，它可W 使远程机器人跟随本地操作员操控的手控器运动，并将远程机器人与环境的接触力反馈给 本地操作员。将双边遥操作系统应用于UAV群的编队控制问题中，借助于遥操作系统提供 力觉、视觉临场感，可W使操作者真实地感觉到从端UAV群与环境的动态相互作用，从而有 效地解决UAV群编队过程中避障、UAV间相互碰撞、信息交互等问题。
技术实现思路
专利技术目的：针对现有技术中UAV群在复杂多变环境中难W通过完全自主控制实现 编队导航的问题，本专利技术提供了一种基于视觉和力觉反馈的UAV群双边遥操作控制系统及 其方法，有效解决了 UAV群编队导航过程中避障、UAV间相互碰撞及信息交互等问题。 技术方案：本专利技术在UAV群双边遥操作控制系统中使用虚拟结构技术，在载体坐 标系下为每个UAV设置一个相应的虚拟结构点，操作者使用单个手控器控制所有的虚拟结 构点，虚拟结构点与UAV采用双向跟踪机制，控制UAV群的队形移动；当与环境障碍物进行 交互时环境提供力反馈信号，一方面提供给UAV改变UAV的位姿，控制编队队形的变换，另 一方面提供给主端使操作者获得力觉临场感；同时，在每个UAV上安装摄像头，通过驼机调 节摄像头视角范围，为操作员提供从端全局视图，最终使操作者同时获得力觉和视觉临场 感。 本专利技术提出一种基于视觉和力觉反馈的UAV群双边遥操作控制系统，包括主端、 从端和通讯模块，所述主端包括手控器和控制计算机，所述手控器包括力反馈触觉装置，用 于根据操作者的操作运动，并输出位置信息给控制计算机；所述控制计算机根据手控器发 送的位置信息输出控制信号；所述从端包括UAV虚代理点、UAV群、距离传感器、图像采集模 块，所述UVA虚代理点和UAV采用双向跟踪机制，控制UAV群的队形移动，当与环境障碍物 进行交互时，UAV根据障碍物提供的反作用力改变UAV的位姿，控制编队队形的变换；所述 距离传感器用于检测UAV与障碍物的距离；所述图像采集模块用于采集UVA群的全局视图； 所述通讯模块用于实现主端和从端间的通讯，将主端控制器输出的控制信号发送给从端， 将从端的障碍物反作用力和全局视图发送给主端。 所述手控器具有3个位置自由度、3个关节自由度及3个位置自由度力反馈输出。 所述通讯模块为无线网络，包括XBee透明传输网络和WIFI网络。 所述距离传感器包括超声波传感器。 所述图像采集模块包括安装在UVA上的摄像头和驼机，随着该UAV摄像头在前方 180°范围内的左右转动，使得其他UAV在摄像头的视场内，获得其余UAV的全局视图。 本专利技术还提出一种基于视觉和力觉反馈的UAV群双边遥操作控制方法，包括W下 步骤： 1)手控器根据操作者的操作运动，并输出手控器的位置信息给控制计算机； 2)控制计算机接收手控器的位置信息，通过工作空间映射将手控器有限的工作空 间映射到UAV无限的工作空间内，然后通过无线网络将控制信号发送给从端UAV群所有的 虚拟结构点； 3)UVA虚代理点和UAV采用双向跟踪机制，虚拟结构点在控制信号的作用下进行 移动，UAV跟踪对应虚拟结构点实现UAV位置更新； 4)距离传感器检测UAV与障碍物的距离，当单个UAV与环境障碍物之间的距离达 到预警值时，障碍物提供给UAV环境反作用力，改变单个UAV的速度，同时，相应的虚拟结构 点进行移动，更新编队队形； 5)UAV群根据环境反作用力输出从端力信号，并通过无线网络发送给主端手控器， 使操作者获得力觉临场感，同时，安装在UAV上的摄像头在载体坐标系下，W其中单个UAV 为中屯、，调节驼机角度，获得其余UAV的全局视图，并通过无线网络发送给主端控制计算 机，使操作者监测从端UAV群的飞行W及与环境的接触状况，从而获得视觉临场感。 所述方法还包括对虚拟结构点的初始设置，具体为：在载体坐标系下，设置虚拟结 构点位置，使得UAV与相应的虚拟结构点之间的位置误差趋于零。 所述控制计算机生成控制信号的方法为；采用位置一-映射机制，将力反馈手控 器的空间位置分别映射到从端所有的UAV虚拟结构点，根据力反馈手控器产生的空间位置 信息生成所有虚拟结构点左/右、上/下、前/后方向的位置控制命令，从而对应四旋翼左 转/右转、上升/下降、前进/后退方向的飞行控制命令，形成一对多控制模式，即一个力反 馈手控器空间位置控制所有的UAV虚拟结构点整体的移动。 所述UAV与虚拟结构点采用双向跟踪方法为：UAV使用轨迹跟踪算法跟踪自身的 虚拟结构点的位置，使得UAV与虚拟结构点之间的跟踪位置误差W及速度误差均趋于零， 从而实现底层UAV的运动；反之，虚拟结构点跟踪相应UAV，使由虚拟结构点构成的编队队 形发生变换。 有益效果；本专利技术采用上述技术方案，具有W下有益效果： (1)从端UAV群采用虚拟结构方式，主端直接控制虚拟结构点，从而有效地规避对 底层多自由度欠驱动UAV的控制；同时，实现了主从端一对多模式，使得一个手控器即可控 制多个UAV的运动，大大减轻了操作者的负担。 (2)从端UAV与虚拟结构点采用双向跟踪方法，虚拟结构点的位置更新和UAV群编 队队形的形成同步进行，使得在UAV编队队形过程中避免了 UAV之间复杂的信息交互和处 理W及UAV之间的相互碰撞。 (3)控制系统同时引入力觉和视觉双重反馈，根据从端UAV群与环境障碍物交互 的情况，从端产生反馈力和全局视图给操作者，同时改变从端UAV群的编队队形，使得操作 者能够清晰的判断从端UAV群与障碍物的交互情况，增强操作者的临场感，提高了操作者 的控制能力。【附图说明】 图1为本专利技术基于视觉和力觉反馈的UAV群双边遥操作控制系统结构框图；图2为本专利技术从端UAV群的初始编队队形示意图； 图3为本专利技术从端UAV群虚拟结构点的移动X0Y平面示意图； 图4为本专利技术从端UAV群力反馈的原理示意图；[002引图5为本专利技术从端UAV群视觉反馈的全局视图。【具体实施方式】 下面结合附图和实施例，对本专利技术作进一步详细说明。 参见图1所示，基于视觉和力觉反馈的UAV群双边遥操作控制系统包括主端1、从 端3和通讯模块2,所述主端1包括相互连接的手控器11和控制计算机12,所述手控器11 包括力反馈触觉装置，具有3个位置自由度、3个关节自由度及3位置自由度力反馈输出，用 于根据操作者的操作运动本文档来自技高网...

【技术保护点】
一种基于视觉和力觉反馈的UAV群双边遥操作控制系统，其特征在于，包括主端、从端和通讯模块，所述主端包括手控器和控制计算机，所述手控器包括力反馈触觉装置，用于根据操作者的操作运动，并输出位置信息给控制计算机；所述控制计算机根据手控器发送的位置信息输出控制信号；所述从端包括UAV虚代理点、UAV群、距离传感器、图像采集模块，所述UVA虚代理点和UAV采用双向跟踪机制，控制UAV群的队形移动，当与环境障碍物进行交互时，UAV根据障碍物提供的反作用力改变UAV的位姿，控制编队队形的变换；所述距离传感器用于检测UAV与障碍物的距离；所述图像采集模块用于采集UVA群的全局视图；所述通讯模块用于实现主端和从端间的通讯，将主端控制器输出的控制信号发送给从端，将从端的障碍物反作用力和全局视图发送给主端。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋光明，孙慧玉，张颖，宋爱国，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32