VR交互移动平台系统技术方案

本实用新型专利技术涉及VR交互移动平台系统，其特征在于该系统包括云台VR单元、手柄控制上位机单元、机械手单元、工业电脑、系统电源和麦克纳姆平台单元；所述云台VR单元包括双目相机、三轴云台、智能手机和VR眼镜；所述三轴云台固定在VR交互移动平台系统的上方，由支撑杆与麦克纳姆平台单元相连接；手柄控制上位机单元与麦克纳姆平台单元空间位置相互独立；机械手单元固定在麦克纳姆平台单元上；麦克纳姆平台单元位于整个系统的底部，为整个系统的移动提供动力；所述系统电源为整个系统进行供电；所述三轴云台具有三个自由度，包括云台单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴支撑托盘，云台单片机通过电机驱动与空心杯电机连接。

VR interactive mobile platform system

The utility model involves the VR interactive mobile platform system, which is characterized by the system including the cloud platform VR unit, the handle control upper computer unit, the manipulator unit, the industrial computer, the system power supply and the Michael platform unit, and the cloud platform VR unit includes a double camera, a three axis cloud platform, a smart phone and a VR spectacle, and the three axis cloud. The platform is fixed at the top of the VR interactive mobile platform system, which is connected by the support rod to the Michael platform unit, and the handle controls the spatial position of the upper computer unit and the Michael platform unit, and the manipulator unit is fixed on the Michael's platform unit; the Michael platform unit is located at the bottom of the whole system. The system power supply power; the system power supply power supply for the whole system; the three axis cloud platform has three degrees of freedom, including the cloud platform MCU, tray, three axes, motor drive and hollow cup motor, three axle support pallet, and the cloud platform microcontroller connects with the hollow cup motor drive through motor drive.

【技术实现步骤摘要】
VR交互移动平台系统
本技术属于VR交互
，具体的说是一个VR交互移动平台系统，该系统是一种能以VR视角控制抓取目标物体、一对多分享视角的VR系统。
技术介绍
当前，利用VR提升人机交互体验是未来的发展趋势，2016年以来，VR产业呈井喷式发展，在直播、教育等领域存在巨大市场。机械手是近几十年发展起来的一种高科技自动生产设备，已经得到了广泛的应用，将机械手抓取与VR设备结合起来，用户以VR视角操纵机械手，增加了沉浸感体验，满足不同用户在不同场景下的不同需求。国内已经有相关的论文，例如远程遥控移动机械手的可视化实时控制(赖梓昌,杨斌.远程遥控移动机械手的可视化实时控制[J].单片机与嵌入式系统应用,2014,14(12):14-17.)，这个产品实现了采用Android手机为控制中心、基于摇杆手柄操作的可视化移动机械手，但是存在用户体验不好，用户对周围环境信息获取能力不足等缺点。上述机械手以及现有机械手普遍存在以下缺点，如控制方式复杂、用户体验不好、没有沉浸感等。远程控制的机械手可适用于特殊场景，如拆弹排爆，目前为止仍没有自动拆除各种炸弹的机器人，现有技术存在拆弹环境复杂，不能根据情境做出决定，也无法自主操作等技术不足。因此将人和机器结合，由人远程操控机器人完成相关任务，且实时VR系统有助于相关人员更好的了解现场情况，搭载实时VR设备能增强人机交互的友好性，使用户有更强的代入感，带来巨大的效率提升，有着重大的研究意义。
技术实现思路
针对现有技术的不足，本技术所要解决的技术问题是：提供一种VR交互移动平台系统。该系统能通过VR设备和摇杆游戏手柄将人和系统结合起来，让用户以第一视角控制机械手完成抓取目标物体的动作，克服了现有的机械手控制方式复杂、操作者本人没有沉浸感、操作者对环境周围信息获取能力不足的缺点；不仅实现了机械手和VR视角联合控制，而且给操作者提供沉浸式的用户体验，方便了操作者的使用；本技术采用工业电脑为控制中心，摇杆手柄为输入设备并结合同步视角的VR设备实现了以第一视角抓取目标物体的操作。本技术解决该技术问题所采用的技术方案是：提供一种VR交互移动平台系统，其特征在于该系统包括云台VR单元、手柄控制上位机单元、机械手单元、工业电脑、系统电源和麦克纳姆平台单元；所述云台VR单元包括双目相机、三轴云台、智能手机和VR眼镜；所述三轴云台固定在VR交互移动平台系统的上方，由支撑杆与麦克纳姆平台单元相连接；手柄控制上位机单元与麦克纳姆平台单元空间位置相互独立；机械手单元固定在麦克纳姆平台单元上；麦克纳姆平台单元位于整个系统的底部，为整个系统的移动提供动力；所述系统电源为整个系统进行供电；所述三轴云台具有三个自由度，包括云台单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴支撑托盘，云台单片机通过电机驱动与空心杯电机连接，且云台单片机、电机驱动和空心杯电机均固定在托盘上，云台单片机为整个三轴云台的控制中心，云台单片机的输出口与电机驱动的使能端相连；双目相机放置在三轴云台的托盘上，并通过螺丝螺母刚性连接，双目相机能随三轴云台的托盘的运动而运动；所述工业电脑与云台单片机进行串口通信，同时工业电脑分别与双目相机、机械手单元、麦克纳姆平台单元连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电，工业电脑给机械手单元相应的控制信号，驱动机械手单元的机械手进行相应动作，工业电脑给麦克纳姆平台单元相应的控制信号，驱动麦克纳姆平台单元进行相应动作；所述工业电脑通过搭建的局域网与智能手机连接，所述智能手机放置在VR眼镜上，VR眼镜由用户佩戴，所述智能手机上安装有VRAPP；所述工业电脑内加载有图像畸变校正方算法；所述手柄控制上位机单元包括摇杆手柄和上位机；摇杆手柄通过数据线与上位机连接，上位机采集摇杆手柄的按键动作数据，上位机同时与工业电脑通过局域网连接；所述智能手机中VRAPP的程序流程是：首先进入校准界面：初始化控件，绑定智能手机的陀螺仪，获取陀螺仪的三维实时位置信息，开始进行按钮监听事件，即进行标准条件判断，当智能手机陀螺仪的偏航角度数据在170-190之间，陀螺仪的俯仰角度数据在70-90之间时，开启第二个画面，进入VR观看界面，校准成功；然后进入VR观看界面：初始化控件，绑定陀螺仪和加速度、开启屏幕监听事件及UI更新线程；接着获取智能手机的陀螺仪数据和加速度数据信息，然后进行智能手机姿态信息校正，通过socket进程传输手机姿态信息；同时开启两个进程，即HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据两个进程，通过网络请求获取双目相机的左右两个摄像头的视频信息，上述HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据及socket进程传输手机姿态信息构成VR观看界面的屏幕监听事件；然后将手机UI界面划分为左右均匀的两个区域，通过Hander视频信号获取指令启动UI更新线程，使左右两个区域分别显示左右摄像头的图像。与现有技术相比，本技术的有益效果是：1)本技术VR交互移动平台系统包括云台VR单元、手柄控制上位机单元、机械手单元和麦克纳姆平台单元四个组成部分。其中通过VR设备和摇杆手柄将人和机械手联系起来，使用者以第一视角控制VR交互移动平台系统上的机械手完成抓取目标物体的功能是本技术的核心。使用者和机械手通过VR设备(VR眼镜)结合起来，通过VR交互移动平台系统搭载VR设备能增强人机交互的友好性，使用户有更强的代入感，由人远程操控机械手完成相关工作，VR设备有助于相关人员更好的了解现场情况，而机械手采用摇杆手柄控制，灵活简单，易于控制。人机紧密协作，工作效率提升，克服了现有的机械手控制方式复杂、使用者没有沉浸感、操作者对周围环境信息获取能力不足的缺点。2)本申请同样适用于景点游览和活动直播等场景。采用在坚硬平整地面上有高度的灵活性的麦克纳姆平台，利用本申请VRAPP获取自身手机的陀螺仪数据，算出手机的姿态，即头部视角的变化情况，通过搭建起来的局域网发送给云台单片机驱动三轴云台，同步改变摄像头的视角，使摄像头的视角实时跟随头部视角进行改变，实现实时的全景VR效果，有效提高了图像数据的利用率，利用上述技术可在景区中心搭建无线基站和服务器，用户通过互联网使用VRAPP访问服务器，用户通过VR眼镜看到双目相机传回来的实时图像来获取当前VR交互移动平台系统与环境之间的交互信息，用户的头转，云台会跟随着人的头部的运动而运动，而且用户可以通过摇杆手柄控制VR交互移动平台系统的位置，实时的获取当前的环境的信息，使用户有沉浸式的体验，通过控制VR交互移动平台系统来进行在线游览和计时付费，有良好推广前景。附图说明图1为本技术VR交互移动平台系统的麦克纳姆平台单元的程序流程图。图2为本技术VR交互移动平台系统的整体结构框图。图3为本技术VR交互移动平台系统的手柄控制上位机单元中手柄按键示意图。图4为本技术VR交互移动平台系统的云台VR单元中VR眼镜和手机VRAPP界面示意图。图5为本技术VR交互移动平台系统的VR程序流程图。图中，1云台VR单元、2手柄控制上位机单元、3机械手单元、4本文档来自技高网...

【技术保护点】
一种VR交互移动平台系统，其特征在于该系统包括云台VR单元、手柄控制上位机单元、机械手单元、工业电脑、系统电源和麦克纳姆平台单元；所述云台VR单元包括双目相机、三轴云台、智能手机和VR眼镜；所述三轴云台固定在VR交互移动平台系统的上方，由支撑杆与麦克纳姆平台单元相连接；手柄控制上位机单元与麦克纳姆平台单元空间位置相互独立；机械手单元固定在麦克纳姆平台单元上；麦克纳姆平台单元位于整个系统的底部，为整个系统的移动提供动力；所述系统电源为整个系统进行供电；所述三轴云台具有三个自由度，包括云台单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴支撑托盘，云台单片机通过电机驱动与空心杯电机连接，且云台单片机、电机驱动和空心杯电机均固定在托盘上，云台单片机为整个三轴云台的控制中心，云台单片机的输出口与电机驱动的使能端相连；双目相机放置在三轴云台的托盘上，并通过螺丝螺母刚性连接，双目相机能随三轴云台的托盘的运动而运动；所述工业电脑与云台单片机进行串口通信，同时工业电脑分别与双目相机、机械手单元、麦克纳姆平台单元连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电，工业电脑给机械手单元相应的控制信号，驱动机械手单元的机械手进行相应动作，工业电脑给麦克纳姆平台单元相应的控制信号，驱动麦克纳姆平台单元进行相应动作；所述工业电脑通过搭建的局域网与智能手机连接，所述智能手机放置在VR眼镜上，VR眼镜由用户佩戴；所述手柄控制上位机单元包括摇杆手柄和上位机；摇杆手柄通过数据线与上位机连接，上位机采集摇杆手柄的按键动作数据，上位机同时与工业电脑通过局域网连接。...

【技术特征摘要】
1.一种VR交互移动平台系统，其特征在于该系统包括云台VR单元、手柄控制上位机单元、机械手单元、工业电脑、系统电源和麦克纳姆平台单元；所述云台VR单元包括双目相机、三轴云台、智能手机和VR眼镜；所述三轴云台固定在VR交互移动平台系统的上方，由支撑杆与麦克纳姆平台单元相连接；手柄控制上位机单元与麦克纳姆平台单元空间位置相互独立；机械手单元固定在麦克纳姆平台单元上；麦克纳姆平台单元位于整个系统的底部，为整个系统的移动提供动力；所述系统电源为整个系统进行供电；所述三轴云台具有三个自由度，包括云台单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴支撑托盘，云台单片机通过电机驱动与空心杯电机连接，且云台单片机、电机驱动和空心杯电机均固定在托盘上，云台单片机为整个三轴云台的控制中心，云台单片机的输出口与电机驱动的使能端相连；双目相机放置在三轴云台的托盘上，并通过螺丝螺母刚性连接，双目相机能随三轴云台的托盘的运动而运动；所述工业电脑与云台单片机进行串口通信，同时工业电脑分别与双目相机、机械手单元、麦克纳姆平台单元连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电，工业电脑给机械手单元相应的控制信号，驱动机械手单元的机械手进行相应动作，工业电脑给麦克纳姆平台单元相应的控制信号，驱动麦克纳姆平台单元进行相应动作；所述工业电脑通过搭建...

【专利技术属性】
技术研发人员：张旭东，陈前，葛炳为，郑英帅，陈海永，
申请(专利权)人：河北工业大学，
类型：新型
国别省市：天津,12