云台实时VR系统技术方案

本实用新型专利技术涉及云台实时VR系统，其特征在于该系统包括双目相机、三轴云台、智能手机、VR眼镜、系统电源和工业电脑；所述三轴云台具有三个自由度，包括单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴支撑托盘，单片机通过电机驱动与空心杯电机连接，且单片机、电机驱动和空心杯电机均固定在托盘上，单片机为整个三轴云台的控制中心，单片机的输出口与电机驱动的使能端相连；双目相机固定放置在三轴云台的托盘上；所述工业电脑与三轴云台上的单片机进行串口通信；所述工业电脑同时与双目相机连接，所述工业电脑通过搭建的局域网与智能手机连接，所述智能手机放置在VR眼镜上，VR眼镜由用户佩戴，所述智能手机上安装有VR APP。

Real time VR system for cloud platform

The utility model relates to a real-time VR system for cloud platform, which is characterized by the system including a double camera, a three axis cloud platform, a smart phone, a VR spectacle, a system power supply and an industrial computer. The three axis cloud platform has three degrees of freedom, including a single chip, a tray, three axes, a motor drive and a hollow cup motor, and three axle support pallets. Single chip microcomputer, motor drive and hollow cup motor are fixed on the tray by the motor drive, and the single chip microcomputer is the control center of the whole three axis cloud platform. The output port of the single chip microcomputer is connected with the motor drive, and the binocular camera is fixed on the tray of the three axis cloud platform; the industrial electricity is described. The brain is communicated with the single chip microcomputer on the three axis cloud platform; the industrial computer is connected with a double camera. The industrial computer is connected to a smart phone through the built LAN. The smart phone is placed on the VR glasses, the VR glasses are worn by the user, and the VR APP is installed on the smart phone.

【技术实现步骤摘要】
云台实时VR系统
本技术属于虚拟现实
，具体地说是云台实时VR系统，该系统利用云台能实现全景VR并且传回的图像可以进行共享。
技术介绍
目前，多数的VR都是属于“演示型”，利用全景相机拍摄全景图像再使用相关算法进行拼接，形成球面图像后带入视角，这样的VR并不具备实时性，自由度有限，因为用户有姿态自由度却没有位置自由度。国内已经有与全景VR相关的专利，如CN206149332U等，仍然使用的是全景相机，或者是采用多个相机，仍未有效解决大量数据传输的质量问题以及庞大的带宽占用。全景VR技术在发展过程中仍存在着许多难关，并且受计算能力和传输带宽限制，全景VR技术投入成本非常高，这对于大部分用户难以接受，且在约定人的视角为90°情况下，传统全景VR的图像的数据利用率只有14.67％左右，造成了很大的浪费。而目前在直播行业和旅游行业对于实时VR有强烈的需求，迫切需要研究一种能够显著降低成本和带宽限制的新型VR系统。
技术实现思路
针对现有技术的不足，本技术所要解决的技术问题是：提供一个由单个用户操控，利用云台结合摄像头的视角实时跟随人眼视角进行改变，实现实时的全景VR效果，并且传回的VR图像可以被其他的用户所共享，云台实时VR设备本身可由多个用户通过互联网共享,解决了现有的自由度少，占用带宽多，成本相对较高的问题。本技术解决所述技术问题采用的技术方案是：提供一种云台实时VR系统，其特征在于该系统包括双目相机、三轴云台、智能手机、VR眼镜、系统电源和工业电脑；所述三轴云台具有三个自由度，包括单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴支撑托盘，单片机通过电机驱动与空心杯电机连接，且单片机、电机驱动和空心杯电机均固定在托盘上，单片机为整个三轴云台的控制中心，单片机的输出口与电机驱动的使能端相连；双目相机固定放置在三轴云台的托盘上，双目相机能随三轴云台的托盘的运动而运动；所述工业电脑与三轴云台上的单片机进行串口通信；所述工业电脑同时与双目相机连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电；所述工业电脑通过搭建的局域网与智能手机连接，所述智能手机放置在VR眼镜上，VR眼镜由用户佩戴，所述智能手机上安装有VRAPP；所述系统电源为整个系统进行供电；所述工业电脑内加载有图像畸变校正方算法；所述智能手机中VRAPP的程序流程是：首先进入校准界面：初始化控件，绑定智能手机的陀螺仪，获取陀螺仪的三维实时位置信息，开始进行按钮监听事件，即进行标准条件判断，当智能手机陀螺仪的偏航角度数据在70-190之间，陀螺仪的俯仰角度数据在70-90之间时，开启第二个画面，进入VR观看界面，校准成功；然后进入VR观看界面：初始化控件，绑定陀螺仪和加速度、开启屏幕监听事件及UI更新线程；接着获取智能手机的陀螺仪数据和加速度数据信息，然后进行智能手机姿态信息校正，通过socket进程传输手机姿态信息；同时开启两个进程，即HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据两个进程，通过网络请求获取双目相机的左右两个摄像头的视频信息，上述HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据及socket进程传输手机姿态信息构成VR观看界面的屏幕监听事件；然后将手机UI界面划分为左右均匀的两个区域，通过Hander视频信号获取指令启动UI更新线程，使左右两个区域分别显示左右摄像头的图像。与现有技术相比，本技术的有益效果是：(1)本技术云台实时VR系统主要包括双目相机、三轴云台、智能手机和VR眼镜。该系统采用双目相机的左右两个摄像头采集双目视频，利用三轴云台结合摄像头的视角实时跟随人眼视角进行改变，实现实时的全景VR效果。工业电脑将视频投放在工业电脑的网络端口上，可以被其他的设备访问或者提供下载，实现一对多的视频实时共享。相较于全景360°的全景VR具有带宽要求低，成本低的优点，可以很好的解决由于带宽和成本限制导致的视频质量下降、成本提高等问题，具有良好的用户体验性。(2)本技术中VR视频采用自行设计的算法：将双目相机的左右两个摄像头的两个视频投放在VRAPP中两个左右平铺的屏幕区域，手机屏幕平均分成两部分，左边放置左摄像头传回来的图像，右边的部分放置右摄像头传回来的图像，并进行基本的图像畸变校正处理，不需要采用360°全景VR中合成360度的视频文件，将智能手机放进VR眼镜中，利用VRAPP获取手机姿态数据，通过控制使摄像头的视角实时跟随头部视角进行改变，实现实时的全景VR效果，获得真实的用户体验。有效提高了图像数据的利用率，相比之下，在约定人的视角为90°情况下，本技术的图像的数据利用率是传统全景VR的七倍左右。(3)本技术中VRAPP获取智能手机自带的陀螺仪的陀螺仪数据，得到手机的姿态，手机的姿态代表了头部的状态，即头部视角的变化情况，通过网络发送给单片机，进而驱动三轴云台的托盘转动，同步地改变摄像头的视角，使摄像头的视角实时跟随人眼的视角进行改变，实现实时的全景VR效果，有效提高了图像数据的利用率。(4)本技术的云台实时VR系统适用于景点游览和活动直播等场景。可在景区中心搭建无线基站和服务器，用户通过互联网使用VRAPP访问服务器，控制搭载的三轴云台和双目相机来进行在线游览和计时付费，是一种全新的互联网商业模式，有良好推广前景。附图说明图1为本技术云台实时VR系统一种实施例的整体结构框图。图2为本技术云台实时VR系统一种实施例的三轴云台的结构框图。图3为本技术云台实时VR系统的智能手机中VRAPP校准界面和VR观看界面的示意图。图4为本技术云台实时VR系统的VR眼镜和智能手机之间放置位置示意图。图5为本技术云台实时VR系统的智能手机中VRAPP的程序流程图。图中，1双目相机、2三轴云台、3智能手机、4VR眼镜、5工业电脑、6系统电源；21单片机、22空心杯电机、23电机驱动。具体实施方式下面结合附图和实施例对本技术进一步说明，但并不以此作为对本申请权利要求保护范围的限定。本技术云台实时VR系统(简称系统，参见图1-2)包括双目相机1、三轴云台2、智能手机3、VR眼镜4、系统电源6和工业电脑5；所述三轴云台2具有三个自由度，包括单片机21、托盘、三个轴、电机驱动23和空心杯电机22，三个轴支撑托盘，单片机21通过电机驱动23与空心杯电机22连接，且单片机21、电机驱动23和空心杯电机22均固定在托盘上，单片机为整个三轴云台的控制中心，单片机的输出口与电机驱动23的使能端相连，单片机给电机驱动发送信号，从而驱动空心杯电机，控制三轴云台的三个轴的转动；双目相机1放置在三轴云台的托盘上，并通过螺丝螺母刚性连接，双目相机能随三轴云台的托盘的运动而运动，从而改变双目相机的视角；所述工业电脑5与三轴云台上的单片机进行串口通信，通过工业电脑给三轴云台上的单片机发送相应的指令信息，单片机控制三轴云台的托盘实现运动效果；所述工业电脑同时与双目相机连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电，为双目相机正常工作提供稳定的电能；所述工业电脑通过搭建的局域本文档来自技高网...

【技术保护点】
一种云台实时VR系统，其特征在于该系统包括双目相机、三轴云台、智能手机、VR眼镜、系统电源和工业电脑；所述三轴云台具有三个自由度，包括单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴直接或间接连接托盘，单片机通过电机驱动与空心杯电机连接，且单片机、电机驱动和空心杯电机均直接或间接连在托盘上，单片机为整个三轴云台的控制中心，单片机的输出口与电机驱动的使能端相连；双目相机固定放置在三轴云台的托盘上，双目相机能随三轴云台的托盘的运动而运动；所述工业电脑与三轴云台上的单片机进行串口通信；所述工业电脑同时与双目相机连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电；所述工业电脑通过搭建的局域网与智能手机连接，所述智能手机放置在VR眼镜上，VR眼镜由用户佩戴；所述系统电源为整个系统进行供电。

【技术特征摘要】
1.一种云台实时VR系统，其特征在于该系统包括双目相机、三轴云台、智能手机、VR眼镜、系统电源和工业电脑；所述三轴云台具有三个自由度，包括单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴直接或间接连接托盘，单片机通过电机驱动与空心杯电机连接，且单片机、电机驱动和空心杯电机均直接或间接连在托盘上，单片机为整个三轴云台的控制中心，单片机的输出口与电机驱动的使能端相连；双目相机固定放置在三轴云台的托盘上，双目相机能随三轴云台的托盘的运动而运...

【专利技术属性】
技术研发人员：张旭东，陈前，葛炳为，郑英帅，陈海永，
申请(专利权)人：河北工业大学，
类型：新型
国别省市：天津,12