一种基于惯性捕捉技术的虚拟交互系统及其工作方法技术方案

本发明专利技术公开了一种基于惯性捕捉技术的虚拟交互系统及其工作方法，本发明专利技术通过利用虚拟交互技术和动作捕捉技术相结合，实现用户使用惯性动作来定位场景中的某个模组，从而决定是否与它进行互动；研究虚拟现实与无人机结合的吊舱实时控制技术，实现对输电线路杆塔的准确对焦和智能化采集；研究高清图像的高速传输技术，实现对第一视角巡检工作的有效支撑，提高了在机器人巡检方面的工作效率和工作质量，节约了人力资源成本，为检测工作带来巨大的经济效益。

A virtual interactive system based on inertial capture technology and its working method

【技术实现步骤摘要】
一种基于惯性捕捉技术的虚拟交互系统及其工作方法
本专利技术涉及一种基于惯性捕捉技术的虚拟交互系统及其工作方法。
技术介绍
一般意义上的人机界面是把操作者与计算机当作两个相互分离的实体，而把界面作为信息传递的载体，用户只能把操作命令输入到计算机之中，然后计算机再把相应的信息与动作反馈出来。此种交互方法中，用户只能和计算机接触，而与所研究的对象很难进行自发地、主动地相互沟通。目前无人机巡检已成为输电线路巡检的一个重要手段。巡检过程中，无人机携带摄像头进行飞行，由飞手在地面通过遥控装置控制无人机的飞行姿态，由地面操控站工作人员通过电脑控制无人机中摄像头角度并进行拍照并保存在飞机的存储卡中。在飞行结束后将存储卡中的图像传至后台，后台通过对图像的识别进行缺陷的判断。目前采用该工作模式缺陷识别率约在70％左右。距离有人机巡检尚有较大的差距。经过分析，造成识别率低的主要原因在于：1、摄像头角度、焦距均受制于飞机飞行姿态，通过地面操控站控制摄像头比较繁琐，经常无法获得最优的拍摄角度；2、考虑到线路安全的原因，无人机需与线路保持至少30米的安全距离，加大了拍摄的难度，影响了照片的清晰度；3、受拍摄角度本文档来自技高网...

【技术保护点】
一种基于惯性捕捉技术的虚拟交互系统，其特征是：包括虚拟现实设备、动作模型库、图像传输模块、图像全景拼接模块、云台实时控制模块和人机交互模块，其中：所述虚拟现实设备，被配置为确定运动目标的速度、位置和动作方向，以捕捉操控者的惯性动作，同时，接收并显示人机交互模块传输的图像；所述动作模型库，被配置为存储有云台/吊舱的上下方向动作、云台/吊舱的左右方向动作、云台/吊舱的远近方向动作、云台/吊舱的旋转动作、云台/吊舱的定位动作以及云台/吊舱的定位或关闭动作的模板模型；所述图像传输模块，被配置为接收并传输无人机采集的输电线路图像；所述图像全景拼接模块，被配置为对输电线路图像进行特征点提取、特征点匹配和图...

【技术特征摘要】
1.一种基于惯性捕捉技术的虚拟交互系统，其特征是：包括虚拟现实设备、动作模型库、图像传输模块、图像全景拼接模块、云台实时控制模块和人机交互模块，其中：所述虚拟现实设备，被配置为确定运动目标的速度、位置和动作方向，以捕捉操控者的惯性动作，同时，接收并显示人机交互模块传输的图像；所述动作模型库，被配置为存储有云台/吊舱的上下方向动作、云台/吊舱的左右方向动作、云台/吊舱的远近方向动作、云台/吊舱的旋转动作、云台/吊舱的定位动作以及云台/吊舱的定位或关闭动作的模板模型；所述图像传输模块，被配置为接收并传输无人机采集的输电线路图像；所述图像全景拼接模块，被配置为对输电线路图像进行特征点提取、特征点匹配和图像融合，得到输电线路状态全景图像；所述云台实时控制模块，被配置为对杆塔、云台、吊舱设备进行坐标系间的对应关系与参数转换，根据回传的全景图像，将图像目标偏移量转换成惯性转动数据，通过转换参数将采集到的图像偏移量转换成云台的机械控制量和吊舱的控制量；所述人机交互模块，被配置为采集无人机云台的系统参数、实时视频和缺陷定位信息，并将这些信息按照相应的格式进行打包传输，下发云台实时控制模块确定的云台或/和吊舱控制策略方案，对其进行智能化控制，并将信息反馈给虚拟现实设备。2.如权利要求1所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述虚拟现实设备包括惯性捕捉模块、显示模块和传感器设备，所述传感器设备，包括但不限于陀螺仪、加速度计和/或磁力计，测量运动目标当前的运动状态和角速度状态；所述惯性捕捉模块通过对运动目标在三维空间中的运动进行记录，通过其速度和位置参数获取相关的物理信息，进而进行运动轨迹的模拟，所述显示模块显示图像或视频信息。3.如权利要求2所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。4.如权利要求1所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述虚拟现实设备还包括数据处理单元，接收惯性捕捉模块和传感器设备采集到的运动学信息，当目标在运动时，改变运动目标的位置信息，从而得到运动目标的轨迹，利用惯性导航原理完成运动目标的动作捕捉。5.如权利要求4所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述数据处理单元与动作模型库进行实时数据的传输，读取所有的移动动作模型，将移动动作模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动，最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据一起变化。6.如权利要求1所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述图像传输模块对图像数据进行压缩与格式转换，在保证图像有效性与帧率的前提下，最大化的压缩数据通信通道占比，在地面接收端，利用解码机制完成高清图像的恢复，在图像数据传输过程时，采用不同的数据传输链路传输不同的控制信号。7.基于如权利要求1-6中任一项所述的系统的工作方法，其特征是：包括以下步骤：(1)利用虚拟现实设备采集到运动目标的运动学信息，完成运动目标的动作捕捉；(2)将确定的运动目标的空间姿态和动作与存储的动作模型相匹配，识别出动作目标发出的动作指令，并发送给无人机并控制其完成对应...

【专利技术属性】
技术研发人员：韩元凯，袁弘，许玮，刘继东，慕世友，李超英，高玉明，李云亭，张健，傅孟潮，李建祥，刘海波，黄德旭，
申请(专利权)人：山东鲁能智能技术有限公司，国网山东省电力公司电力科学研究院，国家电网公司，
类型：发明
国别省市：山东,37