一种基于运动捕捉的浸入式虚拟现实系统技术方案

一种基于运动捕捉的浸入式虚拟现实系统，包括：运动捕捉装置、环境反馈装置及3D虚拟环境仿真器，运动捕捉装置包括：多个运动捕捉模块，分别绑定在身体的不同部位，每一运动捕捉模块包括：用于测量加速度信号的三轴MEMS加速度传感器、用于测量角速度信号的三轴MEMS角速度传感器及用于测量地磁信号的三轴MEMS磁力计；中央处理芯片，连接运动捕捉模块，接收加速度、角速度信号及地磁信号，并将加速度、角速度信号及地磁信号生成的人体部位的姿态及位置信息通过第一接口发送给3D虚拟环境仿真器；环境反馈装置包括：多个不同的环境反馈器件，分别连接3D虚拟环境仿真器，多个不同的环境反馈器件分别用于把视频、音频、力及触觉控制信号反馈到人体的不同部位。（*该技术在2023年保护过期，可自由使用*）

An immersive virtual reality system based on motion capture

A kind of immersive virtual reality system based on motion capture, including: motion capture device, environment feedback device and 3D virtual environment simulator, motion capture device includes a plurality of motion capture module, are binding in different parts of the body, each motion capture module comprises three axis acceleration sensor, acceleration signal measurement MEMS for MEMS three axis angular velocity measurement signal of the angular velocity sensor and three axis magnetic measurement for MEMS geomagnetic signal; the central processing chip, connected with the motion capture module, receiving acceleration and angular velocity signal and magnetic signal, and the attitude and position information of parts of the body acceleration and angular velocity signal and the geomagnetic signal generated by the through the first interface is sent to the 3D virtual environment simulator; environmental feedback device includes a plurality of different environmental feedback devices, respectively. The 3D virtual environment simulator, with several different environmental feedback devices, is used to feed video, audio, force and tactile control signals back to different parts of the human body.

【技术实现步骤摘要】
—种基于运动捕捉的浸入式虚拟现实系统
本技术是关于运动捕捉技术及虚拟现实技术，特别是关于一种基于运动捕捉的浸入式虚拟现实系统。
技术介绍
运动捕捉技术可以以数字的方式记录对象的动作，当前的运动捕捉技术主要包括以下几种:机械式运动捕捉:依靠机械装置来测量运动，该机械装置由多个关节和刚性连杆组成，在关节处装有角度传感器以测量关节角度变化，刚性连杆也可以换成长度可变的伸缩杆，并安装位移传感器以测量长度的变化。运动捕捉通过将待捕捉的物体与机械装置相连，运动物体带动机械装置运动，从而通过机械装置上的传感器记录下待测物体运动。机械式运动捕捉成本低、标定简单、精度较高并且容易实现实时数据捕捉而不受场地限制。但是机械式运动捕捉方式难以实现对于多自由度的关节运动捕捉，同时由于自身尺寸和重量，对待测物体的运动(特别是剧烈运动)造成比较严重的阻碍和干涉。电磁式运动捕捉:一般由发射源、接收器和数据处理单元组成。发射场产生按一定时空分布的交变电磁场；接收器安装在待测物体的关键位置，接收器跟随待测物体而运动，并将接收到的信号通过有线方式传递给数据处理单元。这种运动捕捉方式不仅能够得到空间位置信息，还能得到方位信息，并且实时性好。但是这种运动捕捉方式对于环境要求严格，附近不能有金属物品，并且有线电缆对物体的运动限制比较大，而且采样频率较低。声学式运动捕捉:与电磁式运动捕捉比较类似，由超声发射器、接收器和处理单元组成。它将多个发射器固定在待测物体的各个部位，发射器持续发出超声波，每个接收器通过计算声波从发射器到接收器的时间得出发射器与接收器之间的距离，3个构成三角形的接收器就可以确定发射器的空间位置。声学式运动捕捉成本较低，但是精度差并且要求发射器与接收器之间无遮挡。光学式运动捕捉:通常包含10?20个相机，环绕待测物体排列，待测物体的运动范围处于相机的重叠区域。待测物体的关键部位贴上一些特质的反光点或者发光点作为视觉识别和处理的标志。系统标定后，相机连续拍摄物体的运动并把图像序列保存下来进行分析和处理，计算每一个标志点在某一瞬间的空间位置，并从而得到其准确的运动轨迹。光学式运动捕捉的优点是没有机械装置、有线电缆等的限制，允许物体的运动范围较大，并且采样频率较高，能够满足多数体育运动测量的需要，但是这种系统价格昂贵，系统的标定比较繁琐，只能捕捉相机重叠区域的物体运动，而且当运动比较复杂时，标志容易混淆和遮挡，从而产生错误的结果。基于惯性传感器的运动捕捉:传统的机械式惯性传感器长期应用于飞机、船舶的导航，随着微机电系统(MEMS)技术的高速发展，微型惯性传感器的技术成熟，近年来，人们开始尝试基于微型惯性传感器的运动捕捉。基本方法是把惯性测量单元(IMU)连接到待测物体上并跟随待测物体一起运动。惯性测量单元通常包括微加速度计(测量加速度信号)以及微陀螺仪(测量角速度信号)，通过对加速度信号的二次积分以及陀螺仪信号的积分，可以得到待测物体的位置信息以及方位信息。由于MEMS技术的应用，IMU的尺寸和重量可以做的很小，从而对待测物体的运动影响很小，并且对于场地的要求低，允许的运动范围大，同时系统的成本比较低。该技术的缺点是传感器的积分容易产生漂移，并且传感器本身容易受到干扰，因而对系统设计的要求比较高。虚拟现实技术:涉及计算机图形学、人机交互技术、传感技术、人工智能等领域，它用计算机生成逼真的三维视、听、触觉、嗅觉等感觉，使人作为参与者通过适当装置，自然地对虚拟世界进行体验和交互作用。使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的3D世界影像传回产生临场感。该技术集成了计算机图形技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。浸入度是虚拟现实系统的一个重要特征，指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假，使用户全身心地投入到计算机创建的三维虚拟环境中，该环境中的一切看上去是真的，听上去是真的，动起来是真的，如同在现实世界中的感觉一样。交互性是虚拟现实系统的另一个重要特征，指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手去直接抓取模拟环境中虚拟的物体，这时手有握着东西的感觉，并可以感觉物体的重量，视野中被抓的物体也能立刻随着手的移动而移动。美国专利US6839041揭示了一种虚拟现实浏览系统和方法。该方法在头部的各个旋转轴上都安装光学编码器来测量头部的旋转运动。根据测量到的头部方位生成与头部视角对应的图像并显示到头部安装的显示器上。由于显示的图像恰好对应于视角而且没有延时，从而给用户一种浸入指定的虚拟环境的感觉。该系统根据测量到的头部运动的速度、加速度信息计算头部将要达到的位置，从而可以提前生成相应视角对应的图像从而消除时延。该虚拟现实浏览系统也可以采用远程摄像机来创建图像。当采用远程摄像机创建图像时，根据光学编码器测量到的位置、速度、加速度等信息计算的头部方位，摄像机移动到与视角对应的位置。摄像机移动以及图像传递等的时延通过头部速度、加速度等信息进行提前计算补偿。上述方案采用光学编码器对运动进行捕捉，光学编码器体积较大(比如一个部位3个轴的测量需要3个独立的传感器)，安装固定麻烦，因而不能对移动的人体进行全身运动捕捉；光学编码器还会对人体的运动造成影响和限制；因为只进行定点的头部姿态朝向捕捉，同时只能对旋转角度信息进行测量，该方案只能改变视角进行浏览，而没有办法把全身完全的代入虚拟环境中去，，引入头部的平移位置变化因而整个虚拟现实系统的浸入度以及交互性都不高。美国专利US8217995揭示了结合球形摄相机以及运动捕捉的协作浸入式虚拟环境。该系统包括虚拟环境仿真器、光学式运动捕捉系统、球形摄像机、头部安装的显示器等。虚拟环境仿真器根据计算机辅助设计(CAD)数据，产生环绕用户的三维立体仿真画面。光学式运动捕捉系统在用户头部或者全身贴上标记，并在周围墙上或者三脚架上安装多个摄像机，根据捕捉到的用户头部倾斜以及转动，实时的对用户显示的画面进行变换(比如缩放、平移、倾斜等)。该系统允许多个用户同时进入同一个虚拟环境对该虚拟环境进行观察。该系统也能检测虚拟环境中用户的化身与环境的冲突，比如虚拟环境中人触碰到墙面,则改变该墙面的颜色等。通过球形摄像机，虚拟环境仿真器可以在仿真与实际远程拍摄画面之间进行切换。根据运动捕捉系统对头部角度的测量，也可以实现对实际远程拍摄画面进行缩放、平移等操作，从而造成远程出席的感觉。上述方案采用光学式运动捕捉系统对运动进行捕捉，设备比较昂贵。如果采用墙面固定安装的摄像机，则会受到运动捕捉的场地限制；如果采用三脚架安装摄像机，则系统的标定会很繁琐，并且如果活动范围比较大时，可能需要多次移动三脚架以及需要多次进行标定；当运动比较复杂时，光学标志容易产生混淆或者遮挡，从而造成错误；因为没有采用专门的诸如触觉的交互性设备，该方案主要实现视觉上的感受，而不能给用户带来虚拟环境的多方位感受。例如在虚拟环境中感受到了触墙，该方案仅能在虚拟环境的画面上做出相应的显示而不能在触觉之类的感官上给以用户体验。
技术实现思路
本技术提供一种本文档来自技高网...

【技术保护点】
一种基于运动捕捉的浸入式虚拟现实系统，其特征在于，所述的系统包括：运动捕捉装置、环境反馈装置及3D虚拟环境仿真器，所述的运动捕捉装置无线或有线连接所述3D虚拟环境仿真器的第一接口，所述的3D虚拟环境仿真器通过多个信号接口无线或有线连接所述的环境反馈装置；所述的运动捕捉装置包括：多个运动捕捉模块，分别绑定在身体的不同部位，每一所述的运动捕捉模块包括：用于测量加速度信号的三轴MEMS加速度传感器、用于测量角速度信号的三轴MEMS角速度传感器及用于测量地磁信号的三轴MEMS磁力计；中央处理芯片，连接所述的多个运动捕捉模块，接收所述的所述加速度、角速度信号及地磁信号，并将加速度、角速度信号及地磁信号生成的人体部位的姿态及位置信息通过所述第一接口发送给所述的3D虚拟环境仿真器；所述的环境反馈装置包括：多个不同的环境反馈器件，分别连接所述的3D虚拟环境仿真器，所述的多个不同的环境反馈器件分别用于把视频、音频、力及触觉控制信号反馈到人体的不同部位。

【技术特征摘要】
1.一种基于运动捕捉的浸入式虚拟现实系统，其特征在于，所述的系统包括:运动捕捉装置、环境反馈装置及3D虚拟环境仿真器，所述的运动捕捉装置无线或有线连接所述3D虚拟环境仿真器的第一接口，所述的3D虚拟环境仿真器通过多个信号接口无线或有线连接所述的环境反馈装置； 所述的运动捕捉装置包括: 多个运动捕捉模块，分别绑定在身体的不同部位，每一所述的运动捕捉模块包括:用于测量加速度信号的三轴MEMS加速度传感器、用于测量角速度信号的三轴MEMS角速度传感器及用于测量地磁信号的三轴MEMS磁力计； 中央处理芯片，连接所述的多个运动捕捉模块，接收所述的所述加速度、角速度信号及地磁信号，并将加速度、角速度信号及地磁信号生成的人体部位的姿态及位置信息通过所述第一接口发送给所述的3D虚拟环境仿真器； 所述的环境反馈装置包括:多个不同的环境反馈器件，分别连接所述的3D虚拟环境仿真器，所述的多个不同的环境反馈器件分别用于把视频、音频、力及触觉控制信号反馈到人体的不同部位。2.根据权利要求1所述的系统，其特征在于，所述的中央处理芯片为MCU、DSP或FPGA。3.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为3个，3个所述运动捕捉模块分别绑定在头部、躯干及臀部，或者分别绑定在头部、双上臂之一及双前臂之一。4.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为6个，6个所述运动捕捉模块分别绑定在头部、臀部、双大腿及双小腿，或者分别绑定在头部、躯干、臀部、双上臂之一、双前臂之一及双手之一。`5.根据权利要求1所述的系统，其特征在于，所述的运动捕捉模块的个数为9个，9个所述运动捕捉模块分...

【专利技术属性】
技术研发人员：刘昊扬，戴若犁，李龙威，陈金舟，
申请(专利权)人：北京诺亦腾科技有限公司，
类型：实用新型
国别省市：