一种沉浸式虚拟现实维修与培训仿真系统技术方案

本发明专利技术公开了一种沉浸式虚拟现实维修与培训仿真系统包括：位置跟踪子系统、三维模型数据库、节点管理子系统、节点渲染子系统、投影子系统；三维模型数据库，存储三维模型数据；位置跟踪子系统，将使用者的空间位置信息，输出到节点管理子系统；节点管理子系统，将三维模型和使用者的空间位置信息，发送到节点渲染子系统；节点渲染子系统，将三维模型进行渲染，渲染后的图像发送到投影子系统；节点渲染子系统，根据接收到的使用者的头部眼点位置和手部操作信息，得到人眼视野范围内应该显示的图像信息，将更新的图像发送至投影子系统；投影子系统，将图像信息并进行显示。本发明专利技术能够以直观方式来呈现培训和训练场景，达到参与者身临其境的目的。

【技术实现步骤摘要】
一种沉浸式虚拟现实维修与培训仿真系统
本专利技术属于航天产品数字化设计与系统仿真领域，本专利技术涉及虚拟现实技术在虚拟维修领域的应用。
技术介绍
虚拟现实(VirtualReality,简称VR)技术是计算机图形学、人工智能、计算机网络、信息处理等技术综合发展的产物。它利用计算机技术生成一种模拟环境，通过各种传感设备是用户“投入”到模拟环境中，使用户自然地与环境直接交互。虚拟现实是一种计算机界面技术。从本质上讲，虚拟现实就是一种先进的计算机用户接口，它通过给用户同时提供诸如视觉、听觉、触觉等各种直观而又自然的实时交互手段，最大限度地方便用户的操作，从而减轻用户的负担，提高整个系统的工作效率。利用虚拟现实环境开展虚拟维修仿真已有了不少系统，在汽车、飞机等领域开展了应用。这些系统设计方案多种多样，多面临的问题和解决的问题也不尽相同。目前最常用的维修仿真系统虽然基于三维模型开展，但多是在计算机屏幕上显示进行，缺乏三维真实的沉浸感，在拟真度方面表现不够，无法真实有效地反映实际场景，营造不出沉浸式的三维虚拟环境，通用性较差。
技术实现思路
本专利技术的技术解决问题的目的在于：本专利技术的技术解决问题：克服现有技术的不足，提供一种沉浸式的虚拟维修和虚拟培训系统，能够以直观、立体的方式来呈现培训和训练场景及内容，达到参与者身临其境的目的。本专利技术的技术解决方案是：一种沉浸式虚拟现实维修与培训仿真系统包括：位置跟踪子系统、三维模型数据库、节点管理子系统、节点渲染子系统、投影子系统；三维模型数据库，存储三维模型数据，并将三维模型供节点管理子系统调用；位置跟踪子系统，获取使用者的空间位置信息，并将该信息输出到节点管理子系统；所述的空间位置信息包括使用者的头部眼点位置和手部操作信息；节点管理子系统，从三维模型数据库中读取三维模型，将三维模型传递给节点渲染子系统，并将位置跟踪子系统提供的使用者的头部眼点位置和手部操作信息，发送到节点渲染子系统；节点渲染子系统，在预设的显示范围内，将接收到的三维模型按照三维模型的左、中、右、下四个部分进行渲染，渲染后的图像发送到投影子系统显示，从而使使用者看到整个虚拟的三维模型；节点渲染子系统，根据接收到的使用者的头部眼点位置和手部操作信息，得到人眼视野范围内应该显示的图像信息，将更新的图像发送至投影子系统；投影子系统，接收节点渲染子系统发送的图像信息，并进行显示，使使用者看到更新后的三维模型图像。位置跟踪子系统包括位置处理主机、光学摄像机、跟踪刚体目标；跟踪刚体目标，固定在使用者的主要关节、头部和眼睛附近；光学摄像机发射红外光线，通过采集跟踪刚体目标反射的光线，将采集的数据传递给位置处理主机；位置处理主机接收到数据之后，通过位置跟踪确定使用者的空间位置信息，并将空间位置信息传递给节点管理子系统；投影子系统包括四台立体投影机和四个显示屏幕；四个显示屏幕分别呈现九十度，按照与使用者的位置，分别为左、中、右、下；四个投影屏幕同时投影虚拟场景的一部分图像，共同组成一个完整的虚拟环境。本专利技术与现有技术相比具有如下优点：(1)本专利技术实现了一个沉浸式的立体三维虚拟环境，为使用者开展虚拟培训和虚拟维修提供了一个非常直观的平台，有利于人员对操作、训练过程的理解，增强参与感，能够显著地提高培训或训练效果，。(2)本专利技术通过节点管理子系统与节点渲染子系统的协同工作，实现了三维立体场景图像的协同显示，为形成沉浸式的虚拟场景提供了技术基础，设计巧妙，实现简单，通用性较强。(3)本专利技术通过位置跟踪系统实现了对使用者头部、手部位置的实时捕捉，进一步利用管理软件对使用者位置信息的处理实现了三维图像随着使用者位置的不同和操作信息而做出实时反馈，实现了人机交互，将使用者对虚拟现实场景的“漫游浏览”感受升级为“互动操作”，提高了虚拟培训和训练的真实感和接受程度。附图说明图1为本专利技术的系统组成图；图2为本专利技术的位置跟踪实现流程示意图；图3为本专利技术目标点和定位点与摄像机位置坐标原理图；图4为本专利技术的投影子系统结构示意图；图5为本专利技术的投影子系统结构示意图。具体实施方式下面结合附图对本专利技术具体实施方式做进一步介绍。如图1所示，本专利技术一种沉浸式虚拟现实维修与培训仿真系统，包括位置跟踪子系统、三维模型数据库、节点管理子系统、节点渲染子系统、投影子系统；三维模型数据库，主要存储三维模型数据，并将三维模型供节点管理子系统调用。为了满足视觉的真实感和快速显示，三维模型采用三角面片形式，表面根据实际物体有金属、复合材料等不同的表面材质。位置跟踪子系统，获取使用者的空间位置信息，并将该信息输出到节点管理子系统；所述的空间位置信息包括使用者的头部眼点位置和手部操作信息；位置跟踪子系统包括位置处理主机、光学摄像机、跟踪刚体目标；跟踪刚体目标，固定在使用者的主要关节、头部和眼睛附近；用于标示使用者手部位置和头部位置的跟踪刚体目标每一个都由两部分组成，一部分为目标点，另一部分为定位点，定位点主要用来辅助确定目标点的运动轨迹。光学摄像机发射红外光线，通过采集跟踪刚体目标反射的光线，将采集的数据传递给位置处理主机；位置处理主机接收到数据之后，通过位置跟踪确定使用者的空间位置信息，并将空间位置信息传递给节点管理子系统；如图2、3所示，位置跟踪的具体实现方式如下：(1)确定各参考点位置；参考点为光学摄像机的空间位置，本实施例中在使用者头顶上方左前、左后、右前、右后四个位置各安装一个光学摄像机；(2)获取K时刻各参考点到目标点和定位点瞬间距离；在初始时刻K，由光学摄像机发出红外光，定位点和目标点反射光线，由光学摄像机接收，将信息传递回位置处理主机，主机计算得出各参考点到目标点和定位点的瞬间距离；(3)依据最大近似法获取K时刻目标点和定位点的空间坐标值；具体方式如下：设三维空间的n(n≥4)个参考点的坐标系为(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)…(xn,yn,zn)，目标点或定位点的坐标X设为(x,y,z)，点X到第1个、第2个、…、第n个参考点的距离分别为d1、d1、…、d1，则根据空间两点间距离公式有方程组：上式中，从第一个方程开始分别减去最后一个方程并移项，可得非齐次线性方程组：上式可表示为AX＝b其中则可得目标点或定位点X的坐标为：(4)进行时刻更新：K＝K+i，i＝i+t，t表示一个采样间隔时间，初始时刻i＝0；(5)在K时刻，依据最大近似法获取K时刻目标点和定位点的空间坐标值；(6)判断步骤(5)得到的定位点位置相对于步骤(3)中得到的定位点位置是否发生变化，若未发生变化，进行步骤(7)，若发生了变化，则认为目标点发生平移，进入步骤(10)；(7)判断步骤(5)得到的目标点位置相对于步骤(3)中得到的目标点位置是否发生变化，若未发生变化，则认为目标点未发生旋转或平移，进入步骤(12)，若发生了变化，则认为目标点绕定位矢量坐标轴发生了旋转，进入步骤(8)；(8)根据目标点的位置和定位矢量坐标轴，计算目标点绕定位矢量坐标轴旋转的角度；(9)更新绕定位轴发生旋转后的目标点位置信息，进入步骤(12)；更新绕定位轴发生旋转后的目标点位置信息的具体方式如下：三维空间里一个点绕矢量旋转后的新的点的坐标在三维空间里一个点绕X轴Y轴Z轴旋转一定弧度后新的本文档来自技高网...

【技术保护点】
一种沉浸式虚拟现实维修与培训仿真系统，其特征在于包括：位置跟踪子系统、三维模型数据库、节点管理子系统、节点渲染子系统、投影子系统；三维模型数据库，存储三维模型数据，并将三维模型供节点管理子系统调用；位置跟踪子系统，获取使用者的空间位置信息，并将该信息输出到节点管理子系统；所述的空间位置信息包括使用者的头部眼点位置和手部操作信息；节点管理子系统，从三维模型数据库中读取三维模型，将三维模型传递给节点渲染子系统，并将位置跟踪子系统提供的使用者的头部眼点位置和手部操作信息，发送到节点渲染子系统；节点渲染子系统，在预设的显示范围内，将接收到的三维模型按照三维模型的左、中、右、下四个部分进行渲染，渲染后的图像发送到投影子系统显示，从而使使用者看到整个虚拟的三维模型；节点渲染子系统，根据接收到的使用者的头部眼点位置和手部操作信息，得到人眼视野范围内应该显示的图像信息，将更新的图像发送至投影子系统；投影子系统，接收节点渲染子系统发送的图像信息，并进行显示，使使用者看到更新后的三维模型图像。

【技术特征摘要】
1.一种沉浸式虚拟现实维修与培训仿真系统，其特征在于包括：位置跟踪子系统、三维模型数据库、节点管理子系统、节点渲染子系统、投影子系统；三维模型数据库，存储三维模型数据，并将三维模型供节点管理子系统调用；位置跟踪子系统，获取使用者的空间位置信息，并将该信息输出到节点管理子系统；所述的空间位置信息包括使用者的头部眼点位置和手部操作信息；节点管理子系统，从三维模型数据库中读取三维模型，将三维模型传递给节点渲染子系统，并将位置跟踪子系统提供的使用者的头部眼点位置和手部操作信息，发送到节点渲染子系统；节点渲染子系统，在预设的显示范围内，将接收到的三维模型按照三维模型的左、中、右、下四个部分进行渲染，渲染后的图像发送到投影子系统显示，从而使使用者看到整个虚拟的三维模型；节点渲染子系统，根据接收到的使用者的头部眼点位置和手部操作信息，得到人眼视野范围内应该显示的图像信息，将更新的图像发送至投影子系统；投影子系统，接收节点渲染子系统发送的图像信息，并进行显示，使使用者看到更新后的三维模型图像。2.根据权利要求1所述的一种沉浸式虚拟现实维修与培训仿真系统，其特征在于：所述的位置跟踪子系统包括位置处理主机、光学摄像机、跟踪刚体目标；跟踪刚体目标，固定在使用者的主要关节、头部和眼睛附近；光学摄像机发射红外光线，通过采集跟踪刚体目标反射的光线，将采集的数据传递给位置处理主机；位置处理主机接收到数据之后，通过位置跟踪确定使用者的空间位置信息，并将空间位置信息传递给节点管理子系统。3.根据权利要求1所述的一种沉浸式虚拟现实维修与培训仿真系统，其特征在于：所述的投影子系统包括四台立体投影机和四个显示屏幕；四个显示屏幕分别呈现九十度，按照与使用者的位置，分别为左、中、右、下；四个投影屏幕同时投影虚拟场景的一部分图像，共同组成一个完整的虚拟环境。4.根据权利要求2所述的一种沉浸式虚拟现实维修与培训仿真系统，其特征在于：所述的位置跟踪具体实现方式如下：(1)确定各参考点位置；参考点为光学摄像机的空间位置，本实施例中在使用者头顶上方左前、左后、右前、右后四个位置各安装一个光学摄像机；(2)获取K时刻各参考点到目标点和定位点瞬间距离；在初始时刻K，由光学摄像机发出红外光，定位点和目标点反射光线，由光学摄像机接收，将信息传递回位置处理主机，主机计算得出各参考点到目标点和定位点的瞬间距离；(3)依据最大近似法获取K时刻目标点和定位点的空间坐标值；具体方式如下：设三维空间的n(n≥4)个参考点的坐标系为(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)…(xn,yn,zn)，目标点或定位点的坐标X设为(x,y,z)，点X到第1个、第2个、…、第n个参...

【专利技术属性】
技术研发人员：罗军，赵博，陈仁越，李澍，郭逸婧，李莉，张启程，皮赞，聂蓉梅，
申请(专利权)人：北京宇航系统工程研究所，中国运载火箭技术研究院，
类型：发明
国别省市：北京;11