裸眼立体视觉混合现实作业模拟系统技术方案

本发明专利技术提供了一种进行教学和训练的作业模拟系统，包括裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块、计算机模块和控制台，基于眼睛位置和视线跟踪、中央视野区域与边缘视野区域识别，解决大尺寸多屏幕裸眼立体显示的自动控制，实现裸眼立体虚拟场景与实际作业界面的无隔离融合，构建了一套完整的混合现实作业模拟系统。本发明专利技术使作业模拟器的人员完全摆脱多余的外部束缚，使作业人员更为自如；真实感更强，将虚拟与现实紧密融合于一体；立体显示与普通平面显示技术结合，能够适应多种作业模拟应用场合，在提升模拟效能的同时还可以降低成本。

【技术实现步骤摘要】
裸眼立体视觉混合现实作业模拟系统
本专利技术涉及一种进行教学和训练的作业模拟系统，可用于飞机、舰船、坦克、装甲车、汽车、火车、龙门吊等作业的教学和训练。
技术介绍
许多昂贵复杂设备的操作作业需要长时间的教学和训练，才能熟练掌握，采用作业模拟系统进行教学和训练是一种经济、安全、高效的方式。现有的飞行模拟器、汽车驾驶模拟器等都是这种系统的实际应用，也是虚拟现实技术的一个重要应用领域。现有的作业模拟系统基本上都基于计算机技术，有多种实现方式。最简单的是完全采用计算机，用计算机屏幕显示作业场景，用计算机键盘、鼠标或者游戏操纵杆代替实际作业的操控机构；其次是用大屏幕显示作业场景，用与实际作业相似的作业操控机构模拟操控过程，用计算机建立三维动态模型，控制各部分的协调工作；再次是采用虚拟现实头盔模拟作业人员对作业场景的视觉感受，用与实际作业相似的作业操控机构模拟操控过程，用计算机建立三维动态模型，控制各部分的协调工作；最复杂的是采用大型半球形投影屏幕，用与实际作业完全相同的操控机构模拟操控过程，用运动机构模拟作业时的运动效应，用计算机建立三维动态模型和运动控制模型，达到更为逼真的模拟效果。现有的作业模拟系统存在以下不足：一是虚拟现实头盔的作业模拟方式，不能很好地与现实对象融合，使虚拟现实与真实现实彼此割裂。比如作业模拟时，作业人员既要观察作业场景，又要观察操控机构、显示面板等现实对象，头盔则将两者割裂，顾此失彼，不能产生真实的作业体验。二是大型投影屏幕的作业模拟方式没有立体感，近视场景模拟效果不好，也不能很好地产生实际作业的真实体验。半球形的大型投影屏幕虽然有很强的包围感，远视场景模拟效果较好，而且与真实现实能够很好地融合，但缺少立体感和纵深感，在近场景模拟时效果很差，而且设备复杂、价格昂贵。三是现有的裸眼立体显示技术存在不足，无法用于作业模拟系统，需要提出适应作业模拟的技术方案。裸眼立体显示技术有多种，主要是光屏障式(Barrier)、柱状透镜式(LenticularLens)和指向性背光式(DirectionalBacklight)三种。光屏障式技术和柱状透镜技术都存在不可弥补的原理缺陷，亮度和分辨率的提升受到限制，发展前途有限。指向性背光源裸眼立体显示技术近几年发展很快，其基本原理是通过控制显示器背光源的投射方向，分别将左右图像准确地投向左右眼，使观察者感知立体图像。由于可以用光的投向分别向左右眼发送光图像，左右图像可以分时显示，与平面显示具有同样的分辨率，最大地利用了显示面板的物理分辨率。但由于作业模拟时作业人员的位置会发生变化，裸眼立体显示屏必须根据作业人员视线的变化调整背光源的发送方向，而且作业模拟还需要多个方向的视景效果，平面屏幕方式不能够满足作业模拟的需要，这样就必须解决多个裸眼立体显示器的拼接和协调控制问题，解决多个显示屏的无缝拼接问题。可见将裸眼立体显示技术用于作业模拟并不是轻而易举的事情，有许多难题必须解决。与本专利密切相关的技术方案的基本情况：公告号CN204029190U公开了一种全功能飞行模拟器，给出了用于飞行模拟的一种技术方案，但并没有采用裸眼立体显示、眼睛位置与视线跟踪等技术来建立一个混合现实模拟环境。公布号CN104537917A公开了一种投影视景系统，给出的技术方案可有效降低投影系统的硬件成本，对投影仪提高画面色彩和对比度等指标可不受制于其暗场的表现，公布号CN105446686A公开了一种多屏拼接系统，给出了整幅图像如何分配至各个分屏的信号处理技术方案，但这两个方案都不是裸眼立体显示技术和双眼立体视觉解算技术相关的技术方案，不能解决多方位裸眼立体显示问题。公布号CN105049833A公开了一种采用对称可调式背光结构的立体视检查方法和装置，给出了采用适应眼睛与屏幕多种距离的立体显示技术方案，但该技术方案不能适应眼睛与屏幕之间距离的连续变化，而且该专利所采用的眼动跟踪技术在眼动范围较大时不能获得眼睛的位置和视线，还有就是没有提出解决多屏裸眼立体显示的技术方案，不能用于作业模拟系统。综上所述，目前的现有技术都不能给出裸眼立体视觉混合现实作业模拟系统的技术方案，与此密切相关的现有裸眼立体显示技术也无法用于裸眼立体视觉混合现实作业模拟系统的构建。裸眼立体视觉混合现实作业模拟系统的技术方案必须解决如下问题：①提出构建裸眼立体视觉混合现实作业模拟系统的模块化结构，以适应多种作业模拟需求。②提出裸眼立体显示的结构化技术方案，满足多种作业模拟的裸眼立体显示需求。③提出裸眼立体显示屏多种工作模式的技术方案，适应多屏拼接大视角显示的需要。④提出眼睛位置和视线跟踪解算技术方案、多屏显示控制技术方案、裸眼立体显示屏指向性光源控制方案，实现多屏、多模式协同工作。⑤提出作业模拟软件系统的模块构成和工作方式的技术方案，解决作业模拟系统的整体控制问题。这些问题相互关联的，必须整体系统地解决。
技术实现思路
专利技术目的：本专利技术针对作业模拟系统的构建，以裸眼立体显示、眼动跟踪解算为核心，提出了裸眼立体视觉混合现实作业模拟系统。技术方案：裸眼立体视觉混合现实作业模拟系统，包括裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块以及计算机模块；所述裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块及音效模块分别与计算机模块通过电信号连接；所述立体显示模块包括至少一个裸眼立体显示屏；所述裸眼立体显示屏包括指向性背光部件和透射显示板，所述指向性背光部件位于透射显示板后面，所述性背光部件为位置和尺度可变的光源，所述光源的位置在作业人员左右眼的方向或视线纵深方向上变化；所述立体显示模块根据所述计算机模块的控制显示立体视觉影像；所述眼动跟踪模块包括若干个摄像头，所述摄像头的数量和安装位置根据作业人员头部的运动范围决定；在作业过程中至少有两个及以上的摄像头拍摄所述作业人员的面部图像；所述作业模块用于作业人员进行模拟作业，包括需要模拟的作业实际使用的部件或仿制的部件；所述运动模块包括基座和运动平台，所述运动平台包括多自由度的运动机构和控制部件；所述运动平台自由度的数量由作业时需要模拟的运动的特征确定；所述音效模块包括数字声音处理板、音效库和音箱；所述数字声音处理板、音效库和音箱的性能和内容由作业时需要模拟的声音决定；所述计算机模块控制所述眼动跟踪模块同步拍摄作业人员的面部图像并根据获取的图像信息进行解算，获得作业人员眼睛的位置和视线信息；所述计算机模块根据作业人员眼睛的位置和视线信息，向所述裸眼立体显示模块发出显示控制信号和左右眼视景图像信号，控制所述裸眼立体显示屏的工作，使作业人员获得立体视觉影像；所述计算机模块接收所述作业模块的模拟作业信息，并向所述运动模块发出相应的控制信息，控制所述运动模块运动，同时所述计算机模块控制所述音效模块发出相应的音效。还包括控制台，所述控制台包括显示屏幕和用于设定作业模拟任务、控制与中断作业模拟过程的操控面板；所述控制台与所述计算机模块通过电信号连接。所述裸眼立体显示模块包括多个裸眼立体显示屏和普通平面显示屏；所述多个显示屏采用平面拼接方式或者立体拼接方式拼接。在所述多个显示屏的拼接部位采用光学组件进行延展，形成无边框的显示效果。所述计算机模块根据获取的图像信息进行解算是根据所述眼动跟本文档来自技高网...

【技术保护点】
裸眼立体视觉混合现实作业模拟系统，其特征在于：包括裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块以及计算机模块；所述裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块及音效模块分别与计算机模块通过电信号连接；所述立体显示模块包括至少一个裸眼立体显示屏；所述裸眼立体显示屏包括指向性背光部件和透射显示板，所述指向性背光部件位于透射显示板后面；所述性背光部件为位置和尺度可变的光源，所述光源的位置在作业人员左右眼的方向或视线纵深方向上变化；所述立体显示模块根据所述计算机模块的控制显示立体视觉影像；所述眼动跟踪模块包括若干个摄像头，所述摄像头的数量和安装位置根据作业人员头部的运动范围决定；在作业过程中至少有两个及以上的摄像头拍摄所述作业人员的面部图像；所述作业模块用于作业人员进行模拟作业，包括需要模拟的作业实际使用的部件或仿制的部件；所述运动模块包括基座和运动平台，所述运动平台包括多自由度的运动机构和控制部件；所述运动平台自由度的数量由作业时需要模拟的运动的特征确定；所述音效模块包括数字声音处理板、音效库和音箱；所述数字声音处理板、音效库和音箱的性能和内容由作业时需要模拟的声音决定；所述计算机模块控制所述眼动跟踪模块同步拍摄作业人员的面部图像并根据获取的图像信息进行解算，获得作业人员眼睛的位置和视线信息；所述计算机模块根据作业人员眼睛的位置和视线信息，向所述裸眼立体显示模块发出显示控制信号和左右眼视景图像信号，控制所述裸眼立体显示屏的工作，使作业人员获得立体视觉影像；所述计算机模块接收所述作业模块的模拟作业信息，并向所述运动模块发出相应的控制信息，控制所述运动模块运动，同时所述计算机模块控制所述音效模块发出相应的音效。...

【技术特征摘要】
1.裸眼立体视觉混合现实作业模拟系统，其特征在于：包括裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块以及计算机模块；所述裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块及音效模块分别与计算机模块通过电信号连接；所述立体显示模块包括至少一个裸眼立体显示屏；所述裸眼立体显示屏包括指向性背光部件和透射显示板，所述指向性背光部件位于透射显示板后面；所述性背光部件为位置和尺度可变的光源，所述光源的位置在作业人员左右眼的方向或视线纵深方向上变化；所述立体显示模块根据所述计算机模块的控制显示立体视觉影像；所述眼动跟踪模块包括若干个摄像头，所述摄像头的数量和安装位置根据作业人员头部的运动范围决定；在作业过程中至少有两个及以上的摄像头拍摄所述作业人员的面部图像；所述作业模块用于作业人员进行模拟作业，包括需要模拟的作业实际使用的部件或仿制的部件；所述运动模块包括基座和运动平台，所述运动平台包括多自由度的运动机构和控制部件；所述运动平台自由度的数量由作业时需要模拟的运动的特征确定；所述音效模块包括数字声音处理板、音效库和音箱；所述数字声音处理板、音效库和音箱的性能和内容由作业时需要模拟的声音决定；所述计算机模块控制所述眼动跟踪模块同步拍摄作业人员的面部图像并根据获取的图像信息进行解算，获得作业人员眼睛的位置和视线信息；所述计算机模块根据作业人员眼睛的位置和视线信息，向所述裸眼立体显示模块发出显示控制信号和左右眼视景图像信号，控制所述裸眼立体显示屏的工作，使作业人员获得立体视觉影像；所述计算机模块接收所述作业模块的模拟作业信息，并向所述运动模块发出相应的控制信息，控制所述运动模块运动，同时所述计算机模块控制所述音效模块发出相应的音效。2.根据权利要求1所述的裸眼立体视觉混合现实作业模拟系统，其特征在于：还包括控制台，所述控制台包括显示屏幕和用于设定作业模拟任务、控制与中断作业模拟过程的操控面板；所述控制台与所述计算机模块通过电信号连接。3.根据权利要求1所述的裸眼立体视觉混合现实作业模拟系统，其特征在于：所述裸眼立体显示模块为至少一个裸眼立体显示屏，或者至少一个裸眼立体显示屏和若干普通平面显示屏；显示屏之间采用平面拼接方式或者立体拼接方式拼接。4.根据权利要求3所述的裸眼立体视觉混合现实作业模拟系统，其特征在于：在所述显示屏的拼接部位采用光学组件进行延展，形成无边框的显示效果。5.根据权利要求1所述的裸眼立体视觉混合现实作业模拟系统，其特征在于：所述计算机模块根据获取的图像信息进行解算是根据所述眼动跟踪模块中摄像头的位置、方向和成像参数为基准，按照双眼立体视觉算法对所述眼动跟踪模块获取的图像信息进行解算。6.根据权利要求1所述的裸眼立体视觉混合现实作业模拟系统，其特征在于：所述计算机模块根据解算获得的作业人员眼睛的位置和视线信息，确定作业人员的中心视野和边缘视野界限，...

【专利技术属性】
技术研发人员：李鸣皋，徐建中，单超，曹利群，杨业兵，蒙果，
申请(专利权)人：中国人民解放军海军总医院，
类型：发明
国别省市：北京,11