【技术实现步骤摘要】
基于MR眼镜的人眼视觉能力增强的方法、系统及设备
[0001]本专利技术属于近眼显示设备应用
，尤其涉及一种基于MR眼镜的人眼视觉能力增强的方法、系 统及设备。
技术介绍
[0002]现阶段依托于增强现实技术(AR)和虚拟现实技术(VR)的近眼显示设备的技术和产品正在逐渐走向 成熟，随着近眼显示设备变得越来越智能、轻便、低成本，它将逐渐融入人们的生活，成为人们日常生活 不可或缺的穿戴式智能硬件设备，更能成为帮助人类的某种能力增强的智能工具。
[0003]近眼显示设备(HMD)还包括电子显示器和光学组件。HMD可以是例如混合现实(Mixed Reality)— MR眼镜、增强现实(Augmented Reality)—AR眼镜、虚拟现实(Virtual Reality)—VR眼镜、扩展现 实(Extended Reality)—XR眼镜或其某种组合。电子显示器配置为发射图像光。光学组件被配置为将图 像光引导到与用户眼睛的位置对应的HMD的出射光瞳，该图像光包括由DCA确定的局部区域中的一个或多 个对象的深度信息。...
【技术保护点】
【技术特征摘要】
1.一种基于MR眼镜的人眼视觉能力增强的方法，其特征在于，所述基于MR眼镜的人眼视觉能力增强的方法包括：步骤一，MR眼镜根据用户视觉需求主动发出的指令或者通过眼动追踪装置自动识别应用场景信息进入望远模式；步骤二，进入望远模式后驱动前置摄像头对眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模块识别中心点的景象进行对焦摄像；步骤三，对放大后注视区域的图像进行优化或/和AI图像增强；步骤四，通过光引擎将步骤三增强的图像传送至光学元件显示器上显示，所述图像根据交互界面设计配合调整或者根据视觉需求发生的交互操作调整画面；步骤五,根据内置探测器检测用户视觉需求的使用状态进行模式的调整或用户主动操作随时退出和/或拍照。2.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤一中，所述用户视觉需求主动发出的指令打开应用程序的方法包括眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互；所述眼动交互的方法包括：MR眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛的行为动作，计算眼睛的瞳孔大小、虹膜图像、眼跳轨迹以及注视时长等，当注视时长超过一定时长或眨眼，则对某一功能UI位置进行点击确认指令，进而启动望远模式；所述手势识别交互的方法包括：MR眼镜的手势识别模块检测手部做出特定的动作手势识别装置接收到用户手部的运动信息，识别手部动作，与上、下、左、右滑动、放大、缩小、点击以及关闭控制选项相关联，进而控制系统进入望远模式；所述外设控制器的方法包括：通过操控设备的含有无线信号传输的移动控制器，握持按键式控制器、穿戴式手套以及指套控制器，向MR眼镜发射控制信号，通过操作交互界面，点击UI按钮进入望远模式，其中包括6DoF加速度传感器追踪技术和6DoF电磁追踪技术手柄；所述有声/无声语音识别的方法包括：通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备进入望远模式；所述头动交互的方法包括：通过头动追踪装置选择交互界面的按钮，通过MR眼镜的加速度传感器、陀螺仪、磁力计计算用户头部的运动，在MR眼睛视野中央设置一个与头部相对位置固定的光标，移动头部控制光标选择位置与全息UI界面进行点击确认，进而启动望远模式。3.如权利要求2所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述眼动交互的方法中，检测眼睛的行为动作的方法包括：通过眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眨眼频率、单眼眨眼、眼脸闭合、视线、眼跳轨迹、注视时长，当注视时长超过一定时长或眨眼，则对某一功能的UI位置进行点击确认指令；所述眼动追踪装置的眼动追踪方法包括：1)通过接收眼睛反射红外光线，计算瞳孔中心与角膜中心的连线进行眼动追踪；硬件
包括至少一个不可见红外光源、微型摄像头、反光热镜、光波导镜片；2)通过捕获眼睛图像或者计算视网膜的影像或者视网膜反射光的强度进行眼动追踪；硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光学导光元件，所述光学导光元件包括光波导镜片；3)通过发射结构光对眼睛创建模型，计算眼睛模型的视觉中心进行眼动追踪；结构光红外图案投影器将一定数量的不可见的光点投影到被测物体上，再根据红外相机接收到的反射光点，计算得到人眼深度图；RGB摄像头拍摄的2D人眼结合计算的深度人眼信息，经过算法处理就可以绘制出精确细致的3D目标物体；4)通过接收眼睛角膜的反射光线，计算角膜中心反射光的强度最大的时刻来进行眼动追踪；所述眼动追踪装置硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片，光波导镜片配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合器将眼睛图像耦合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线出射端；所述手势识别交互的方法中，所述手势识别模块检测手部动作的方法包括：1)手势识别模块配置有图像获取单元、比对系统以及计算机，通过图像识别技术进行手势识别，图像获取单元用于捕获手部运动的图像，所述图像包括：某一连续时刻手部的姿势、运动的连续图像，通过比对系统预存的不同角度的手部动作图像，或者通过图像识别将手部手腕关节、指关节节点进行锚点，通过计算机处理成手势追踪的简化锚点信号，识别手部动作和形状，并与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；2)所述手势识别模块配置为结构光发射装置与接收装置以及处理器，并利用对手部建模的原理进行手势识别；结构光发射装置向手部发射人眼不可见结构光，接收装置接收手部反射结构光，处理器根据接收到的结构光对手部进行建模，匹配手部动作特征点，与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；3)所述手势识别模块配置为加速度传感器、无线发射与接收装置以及计算机，通过佩戴在手部腕关节、各处指关节的加速度传感器接收手部运动信号，手部运动时，加速度传感器接收到手部的运动信号，并通过无线发射至计算机进行识别，与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；手势识别中，手部运动自行设置匹配手势动作，包括修改手势匹配的指令以及收录新的动作指令；所述外设控制器的方法中，所述有声/无声语音识别的方法包括：通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备进入望远模式；所述语音识别装置用于有声语音识别或者无声语音识别；有声语音识别方法包括：MR眼镜靠近嘴部位置配置为语音收录单元，用于收录用户发出的语音，MR眼镜将语音转化成电信号，并进行除杂音处理，MR眼镜将处理后的语音电信号进行识别，转化成文本，获取有声指令；无声语音识别方法包括：MR眼镜靠近脸部位置配置为无声语音探测器，所述无声语音探测器用于检测用户脸部肌肉和发声肌肉的神经电信号，对于发出不同的词句信号，大脑发送神经递质信号传送至脸部肌肉和发声肌肉以控制发出语音指令，在产生与语音指令对
应的神经递质和肌肉电信号，探测器检测并识别这些电信号转化成文本，获取无声语音指令；所述头动交互的方法中，所述根据用户视觉需求主动发出的指令识别应用场景需求信息的方法用于启动/进入望远模式，还包括软件应用使用/操作过程中的交互方式。并且在上述交互方法中，通过眼动追踪模块检测眼睛对交互界面中的任意UI按钮做出对应确认点击操作的交互方式为最优方式。4.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤一中，所述计算机通过探测器自动识别应用场景的方法包括：(a)进入望远模式的检测方法一：眼动追踪模块检测眼睛视线夹角小于或等于一定角度时，和/或检测用户注视远处景物超过一定时长，MR眼镜自动进入望远模式，或者发出咨询是否进入望远模式的信息提示弹窗，若进入望远模式则对所视区域景象进行增强呈现；所述视线夹角具体为，双眼视线夹角为α，双眼间距为d，则视线注视点与眼睛的距离通过一些公式计算得出，＝d/2 tan(α/2)；(b)进入望远模式的检测方法二：眼动追踪模块实时检测眼睛在对外界环境进行屈光调节时晶状体厚度大小以及曲率的变化，根据一些公式计算出注视点距离：u＝fv/(v-f)与f＝1/{(n-1)[1/R
1-1/R2+(n-1)d/nR1R2]}得到视线距离，其中，u为物距，即用户注视点到用户晶状体的距离；f为焦距，即用户眼睛晶状体焦距；v为像距，即眼睛视网膜至晶状体的距离；n为眼睛晶状体的折射率；R1为眼睛晶状体的第一曲率半径；R2为眼睛晶状体的第二曲率半径；d为晶状体厚度；当视线距离u大于一定值，即为正在聚焦于远处景物，MR眼镜自动进入望远模式，或者发出咨询是否进入望远模式的信息提示弹窗，若进入望远模式则对所视区域景象进行放大呈现。5.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述望远模式为通过MR眼镜看到远距离景象的模式，进入所述望远模式后，系统控制MR眼镜上的远焦摄像头获取用户所视区域的远处影像，通过长焦光敏传感器处理成数码图像，传输至光引擎，将处理后的远处影像转化成光信号传递至光学成像系统，向用户呈现放大影像；所述远距离景象为超越用户视力范围的真实物理世界景象，所述远距离的数值随不同视力范围的变化而变化。6.如权利要求1所述的基于MR眼镜的人眼视觉能力增强的方法，其特征在于，所述进入望远模式后驱动前置摄像头对眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模块识别中心点的景象进行对焦摄像的方法包括：MR眼镜系统获取到眼动追踪装置发送的检测信息，检测信息包括注视点位置的空间坐标、晶状体厚度大小，其中注视点位置的空间坐标可以通过眼球的移动计算获得X和Y轴坐标，通过双眼视线的夹角或/和晶状体厚度获得Z轴坐标，及视觉深度，形成空间坐标(X,Y,Z)；利用眼睛注视点的X坐标和Y坐标选定外景照片上放大和对焦的区域；其中，至少一个摄像机取景设置在MR眼镜外侧的正中间或者两边，前置摄像头所拍摄的照片为用户当前的视野画面，及上述外景照片为前置摄像头拍到的用户当时视野前方影像；根据(X,Y)注视点
坐标获取外景照片上某一点，确定以该点为中心得目标区域，该目标区域为摄像头对焦和放大的区域；利用眼睛注视点得Z坐标确定在外景照片上该目标区域中物体的视觉深度，控制摄像机对目标物体进行对焦并数码变焦或光学变焦放大一定的倍率，获得更清晰的图像，影像放大倍率以望远模式默认的初始放大倍数为准，或用户交互控制放大倍数；实现放大和对焦。7.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤二中，所述摄像头分别包括各自的光传导模组、透镜模组、图像传感器模组以及影像防抖模组，或者在一些实施例中，这些摄像头可以适当地将光传导模组合并共用，共用一套光传导模组，其中光传导模组可以被配置为微型全反射镜结构改变出射影像光的方向，射入对应摄像头/其图像传感器；在望远模式下，光传导模组将外界影像光传导至变焦摄像的透镜模组和图像传感器；采用微机械的全反射镜装置将光路改变传导至不同的传感器实现；光传导模组，被配置为至少一组全反射镜单元，参考潜望镜原理，将入射的影像光呈一定角度偏折，实现透镜模组与传感器模组的横置或斜置；或为一种由玻璃或塑料制成的光导纤维单元，用于将影像光沿着镜架中空的内部引导至透镜模组与传感器模组；或为一层或多层包含耦合光学原件的波导，其中的耦合光学元件将用户所视前方的影像光耦合至波导中传导，引导至MR眼镜内置的传感器模组；以上光传导模组的配置目的是简化设备构件，降低设备的形状系数；镜头组件，配置在MR眼镜中适宜的任何空间位置，包含一组或者多组多个凸、凹透镜组合的光学元件，用于前方远处或者近处的景物进行对焦，通过不同的透镜组合、移动或者根据不同距离的对焦能力分组配置，实现远近距离景物的对焦；图像传感器，用于接收经过透镜模组射出的光线，捕获所视景物影像，所述光敏传感器包括CCD传感器或CMOS传感器，用于对远、近处的景物进行摄像；影像防抖模组通过利用光学防抖借助移动式硬件机械结构对透镜模组或者光敏传感器进行光学补偿；或者利用电子防抖通过数码影像技术对拍摄影像进行锐化、降噪及相关处理；或者利用模式防抖优化调整后的相机拍摄参数来补偿抖动对成像的影响；再或者利用多重防抖综合光学防抖、电子防抖、模式防抖多种防抖形式，根据实际情况选择几种或结合多种防抖技术。8.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述MR眼镜上前置摄像头光传导模组的一种通过潜望镜式的配置方法：反射镜装置将透镜收集的光反射至镜头组件，光被镜头组件校正后在图像传感器上进行成像；其中反射镜装置设置于镜头组件光路的一端，图像传感器位于镜头组件光路的另一端，通过反射镜装置将光路折叠，将镜头组件平躺在MR眼镜内；反射镜装置的平面与镜头组件的镜头对称轴构成预设角度，预设角度为角θ；镜头组件被配置为多个不同曲度凸/凹透镜组合而成，还配置为包含自动对焦机构或定焦机构，自动对焦机构通过内部微型机械装置或/和电磁驱动调节透镜之间的距离实现变焦；拍照时用户根据具体情况调节焦距，根据具体情况拍摄出所需的照片；或镜头组件还包括定焦机构。9.如权利要求1所述的基于MR眼镜的人视觉能力增强方法，其特征在于，所述MR眼镜上前置摄像头光传导模组的一种通过光纤传导的配置方法：收光透镜与光导纤维相连接，收
【专利技术属性】
技术研发人员：陈涛，陈忠坤，
申请(专利权)人：幻蝎科技武汉有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。