近眼显示设备的避免全息影像阻挡视线的智能调节方法技术

本发明专利技术属于智能眼镜全息影像技术领域，公开了一种近眼显示设备的避免全息影像阻挡视线的智能调节方法，判断眼球的注视点三维空间坐标；判断人眼瞳孔的变化情况；通过人工智能图像识别技术判断注视点的位置是否有真实物体；基于上述判断结果，判断用户此时是否对全息影像后方事物存在注视需求，若用户正在关注全息虚拟影像后面的事物，则计算机控制系统控制近眼显示设备降低全息影像亮度或者关闭，或者移动注视遮挡程序；当人眼视觉注视点离开物体身上时或者注视点回到全息虚拟影像上时，光学近眼显示设备所呈现的全息虚拟影像状态(光线亮度、位置)恢复初始状态。本发明专利技术解决了全息影像光源的光线亮度对用户观察现实事物造成干扰的问题。

An Intelligent Adjustment Method for Avoiding Holographic Image Obstruction in Near-Eye Display Equipment

【技术实现步骤摘要】
近眼显示设备的避免全息影像阻挡视线的智能调节方法
本专利技术属于智能眼镜全息影像
，尤其涉及一种近眼显示设备的避免全息影像阻挡视线的智能调节方法。
技术介绍
目前，业内常用的现有技术是这样的：如今智能手机已经成为人们生活中不可或缺的一部分，手机上的光敏传感器会通过环境光的强弱自动调节屏幕亮度，已达到人可以清晰看到屏幕内容。但是基于近眼显示设备(MR智能眼镜)，人不仅在看清光学屏幕中内容的同时还要不影响观察真实环境中内容，这产生了矛盾。对这问题目前全球最好智能眼镜Magicleapone还没有给出有效的解决方案。随着近眼显示设备(AR智能眼镜)的技术发展，智能眼镜的视场角越来越大，所呈现的全息影像具有空间感和视觉深度。但是过大的视场角和丰富的全息影像会造成用户对现实真实世界的观察，当全息影像和现实事物重叠时，全息影像光源所发射出过高的光线亮度会对用户观察现实事物造成极大的干扰和安全隐患。综上所述，现有技术存在的问题是：(1)无法协调好光学屏幕中全息影像内容与现实环境中影像之间的矛盾(2)影响用户对现实真实世界的观察；(3)当全息影像和现实事物重叠时，全息影像光源所发射出过高的光线亮度会对用户观察现实事物造成极大的干扰。解决上述技术问题的难度：对比于目前手机上的屏幕亮度调节，现有技术方案所提供的亮度调节算法是十分复杂的。手机屏幕的亮度只需要光敏传感器这一个电信号就可以进行调节，然而现有技术需要眼球注视点的三维空间坐标、瞳孔的变化值、视觉前方物体属性、环境光亮度共同计算才可判定虚拟影像的亮度调节值。因此现有技术整体算法是非常复杂的。其中人眼注视点与三维空间的映射关系、人眼注视点与前置摄像头画面的映射关系、人工智能的图像识别技术判定是否有真实物体、人眼瞳孔或者环境光与全息影像亮度调节的算法几个关键的技术解决之后。才能达到良好的应用技术效果。解决上述技术问题的意义：本专利技术完善了近眼显示设备(MR智能眼镜)用户体验，使用户在观察全息影像的同时而不会收到视线的干扰。同时在使用智能眼镜的时候保证了用户人身安全，使用户避免了因为视线干扰而发生意外触碰。本专利技术为近眼显示技术(MR智能眼镜)在亮度调节方面，在国内外范围弥补了一项空白。为行业的发展起到了一定帮助。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种近眼显示设备的避免全息影像阻挡视线的智能调节方法及系统。本专利技术是这样实现的，一种近眼显示设备的避免全息影像阻挡视线的智能调节方法，所述近眼显示设备的避免全息影像阻挡视线的智能调节方法具体包括以下步骤：步骤一，判断眼球的注视点与虚拟全息影像的三维空间坐标的位置关系；步骤二，判断人眼瞳孔的变化和注视时长；步骤三，通过人工智能图像识别技术判断注视点的位置是否有真实物体，即计算机识别用户注视位置图像是否明确存在某种事物；若有真实物体，直接执行步骤四；若没有真实物体，判断用户对目标点注视时长，即判断用户此时是否对全息影像后方事物存在注视需求。如果不超过时长，不调节亮度、程序位置，如果注视时长超过预设时间，则执行步骤四；步骤四，基于步骤一至步骤三的判断结果，计算机控制系统控制近眼显示设备降低全息影像亮度，或者关闭或者移动注视遮挡程序；步骤五，当人眼视觉注视点离开物体身上时或者注视点回到全息虚拟影像上时，光学近眼显示设备所呈现的全息虚拟影像状态(光线亮度、位置)恢复初始状态。进一步，步骤一中，所述注视点与虚拟全息影像的三维空间坐标的位置关系判断方法具体包括：通过近眼显示设备上已有眼动追踪模块获取人双眼眼球注视点；注视时，左右两只眼睛的视线汇聚相交于一对象；测出两只眼睛各自的视线角度和两眼视线夹角，确定双眼视线交点世界三维坐标；通过对三维坐标的比对，判断双眼视线交点是否在全息虚拟影像表面的三维坐标上，即用户视觉注视点是在全息影像还是在真实环境中，全息虚拟影像为计算机已知，进行调取三维空间数据；如果视线交点在全息虚拟影像表面上，计算机控制系统不做响应，继续获取下一个注视点坐标；如果视线交点不在全息虚拟影像表面上，特指视线穿过全息虚拟影像，视线交点汇聚在全息影像后方真实环境中物体，计算机控制系统请求获取此时人眼瞳孔变化状态。进一步，步骤二中，所述人眼瞳孔的变化情况判断方法具体包括：接收来自计算机控制系统的获取瞳孔变化请求，通过自有眼动追踪模块获取这一时刻前后瞳孔直径，计算瞳孔直径变化量；如果瞳孔直径放大或者缩小超过一定的数值，则请求计算机对用户注视方向的图像进行图像识别；如果瞳孔直径无明显变化，则执行循环程序，执行步骤一；所述这一时刻为：视线交点不在全息虚拟影像表面上，特指视线穿过全息虚拟影像，视线交点汇聚在全息影像后方真实环境中物体时间点。进一步，步骤三中，所述物体智能识别判断方法具体包括：(1)人眼视野与前置摄像头画面标定：进行近眼显示头显光学成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；(2)获取人眼注视位置局部图像：启动前置摄像头，读取该时刻用户双眼注视点区域的局部图像，具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形；还包括通过近眼显示计算终端设备对用户注视区域的图像进行图像分割、图像主体识别的人工智能图像处理，自适应的截获获用户注视物体的图像大小；(3)对局部图像中物体进行图像识别判断是否存在真实物体：局部图像通过无线网络上传云端服务器(本地具备图像分析功能)进行云端物体识别检测，具体包括：图像特征点通过无线网络上传云端服务器做云端识别、语义分割运算、匹配、检索，获取内容反馈信息；还包括，当满足智能眼镜计算性能的前提下，图像识别功能设置在近眼显示计算终端进行运算，在MR智能眼镜本地进行图像中物体属性的识别，例如，识别出人、车、建筑物、电脑生活中常见物体；图像识别的功能并非在本地智能眼镜终端中进行，而是在将图像上传到服务器云端进行图像识别，并将图像特征点与服务器已有数据库进行比对，然后将图像匹配、检索获得结果内容反馈传输给AR眼镜智能终端，智能眼镜获取到云端处理后的结果展开接下来的应用；云端数据库是通过强大计算能力的超级计算机利用复杂的人工智能机器学习算法对大量的图片进行分析、学习获得各个事物的特征数据库。进一步，步骤四中，光源亮度降低调节程度的方法包括：(1)调节亮度到固定百分比值，固定百分比值为用户预设；(2)根据眼动追踪模块获得的瞳孔直径变化值获得相应的亮度调节变化量；(3)根据瞳孔直径变化值和由近眼显示设备自有光敏传感器检测获得的环境光亮度量化值进而获得相应的亮度调节变化量；(4)自动调节具有调节功能镜片的亮度或者颜色；(5)实时检测瞳孔变化量，智能眼镜成像屏幕亮度逐渐增强或者减弱，直到瞳孔直径停止变化，成像屏幕停止亮度变化。即根据瞳孔直径变化自适应亮度调节。进一步，近眼显示设备的避免全息影像阻挡视线的智能调节方法进一步包括：(i)关闭视觉前方与双眼视线产生碰撞的全息影像应用程序；(ii)自动移动视觉前方呈现与双眼视线产生碰撞的全息影像应用，移动方向真实物体目标的周围任意方向。本专利技术的另一目的在于提供一种实施所述近眼显示设备的避免全息影像阻挡视线的智能调节方法的近眼显示设备的避免全息影像阻挡视线的智本文档来自技高网...

【技术保护点】
1.一种近眼显示设备的避免全息影像阻挡视线的智能调节方法，其特征在于，所述近眼显示设备的避免全息影像阻挡视线的智能调节方法具体包括以下步骤：步骤一，判断眼球的注视点与虚拟全息影像的三维空间坐标的位置关系；步骤二，判断人眼瞳孔的变化和注视时长；步骤三，通过人工智能图像识别技术判断注视点的位置是否有真实物体，即计算机识别用户注视位置图像是否明确存在某种事物；若有真实物体，直接执行步骤四；若没有真实物体，判断用户对目标点注视时长，即判断用户此时是否对全息影像后方事物存在注视需求；如果不超过时长，不调节亮度、程序位置，如果注视时长超过预设时间，则执行步骤四；步骤四，基于步骤一至步骤三的判断结果，计算机控制系统控制近眼显示设备降低全息影像亮度，或者关闭或者移动注视遮挡程序；步骤五，当人眼视觉注视点离开物体身上时或者注视点回到全息虚拟影像上时，光学近眼显示设备所呈现的全息虚拟影像状态(光线亮度、位置)恢复初始状态。

【技术特征摘要】
1.一种近眼显示设备的避免全息影像阻挡视线的智能调节方法，其特征在于，所述近眼显示设备的避免全息影像阻挡视线的智能调节方法具体包括以下步骤：步骤一，判断眼球的注视点与虚拟全息影像的三维空间坐标的位置关系；步骤二，判断人眼瞳孔的变化和注视时长；步骤三，通过人工智能图像识别技术判断注视点的位置是否有真实物体，即计算机识别用户注视位置图像是否明确存在某种事物；若有真实物体，直接执行步骤四；若没有真实物体，判断用户对目标点注视时长，即判断用户此时是否对全息影像后方事物存在注视需求；如果不超过时长，不调节亮度、程序位置，如果注视时长超过预设时间，则执行步骤四；步骤四，基于步骤一至步骤三的判断结果，计算机控制系统控制近眼显示设备降低全息影像亮度，或者关闭或者移动注视遮挡程序；步骤五，当人眼视觉注视点离开物体身上时或者注视点回到全息虚拟影像上时，光学近眼显示设备所呈现的全息虚拟影像状态(光线亮度、位置)恢复初始状态。2.如权利要求1所述近眼显示设备的避免全息影像阻挡视线的智能调节方法，其特征在于，步骤一中，所述注视点与虚拟全息影像的三维空间坐标的位置关系判断方法具体包括：通过近眼显示设备上已有眼动追踪模块获取人双眼眼球注视点；注视时，左右两只眼睛的视线汇聚相交于一对象；测出两只眼睛各自的视线角度和两眼视线夹角，确定双眼视线交点世界三维坐标；通过对三维坐标的比对，判断双眼视线交点是否在全息虚拟影像表面的三维坐标上，即用户视觉注视点是在全息影像还是在真实环境中，全息虚拟影像为计算机已知，进行调取三维空间数据；如果视线交点在全息虚拟影像表面上，计算机控制系统不做响应，继续获取下一个注视点坐标；如果视线交点不在全息虚拟影像表面上，特指视线穿过全息虚拟影像，视线交点汇聚在全息影像后方真实环境中物体，计算机控制系统请求获取此时人眼瞳孔变化状态。3.如权利要求1所述近眼显示设备的避免全息影像阻挡视线的智能调节方法，其特征在于，步骤二中，所述人眼瞳孔的变化情况判断方法具体包括：接收来自计算机控制系统的获取瞳孔变化请求，通过自有眼动追踪模块获取这一时刻前后瞳孔直径，计算瞳孔直径变化量；如果瞳孔直径放大或者缩小超过一定的数值，则请求计算机对用户注视方向的图像进行图像识别；如果瞳孔直径无明显变化，则执行循环程序，执行步骤一；所述这一时刻为：视线交点不在全息虚拟影像表面上，特指视线穿过全息虚拟影像，视线交点汇聚在全息影像后方真实环境中物体时间点。4.如权利要求1所述近眼显示设备的避免全息影像阻挡视线的智能调节方法，其特征在于，步骤三中，所述物体智能识别判断方法具体包括：(1)人眼视野与前置摄像头画面标定：进行近眼显示头显光学成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；(2)获取人眼注视位置局部图像：启动前置摄像头，读取该时刻用户双眼注视点区域的局部图像，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形；还包括通过近眼显示计算终端设备对用户注视区域的图像进行图像分割、图像主体识别的人工智能图像处理，自适应的截获获用户注视物体的图像大小；(3)对局部图像中物体进行图像识别判断是否存在真实物体：局部图像通过无线网络上传云端服务器进行云端物体识别检测，具体包括：图像特征点通过无线网络上传云端服务器做云端识别、语义分割运算、匹配、检索，获取内容反馈信息；还包括，当满足智能眼镜计算性能的前提下，图像识别功能设置在近眼显示计算终端进行运算，在MR智能眼镜本地进行图像中物体属性的识别；图像识别的功能并非在本地智能眼镜终端中进行，而是在将图像上传到服务器云端进行图像识别，并将图像特征点与服务器已有数据库进行比对，然后将图像匹配、检索获得结果内容反馈传输给AR眼镜智能终端，智能眼镜获取到云端处理后的结果展开接下来的应用；云端数据库是通过强大计算...

【专利技术属性】
技术研发人员：陈涛，陈忠坤，
申请(专利权)人：武汉市天蝎科技有限公司，
类型：发明
国别省市：湖北,42