一种基于AR智能眼镜的局部图像识别方法及系统技术方案

本发明专利技术属于AR智能眼镜应用技术领域，公开了一种基于AR智能眼镜的局部图像识别方法及系统,对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境的视域画面的一致性校准标定；识别人眼图像并计算眼球运动向量，获取眼动坐标；识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置。本发明专利技术通过眼动仪获取人眼眼图信息，并进行人眼眼图与场景摄像头的同步标定，获取人眼在真实场景的注视点区域，在进行处理时，仅对注视点区域进行图像识别，大大降低了GPU的图像处理压力，提高图像处理效率。

【技术实现步骤摘要】
一种基于AR智能眼镜的局部图像识别方法及系统
本专利技术属于AR智能眼镜应用
，尤其涉及一种基于AR智能眼镜的局部图像识别方法及系统。
技术介绍
目前，业内常用的现有技术是这样的：随着近几年AR/VR产业的高速发展，我们关注到AR智能眼镜会是淘汰智能手机的下一代智能终端，那么AR智能眼镜上的app就如同智能手机上在刚兴起时的app，存在着巨大的市场价值。我们了解到眼动追踪技术是未来AR智能眼镜的重要人机交互方式，我们立足这样的环境进行思考未来应用可能存在潜在市场，在未来时代来临时可能爆发巨大的市场价值。现有技术中，在VR虚拟现实技术中有一项通过眼动追踪技术实现的眼镜看哪里，计算机GPU对人眼注视的区域进行精细化的渲染处理-眼睛看哪里计算机渲染哪里。2016年CES上德国SMI展示了一项名为注视点渲染的技术，通过优先高清渲染人眼视野中心的部位，降低GPU的运算负荷，间接提升VR显示的效果。以HTCVive为例，单眼的分辨率为1080*1200，游戏的刷新率最低为90HZ。意味着需要每秒2.33亿次像素渲染。而随着刷新率和分辨率的提高，未来GPU的压力会越来越大。而眼控注视点渲染技术，无疑间接的降低了VR体验的门槛。通过上述的VR注视点图像渲染技术和未来AR智能眼镜上应用的联想，促使本专利技术产生了通过眼动追踪技术来实现通过由人的视觉注视点引导的局部图像识别的方法。综上所述，现有技术存在的问题是：在未来智能时代，AR智能眼镜会为人类带来更智能更人性化的生活，因此在智能眼镜的应用设计中需要智能眼镜系统能够够更好理解用户周围的事物和环境已作出智能的个性化服务，计算机系统将通过的分析和识别摄像头拍摄到的实时画面来进行优质的服务，这将是巨大的运算量造成CUP、GPU、TPU巨大的计算量且对能量的消耗很大，并且占用过高的网络带宽，这导致设备的续航时间减少。产品整体的用户体验下降。同时本专利技术实现了针对于未来AR智能眼镜的的局部图片截取方法和信息弹出的新机制，及为由眼动视线引导的图像截取进而识别局部图片后弹出与图像内容相关的信息(文字、声音、图片、视频、三维模型)。目前纵观全球AR智能眼镜应用中内容信息的弹出是没有经过筛选过滤的，其中存在着大量对用户无用的信息，并且用户不希望被无用的信息骚扰。而现有技术不能有效解决。解决上述技术问题的难度和意义：难点一：要实现让AR智能眼镜系统知道用户看了哪里？需要实现人的视场角FOV区域中的画面、前置摄像头的画面、成像屏幕中的画面、周围真实环境的一致性校准标定。识别人眼图像并计算眼球运动向量，获取眼动坐标，并计算获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置和周围环境的坐标位置。难点二：要实现让AR智能眼镜系统知道用户看的是什么？计算机截取人眼注视点区域图像，AR眼镜智能终端上传云端服务器进行图像识别，图像识别、图像的匹配需要大量的图像数据库进行人工智能机器学习的运算才能达到精准的识别匹配效果，因此在图像数据库、机器学习算法、超级计算机运算能力、数据上传下传的速度、AR智能眼镜技术都提出了巨大的考验。结合难点一、二，本专利技术给出了让AR智能眼镜能够以用户的第一人称视角去理解这个世界的方法，这可以更好的理解用户的心中所想，以此提供更好的服务。以本专利技术为基础具有巨大的AR智能眼镜应用想象空间，例如本专利技术还可以应用在人脸识别、二维码识别等，上述两项技术都属于图像识别领域，其技术效果为当用户佩戴着智能眼镜时，由人眼眼球注视点引导计算机对人脸或者二维码进行图像识别。本专利技术的实质是首先是基于AR智能眼镜上的眼动追踪模块来实现由人眼注视行为或其他人体生物信息来引导计算机系统对局部图像截取的功能，并通过5G将所截取图像及时上传的云端服务器进行图像是识别、搜索、匹配等的一套技术方案。为智能眼镜上的图像识别技术提供了新的方法，及通过人眼眼动行为来引导的图像识别技术，为人脸识别和二维码识别、知识检索教学提供了新的方法。其次本专利还提出一种新的内容信息弹出前添加了通过识别眼动的内容弹出条件。将用户被动的接受信息转变为主动的去信息，大大提升了AR智能眼镜的用户体验的方法。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于AR智能眼镜的局部图像识别方法及系统。本专利技术是这样实现的，一种基于AR智能眼镜的局部图像识别方法，包括：步骤一、对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；包括对AR眼镜摄像头进行图像畸变校正和标定，得到真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；步骤二、识别人眼图像并计算眼球运动向量，获取眼眼运动坐标；步骤三、识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；注视点是成像屏幕则不开启局部图像识别，不进行下一步，若注视点落点是真实世界则开启局部图像识别，进行下一步；步骤四、获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；步骤五、过滤冗杂眼动行为；步骤六、启动局部图像识别程序；步骤七、截取人眼注视区域局部图像；步骤八、局部图像通过5G上传云端服务器处理，并对图像进行运算、语义分割运算、识别、比对，获得相关运算结果。步骤九、相关结果从云端通过5G回传智能眼镜终端进行内容呈现。进一步，步骤二中，识别人眼图像并计算眼球运动向量，获取眼动坐标中，采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统可计算的电子信号；步骤三中，识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间，具体包括：a),通过眼动坐标测定双眼各自的视线角度，确定目标对象的三维坐标；b),计算每个眼睛的瞳孔当前的中心位置；c),计算对象的二维坐标；步骤四中，获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置,具体包括：i),通过人眼注视眼镜成像屏幕的标定点获得人眼运动坐标与成像屏幕的映射关系；ii),由于人眼透过半透明成像屏幕看到的真实世界场景与看到的半透明屏幕上正在呈现前置摄像头拍到的虚拟场景影像无重影且保持一致；通过相似三角形原理，获取人眼在真实世界的视觉注视点位置；步骤五中，过滤冗杂眼动行为包括：I)低通滤波，对原始视线信号进行滤波以获取可以使用的视线信号；II)T值自适应调节，实时监测当前的眼动模式，眼动角速度的计算、眼跳速度与阈值的比对，以及滤波参数的调节；III)识别区域控制，主要控制识别区域移动；步骤六中，所述启动局部图像识别程序，获取到人类生物电并识别出用户兴趣点时启动图像局部图像识别程序，兴趣识别条件包括：A、对某一区域凝视时长超过阈值；B、对某一区域回视次数超过预设次数；C、对某一区域注视时眨眼次数或眨眼行为达到预设标准；D、对某一事物产生规律性视觉注意模型；E、同一时刻脑电波检测模块检测出用户对该视觉注视区域产生情绪波动；F、同一时刻心率、血压等人体生物信息监测模块检测出用户情绪发生波动；G、同一时刻人眼对当下注视事物产生瞳孔放大或缩小的生理反应数据。步骤七中，截取人眼注视区域局部图像，具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心本文档来自技高网...

【技术保护点】
1.一种基于AR智能眼镜的局部图像识别方法，其特征在于，所述基于AR智能眼镜的局部图像识别方法包括：步骤一、对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；包括对AR眼镜摄像头进行图像畸变校正和标定，得到真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；步骤二、识别人眼图像并计算眼球运动向量，获取眼睛运动坐标；采用瞳孔‑角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统计算的电子信号；步骤三、识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；注视点是成像屏幕则不开启局部图像识别，不进行下一步，若注视点落点是真实世界则开启局部图像识别，进行下一步；步骤四、获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；步骤五、过滤冗杂眼动行为；步骤六、启动局部图像识别程序；步骤七、截取人眼注视区域局部图像；步骤八、局部图像通过5G上传云端服务器处理，并对图像进行运算、语义分割处理、识别、比对，获得相关运算结果；步骤九、相关结果从云端通过5G回传智能眼镜终端进行内容呈现。...

【技术特征摘要】
1.一种基于AR智能眼镜的局部图像识别方法，其特征在于，所述基于AR智能眼镜的局部图像识别方法包括：步骤一、对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；包括对AR眼镜摄像头进行图像畸变校正和标定，得到真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；步骤二、识别人眼图像并计算眼球运动向量，获取眼睛运动坐标；采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统计算的电子信号；步骤三、识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；注视点是成像屏幕则不开启局部图像识别，不进行下一步，若注视点落点是真实世界则开启局部图像识别，进行下一步；步骤四、获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；步骤五、过滤冗杂眼动行为；步骤六、启动局部图像识别程序；步骤七、截取人眼注视区域局部图像；步骤八、局部图像通过5G上传云端服务器处理，并对图像进行运算、语义分割处理、识别、比对，获得相关运算结果；步骤九、相关结果从云端通过5G回传智能眼镜终端进行内容呈现。2.如权利要求1所述的基于AR智能眼镜的局部图像识别方法，其特征在于，步骤三中，识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间，具体包括：a),注视时，左右两只眼的视线汇聚相交于一对象；b),通过眼动坐标测定双眼各自的视线角度，确定目标对象的三维坐标；c),计算每个眼睛的瞳孔当前的中心位置；d),计算对象的二维坐标；步骤四中，获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置,具体包括：i),通过人眼注视眼镜成像屏幕的标定点获得人眼运动坐标与成像屏幕的映射关系；ii),由于人眼透过半透明成像屏幕看到的真实世界场景与看到的半透明屏幕上正在呈现前置摄像头拍到的虚拟场景影像无重影且保持一致；通过相似三角形原理，获取人眼在真实世界的视觉注视点位置；步骤五中，过滤冗杂眼动行为包括：I)低通滤波，对原始视线信号进行滤波以获取可以使用的视线信号；II)T值自适应调节，实时监测当前的眼动模式，眼动角速度的计算、眼跳速度与阈值的比对，以及滤波参数的调节；III)识别区域控制，主要控制识别区域移动；步骤六中，所述启动局部图像识别程序，获取到人类生物电并识别出用户兴趣点时启动图像局部图像识别程序，兴趣识别条件包括：A、对某一区域凝视时长超过阈值；B、对某一区域回视次数超过预设次数；C、对某一区域注视时眨眼次数或眨眼行为达到预设标准；D、对某一事物产生规律性视觉注意模型；E、同一时刻脑电波检测模块检测出用户对该视觉注视区域产生情绪波动；F、同一时刻心率、血压人体生物信息监测模块检测出用户情绪发生波动；G、同一时刻人眼对当下注视事物产生瞳孔放大或缩小的生理反应数据；步骤七中，截取人眼注视区域局部图像，具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形；步...

【专利技术属性】
技术研发人员：陈涛，蔡超，郭闻浩，
申请(专利权)人：陈涛，
类型：发明
国别省市：湖北,42