基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质技术

一种基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质，方法包括：获取摄像模组所拍摄的包括若干对象的图像，将该图像在显示模组中显示；获取瞳孔的注视位置，根据所述注视位置，在显示模组中匹配该位置所对应的对象，并显示该对象的信息。本发明专利技术通过将摄像模组所拍摄的包括若干对象的图像、眼镜佩戴者瞳孔所注视的位置和显示模组的显示画面进行归一化，避免了现有技术中交叠、显示混乱等问题，提高了显示效果。

Human Portrait Recognition Eyeglasses, Recognition Method and Readable Storage Media Based on Pupil Tracking Technology

【技术实现步骤摘要】
基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质
本专利技术涉及一种智能眼镜
，特别是指一种基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质。
技术介绍
人像识别技术越来越普及，所需要的结构、电子及光学部件等组成部分已经可以集成到智能眼镜中，通过摄像头对人像进行实时识别，可声音提示，并将人像信息实时显示在近眼显示器中，给佩戴者进行实时的视觉体验。现有技术的增强现实(AR，AugmentedReality)设备，在其产品设备上设置有摄像头，用于采集现实场景，经过处理后将通过显示模组将增强现实的内容投射到人眼中，以实现增强现实的效果。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等技术与手段，增强现实技术具有三个突出的特点：①真实世界和虚拟的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。显示技术多种多样，效果较好的是平面光波导镜片，可穿透观看现实中的人像，并可在光波导镜片中显示叠加的文字、图片等彩色信息。使用智能眼镜对多人进行识别时，每个人的多个信息类别(如姓名、年龄、性别、爱好、有无犯罪记录等)都显示在视野中，与透过透视显示镜片看到的现实人物可能发生交叠、显示混乱等问题，影响观看体验。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质，通过将摄像模组所拍摄的包括若干对象的图像、眼镜佩戴者瞳孔所注视的位置和显示模组的显示画面进行归一化，避免了现有技术中交叠、显示混乱等问题，提高了显示效果。所述的基于瞳孔追踪技术的智能眼镜的识别方法包括步骤：获取摄像模组所拍摄的包括若干对象的图像，将该图像在显示模组中显示；获取瞳孔的注视位置，根据所述注视位置，在显示模组中匹配该位置所对应的对象，并显示该对象的信息。其中，所述获取摄像模组所拍摄的包括若干对象的图像，将该图像在显示模组中显示包括：构建摄像模组所拍摄的空间坐标系、显示模组所显示的显示坐标系、人眼看到的原始坐标系三者之间的坐标映射关系，基于所述映射关系将该图像映射在显示坐标系下以显示。其中，所述获取瞳孔的注视位置包括：识别眼镜佩戴者瞳孔在原始坐标系所注视的位置，基于所述映射关系将瞳孔所注视的位置映射在所述显示坐标系下。其中，所述基于所述映射关系将瞳孔所注视的位置映射在所述显示坐标系下包括：分别获取瞳孔转动的坐标、瞳孔转动的坐标映射在空间坐标系上的位置，以及瞳孔转动的坐标映射在显示坐标系上的位置；基于所述瞳孔转动的坐标，建立其所映射在空间坐标系上的位置对应在显示坐标系上的位置。由上，以瞳孔转动为纽带，建立空间坐标系和显示坐标系之间的对应关系，从而使三重坐标系归一。其中，瞳孔转动的坐标以角坐标形式表示为(α1,β1)；瞳孔转动的坐标映射在空间坐标系上位置的坐标表示为(x1,y1)，瞳孔转动的坐标映射在显示坐标系上位置的坐标表示为(a1,b1)，瞳孔转动的坐标映射在空间坐标系上的位置对应在显示坐标系上的位置表示为：上述各式中，ω1、分别表示显示模组的水平角度和竖直角度，ω2、分别表示摄像模组的水平角度和竖直角度，x、y分别表示空间坐标系上的横坐标最大值和纵坐标最大值，a、b分别表示显示坐标系上的横坐标最大值和纵坐标最大值。另外，还包括步骤：判断瞳孔所注视的位置对应在所述显示坐标系下的位置是否更换，若更换则隐藏对前次匹配对象信息的显示，更新为更换后所匹配对象信息的显示；若未更换则持续显示原对象信息。由上，实时针对注视的对象的变化而更新显示。其中，所述显示该对象的信息包括：对该对象进行高亮显示和/或以文字框形式显示该对象的信息。其中，所述通过摄像模组拍摄空间坐标系上包括若干对象的图像后还包括：对所述若干对象进行识别和信息获取的步骤。由上，事先获取显示画面中所有人像的属性信息，从而在确定佩戴者所注视的对象的时候可以快速的显示出被注视者的属性信息。所述一种基于瞳孔追踪技术的人像识别眼镜，包括配置于佩戴支撑架上的：显示模组，对应配置于眼镜镜片位置；摄像模组，其轴向与所述显示模组轴向方向一致，获取包括若干对象的图像；瞳孔追踪装置，用于获取佩戴者瞳孔的注视位置；在所述佩戴支撑架内部还包括主控模块，所述主控模块分别与所述显示模组、摄像模组和瞳孔追踪装置连接，根据所述注视位置，在显示模组中匹配该位置所对应的对象，并显示该对象的信息。由上，显示模组、摄像模组和眼镜镜片的位置关系可以保证显示坐标系和空间坐标系的重合，进一步的，通过将空间坐标系、眼镜佩戴者瞳孔所注视的位置和显示坐标系三重坐标系归一，避免了现有技术中交叠、显示混乱等问题，提高了显示效果。其中，所述瞳孔追踪装置包括：红外射线束发射器、红外射线束接收器，以及分别与二者信号连接的瞳孔追踪处理器；所述瞳孔追踪处理器用于标记瞳孔转动位置。由上，可以实现对于瞳孔转动位置的追踪。所述一种基于瞳孔追踪技术的人像识别眼镜包括：处理器；存储器，用于存储程序；当所述程序被所述处理器执行时，使得所述处理器实现前述中任一所述的方法。一种可读存储介质，其存储有程序，其特征在于，该程序被处理器执行时实现前述中任一所述的方法。附图说明图1为基于瞳孔追踪技术的人像识别眼镜的原理示意图；图2为原始坐标系、显示坐标系和空间坐标系的映射原理示意图；图3为在显示坐标系中标定瞳孔注视位置的原理示意图；图4为本专利技术的方法的流程图；图5为人像识别眼镜的显示效果示意图；图6为人像识别眼镜的实现原理框图示意图。具体实施方式下面结合附图1～6对本申请所涉及的一种基于瞳孔追踪技术的人像识别眼镜、识别方法及可读存储介质进行详细说明。本申请所述基于瞳孔追踪技术的人像识别眼镜的整体结构主要包括：佩戴支撑架101、显示模组102和摄像模组103。另外在佩戴支撑架101靠近耳部的位置设置有扬声器(未图示)，在佩戴支撑架101底框靠近嘴部的位置设置有麦克风(未图示)。其中，显示模组102配置在镜片处，配置方式包括：与镜片集成或显示模组102与镜片采用前后相对固定的位置关系。摄像模组103配置于佩戴支撑架101上。另外，还包括集成在佩戴支撑架101内部的电路板和连接线(未图示)。电路板中包括主控模块，负责数据的处理运算，并通过数据连接线与智能终端(PC、智能手机或PAD等)连接。数据传输的方式是通过USB线将智能眼镜连接到智能终端的USB接口，达到即插即用的效果。不难理解，此处不限于人像识别眼镜通过USB线连接智能终端实现即插即用。在不插入其他设备时，也能在电池供电的情况下独立工作。较佳的，所述主控模块还集成有无线通信功能，可实现与远程服务器或智能终端的无线通信。显示模组102为一个或两个，即对应单眼或双眼。显示模组102的透视显示镜片其轴向分别对应一只眼球或两只眼球的舒适观看轴向。透视显示镜片透明时，人眼透过透视显示镜片看到的真实人像在大脑中形成一个特定位置，在此称为原始坐标系。透视显示镜片有显示内容时，以所述原始坐标系为参照，采用与其重合的坐标系，在此称为显示坐标系。在人眼看来，两者具有叠加重合的观看效果。原始坐标系和显示坐标系相重合的具体原理如图2所示，显示模组102的视场角(FOV，FieldOfView)为固定值，其所对应的水平角度为ω1，本文档来自技高网...

【技术保护点】
1.一种基于瞳孔追踪技术的智能眼镜的识别方法，其特征在于，包括步骤：获取摄像模组所拍摄的包括若干对象的图像，将该图像在显示模组中显示；获取瞳孔的注视位置，根据所述注视位置，在显示模组中匹配该位置所对应的对象，并显示该对象的信息。

【技术特征摘要】
1.一种基于瞳孔追踪技术的智能眼镜的识别方法，其特征在于，包括步骤：获取摄像模组所拍摄的包括若干对象的图像，将该图像在显示模组中显示；获取瞳孔的注视位置，根据所述注视位置，在显示模组中匹配该位置所对应的对象，并显示该对象的信息。2.根据权利要求1所述的方法，其特征在于，所述获取摄像模组所拍摄的包括若干对象的图像，将该图像在显示模组中显示包括：构建摄像模组所拍摄的空间坐标系、显示模组所显示的显示坐标系、人眼看到的原始坐标系三者之间的坐标映射关系，基于所述映射关系将该图像映射在显示坐标系下以显示。3.根据权利要求1所述的方法，其特征在于，所述获取瞳孔的注视位置包括：识别眼镜佩戴者瞳孔在原始坐标系所注视的位置，基于所述映射关系将瞳孔所注视的位置映射在所述显示坐标系下。4.根据权利要求3所述的方法，其特征在于，所述基于所述映射关系将瞳孔所注视的位置映射在所述显示坐标系下包括：分别获取瞳孔转动的坐标、瞳孔转动的坐标映射在空间坐标系上的位置，以及瞳孔转动的坐标映射在显示坐标系上的位置；基于所述瞳孔转动的坐标，建立其所映射在空间坐标系上的位置对应在显示坐标系上的位置。5.根据权利要求4所述的方法，其特征在于，瞳孔转动的坐标以角坐标形式表示为(α1,β1)；瞳孔转动的坐标映射在空间坐标系上位置的坐标表示为(x1,y1)，瞳孔转动的坐标映射在显示坐标系上位置的坐标表示为(a1,b1)，瞳孔转动的坐标映射在空间坐标系上的位置对应在显示坐标系上的位置表示为：上述各式中，ω1、分别表示显示模组的水平角度和竖直角度，ω2、分别表示摄像模组的水平角度和竖直角度，x、y分别表示空间坐标系上的横坐标最大值和纵坐标最大值，a、b分别表示显示坐标系上的横坐标最大值和...

【专利技术属性】
技术研发人员：梁祥龙，李勇，程志远，
申请(专利权)人：北京亮亮视野科技有限公司，
类型：发明
国别省市：北京,11