一种多模组视线追踪方法、系统和视线追踪设备技术方案

技术编号:24330424 阅读:21 留言:0更新日期:2020-05-29 19:25
本发明专利技术属于人工智能技术领域,具体公开了一种多模组视线追踪方法、系统和视线追踪设备。该系统包括至少两个模组;各个模组用于从不同的角度发出红外光照射用户并采集用户图像;初始视线确定单元,用于根据每个模组采集的用户图像计算用户视线信息,其中,每个模组对应一组用户视线信息;真实视线确定单元,用于接收各个模组对应的多组用户视线信息,并从中选择一组用户视线信息确定为用户真实视线信息。通过本申请可实现在大视角下确定用户视线方向的有益效果。

【技术实现步骤摘要】
一种多模组视线追踪方法、系统和视线追踪设备
本专利技术的实施方式涉及人工智能
,更具体地,本专利技术的实施方式涉及一种多模组视线追踪方法、系统和视线追踪设备。
技术介绍
视线追踪技术是测量眼睛运动信息并确定眼睛注视轨迹的技术,目前被广泛应用于AR眼镜、智能驾舱等AI领域。然而目前的视线追踪设备普遍存在视线追踪范围较窄,无法在大视角下确定用户视线方向或计算精度较低的缺陷。
技术实现思路
出于现有技术无法在大视角下确定用户视线方向或计算精度较低的原因,本专利技术提供一种多模组视线追踪方法、系统和视线追踪设备来解决上述问题。在本专利技术实施方式的第一方面中,提供了一种多模组视线追踪系统,其包括:至少两个模组;各个模组用于从不同的角度发出红外光照射用户并采集用户图像;初始视线确定单元,用于根据每个模组采集的用户图像计算用户视线信息,其中,每个模组对应一组用户视线信息;真实视线确定单元,用于接收各个模组对应的多组用户视线信息,并从中选择一组用户视线信息确定为用户真实视线信息。在本专利技术实施方式的第二方面中,提供了一种多模组视线追踪方法,其包括:利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像;根据每个模组采集的用户图像计算用户视线信息,其中,每个模组对应一组用户视线信息;从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息。在本专利技术实施方式的第三方面中,提供了一种视线追踪设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器在运行所述计算机程序时,执行第一方面中所述的多模组视线追踪方法。在本专利技术实施方式的第四方面中,提供了一种计算机可读的存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时实现第一方面中所述的多模组视线追踪方法。在本专利技术实施方式的第五方面中,提供了一种汽车,其包括第一方面中所述的多模组视线追踪系统。根据本专利技术实施方式的上述几个方面,本申请通过采用多个模组从不同的角度发出红外光照射用户并采集用户图像,从而根据该采集用户图像得到多组用户视线信息,并从中选择一组用户视线信息确定为用户真实视线信息。进而实现了在大视角下确定用户视线方向的有益效果。本专利技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例,对本专利技术的技术方案做进一步的详细描述。附图说明通过参考附图阅读下文的详细描述,本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本专利技术的若干实施方式,其中:图1为多模组视线追踪的一示例性应用场景。图2为可以应用本申请的多模组视线追踪系统或方法的一些实施例的示例性系统架构。图3为本申请提供的多模组视线追踪系统的一实施例的结构示意图一;图4为本申请提供的多模组视线追踪系统的一实施例的结构示意图二;图5为图4所示实施例中初始视线确定单元的一实施例的示意图;图6为上述图5所示实施例中初始视线确定单元的一实施例的示意图一;图7为上述图5所示实施例中初始视线确定单元的一实施例的示意图二;图8为上述图5所示实施例中初始视线确定单元的一实施例的示意图三;图9为上述图5所示实施例中初始视线确定单元的一实施例的示意图四;图10为上述图5所示实施例中初始视线确定单元的一实施例的示意图五;图11为图2所示实施例中模组的一实施例的结构示意图一;图12为图2所示实施例中模组的一实施例的结构示意图二;图13为多模组视线追踪系统的应用场景的一示意图;图14为本申请提供的多模组视线追踪系统的一实施例的结构示意图三;图15为图14所示实施例中模组控制单元对模组进行分时控制的应用场景的一示意图;图16为本申请提供的多模组视线追踪系统的一实施例的结构示意图四;图17为本申请提供的多模组视线追踪方法的一实施例的实现流程图;图18为上述图17所示实施例中步骤S173的一实施例的实现流程图;图19为上述图22所示实施例中步骤S181的一实施例的实现流程图;图20为上述图24所示实施例中步骤S191的一实施例的实现流程图一;图21为上述图19所示实施例中步骤S191的一实施例的实现流程图二;图22为上述图19所示实施例中步骤S191的一实施例的实现流程图三;图23为上述图19所示实施例中步骤S191的一实施例的实现流程图四;图24为上述图19所示实施例中步骤S191的一实施例的实现流程图五;图25为本申请提供的多模组视线追踪方法的一实施例的实现流程图二;图26为本申请提供的多模组视线追踪方法的一实施例的实现流程图三;图27为适于用来实现本申请多模组视线追踪方法的一些实施例的电子设备的结构示意图。具体实施方式下面将参考若干示例性实施方式来描述本专利技术的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术,而并非以任何方式限制本专利技术的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。另外,本领域技术技术人员知道,本专利技术的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。本申请的专利技术人经研究发现:目前视线追踪设备采用的主流方案是角膜反射法,其主要原理是利用角膜反射亮点(普尔钦斑,以下简称光斑)和瞳孔中心对视线进行追踪和定位。具体做法是:利用红外光照射用户脸部,其中,用户面部皮肤使得红外光发生漫反射进入相机形成面部图像,用户角膜区域使得红外光发生镜面反射进入相机形成光斑,通过定位瞳孔和光斑的位置即可推导出用户的视线方向和注视点等。因此,只有相机得到的图像中包含完整的瞳孔和光斑时,角膜反射法才能得到准确的视线方向和注视点。然而由于红外光的照射角度并不会随着用户眼部(头部)的转动而移动,所以随着用户眼部(头部)的转动越来越偏离红外光的照射角度,用户的眼睛在相机中的成像会呈现出从同时包含完整的瞳孔和光斑、到包含完整的瞳孔和不完整的光斑、到只包含瞳孔而没有光斑、再到不包含瞳孔也不包含光斑的趋势,当成像中不能同时包含瞳孔和光斑时,角膜反射法就会失效。进一步研究发现,为了解决角膜反射法的上述缺陷,目前有一些视线追踪设本文档来自技高网...

【技术保护点】
1.一种多模组视线追踪系统,其特征在于,包括:/n至少两个模组;各个模组用于从不同的角度发出红外光照射用户并采集用户图像;/n初始视线确定单元,用于根据每个模组采集的用户图像计算用户视线信息,其中,每个模组对应一组用户视线信息;/n真实视线确定单元,用于接收各个模组对应的多组用户视线信息,并从中选择一组用户视线信息确定为用户真实视线信息。/n

【技术特征摘要】
1.一种多模组视线追踪系统,其特征在于,包括:
至少两个模组;各个模组用于从不同的角度发出红外光照射用户并采集用户图像;
初始视线确定单元,用于根据每个模组采集的用户图像计算用户视线信息,其中,每个模组对应一组用户视线信息;
真实视线确定单元,用于接收各个模组对应的多组用户视线信息,并从中选择一组用户视线信息确定为用户真实视线信息。


2.根据权利要求1所述的多模组视线追踪系统,其特征在于,初始视线确定单元还用于确定每组用户视线信息的置信度;则,
真实视线确定单元还用于接收每组用户视线信息的置信度,并从多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。


3.根据权利要求2所述的多模组视线追踪系统,其特征在于,初始视线确定单元确定每组用户视线信息的置信度,包括:
初始视线确定单元通过分析每个模组采集的用户图像,确定相应组用户视线信息的置信度。


4.根据权利要求3所述的多模组视线追踪系统,其特征在于,初始视线确定单元通过分析每个模组采集的用户图像,确定相应组用户视线信息的置信度,包括:
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像,从眼部区域图像中确定瞳孔对应的椭圆,并分析瞳孔对应的椭圆的形状特征,根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。


5.根据权利要求3所述的多模组视线追踪系统,其特征在于,初始视线确定单元通过分析每个模组采集的用户图像,确定相应组用户视线信息的置信度,包括:
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像,从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑,并分析光斑的形状特征,根据光斑的形状特征确定相应组用户视线信息的置信度。


6.根据权利要求3所述的多模组视线追踪系统,其特征在于,初始视线确定单元通过分析每个模组采集的用户图像,确定相应组用户视线信息的置信度,包括:
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像,从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑,分别确定用户两只眼睛中瞳孔和光斑的相对位置,并比对用户两只眼睛中瞳孔和光斑的相对位置的一致程度,根据该一致程度确定相应组用户视线信息的置信度。


7.根据权利要求3所述的多模组视线追踪系统,其特征在于,初始视线确定单元通过分析每个模组采集的用户图像,确定相应组用户视线信息的置信度,包括:
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像,从眼部区域图像中分别确定用户两只眼睛的视轴,并计算用户两只眼睛的视轴的偏差,根据用户两只眼睛的视轴的偏差确定相应组用户视线信息的置信度。


8.根据权利要求3所述的多模组视线追踪系统,其特征在于,初始视线确定单元通过分析每个模组采集的用户图像,确定相应组用户视线信息的置信度,包括:
初始视线确定单元根据每个模组采集的用户图像确定用户头部朝向,并确定用户头部朝向与每个模组采集用户图像的角度之间的偏差,根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度。


9.根据权利要求1所述的多模组视线追踪系统,其特征在于,每个模组包括:
光源,用于产生红外光,并使所述红外光照射用户;
相机,用于采集用户图像。


10.根据权利要求9所述的多模组视线追踪系统,其特征在于,各个模组中的光源产生具有相同波长的红外光,且,多模组视线追踪系统还包括:模组控制单元,用于控制具有光斑干扰关系的各个模组分时工作,以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑;其中,具有光斑干扰关系的模组为如下类型的模组:当采用相同波长的红外光同时照射用户时,会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。


11.根据权利要求9所述的多模组视线追踪系统,其特征在于,具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光,且,具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片,以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑;其中,具有光斑干扰关系的模组为如下类型的模组:当采用相同波长的红外光同时照射用户时,会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。


12.一种多模组视线追踪方法,其特征在于,包括:
利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像;
根据每个模组采集的用户图像计算用户视线信息,其中,每个模组对应一组用户视线信息;<...

【专利技术属性】
技术研发人员:朱成彦
申请(专利权)人:北京未动科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1