过滤光斑的方法和装置制造方法及图纸

本发明专利技术公开了一种过滤光斑的方法和装置。其中，该方法包括：获取第一图像以及与第一图像相匹配的基准图像，其中，在第一图像上显示有第一类光斑；根据基准图像确定第一图像的第二类光斑，其中，第二类光斑为基于基准图像对第一图像上的光斑进行估计所得到的光斑；根据第一类光斑的第一位置以及第二类光斑的第二位置确定第一类光斑和第二类光斑的匹配结果；根据匹配结果对第一类光斑进行过滤。本发明专利技术解决了现有技术不能准确滤除杂光斑的技术问题。

Methods and devices for filtering light spots

The invention discloses a method and a device for filtering light spots. The method includes: obtaining a first image and a reference image matching the first image, in which the first type of light spot is displayed on the first image, and second kinds of spot of the first image are determined according to the reference image, in which the second type of spot is obtained based on the base image to estimate the spot on the first image. According to the first position of the first type of spot and the second position of the second kind of spot, the matching results of the first type of spot and second kinds of spot are determined, and the first kind of spot is filtered according to the matching result. The invention solves the technical problem that the existing technology can not accurately filter out the speckle.

【技术实现步骤摘要】
过滤光斑的方法和装置
本专利技术涉及视线追踪领域，具体而言，涉及一种过滤光斑的方法和装置。
技术介绍
VR(VirtualReality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机技术，其在视线追踪领域得到了广泛的应用。在实际应用中，VR设备可根据基于眼球的3D近似圆球模型中的瞳孔中心坐标和角膜反射，对注视点的远距离设备进行视线估计。如果VR设备使用多相机多光源，则只需要进行单点校正即可估计视线。然而，由于光源和相机的相对位置的不同，可能导致处于某些位置上的相机不能捕获到图像，或者捕获到的图像不佳，从而导致不能有效的滤除干扰光斑或者杂光斑，进一步使得光斑与光源不能进行精确的匹配。针对上述现有技术不能准确滤除杂光斑的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种过滤光斑的方法和装置，以至少解决现有技术不能准确滤除杂光斑的技术问题。根据本专利技术实施例的一个方面，提供了一种过滤光斑的方法，包括：获取第一图像以及与第一图像相匹配的基准图像，其中，在第一图像上显示有第一类光斑；根据基准图像确定第一图像的第二类光斑，其中，第二类光斑为基于基准图像对第一图像上的光斑进行估计所得到的光斑；根据第一类光斑的第一位置以及第二类光斑的第二位置确定第一类光斑和第二类光斑的匹配结果；根据匹配结果对第一类光斑进行过滤。根据本专利技术实施例的另一方面，还提供了一种过滤光斑的装置，包括：获取模块，用于获取第一图像以及与第一图像相匹配的基准图像，其中，在第一图像上显示有第一类光斑；第一确定模块，用于根据基准图像确定第一图像的第二类光斑，其中，第二类光斑为基于基准图像对第一图像上的光斑进行估计所得到的光斑；第二确定模块，用于根据第一类光斑的第一位置以及第二类光斑的第二位置确定第一类光斑和第二类光斑的匹配结果；过滤模块，用于根据匹配结果对第一类光斑进行过滤。根据本专利技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行过滤光斑的方法。根据本专利技术实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行过滤光斑的方法。根据本专利技术实施例的另一方面，还提供了一种视线追踪设备，该视线追踪设备包括过滤光斑的装置。在本专利技术实施例中，采用图匹配的方式，通过获取第一图像以及与第一图像相匹配的基准图像，并根据基准图像确定第一图像的第二类光斑，然后根据第一类光斑的第一位置以及第二类光斑的第二位置确定第一类光斑和第二类光斑的匹配结果，最后根据匹配结果对第一类光斑进行过滤，其中，在第一图像上显示有第一类光斑，第二类光斑为基于基准图像对第一图像上的光斑进行估计所得到的光斑达到了准确滤除杂光斑的目的，从而实现了对光源和光斑进行精确匹配的技术效果，进而解决了现有技术不能准确滤除杂光斑的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种过滤光斑的方法流程图；图2是根据本专利技术实施例的一种可选的视线追踪设备的结构示意图；图3是根据本专利技术实施例的一种可选的过滤光斑的方法流程图；图4是根据本专利技术实施例的一种可选的第一类光斑与第二类光斑的匹配示意图；以及图5是根据本专利技术实施例的一种过滤光斑的装置结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1根据本专利技术实施例，提供了一种过滤光斑的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1是根据本专利技术实施例的过滤光斑的方法流程图，如图1所示，该方法包括如下步骤：步骤S102，获取第一图像以及与第一图像相匹配的基准图像，其中，在第一图像上显示有第一类光斑。需要说明的是，上述第一图像为相机采集到的包含人的眼睛的图像，并且在该图像上具有第一类光斑，其中，第一类光斑不仅包含与光源相对应的光斑，即光源经角膜反射在相机上投影得到的光斑，还包括杂光斑。上述杂光斑为异常光斑，需要被滤除。基准图像是指与第一图像相匹配的图像，其中，基准图像也包含人的眼睛的图像以及与光源相对应的光斑。基准图像上不具有杂光斑。可选的，本申请中所有实施例中执行方法的主体为视线追踪设备，其中，视线追踪设备可以为但不限于虚拟现实设备、可进行视线追踪的智能终端、例如，手机、电脑、可穿戴设备等。具体的，图2示出了一种可选的视线追踪设备的结构示意图，在图2中，a为眼球，b为角膜表面，c为角膜曲率中心，d为眼球旋转中心，p为瞳孔中心，r为瞳孔半径，O1为相机，I1和I2为两个光源，u21和u11为光源经角膜反射后达到相机的成像点。其中，光源经角膜反射后达到相机的成像点即为上述光斑。由此，视线追踪设备可通过获取相机拍摄到的图像来得到第一图像，而基准图像可通过《Seperatingstyleandcontentwithbilinearmodels》一文中所介绍的双线性模型训练的方法从不同初始位置和不同视角采集到的多张图像中提取出，其中，基准图像是与第一图像最匹配的图像。步骤S104，根据基准图像确定第一图像的第二类光斑，其中，第二类光斑为基于基准图像对第一图像上的光斑进行估计所得到的光斑。需要说明的是，由于基准图像中的光斑为与光源相对应的光斑，并且，基准图像与第一图像的匹配度最高，因此，以基准图像为基准可粗略确定第一图像中的第二类光斑。其中，第一图像的第二类光斑表示与光源相对应的光斑。由此，可根据第二类光斑来滤除第一类光斑中的杂光斑。具体的，可通过基准图像中光斑与瞳孔的相对位置来确定第一图像中的光斑与瞳孔的相对位置，由于瞳孔的位置可通过图像处理的相关算法准确得到，因此，可通过将第一图像中瞳孔的位置与基准图像中瞳孔的位置进行匹配，进而，可根据基准图像中的光斑粗略确定第一图像中第二类光斑的位置。步骤S106，根据第一类光斑的第一位置以及第二类光斑的第二位置确定第一类光斑和第二类光斑的匹配结果。需要说明的是，在获取到第一类光斑和第二类光斑的位置之后，可根据第一类光斑中每个光斑的位置与第二类光斑中每个光斑的位置之间的距离，来确定两者之间的距离权重值本文档来自技高网...

【技术保护点】
1.一种过滤光斑的方法，其特征在于，包括：获取第一图像以及与所述第一图像相匹配的基准图像，其中，在所述第一图像上显示有第一类光斑；根据所述基准图像确定所述第一图像的第二类光斑，其中，所述第二类光斑为基于所述基准图像对所述第一图像上的光斑进行估计所得到的光斑；根据所述第一类光斑的第一位置以及第二类光斑的第二位置确定所述第一类光斑和所述第二类光斑的匹配结果；根据所述匹配结果对所述第一类光斑进行过滤。

【技术特征摘要】
1.一种过滤光斑的方法，其特征在于，包括：获取第一图像以及与所述第一图像相匹配的基准图像，其中，在所述第一图像上显示有第一类光斑；根据所述基准图像确定所述第一图像的第二类光斑，其中，所述第二类光斑为基于所述基准图像对所述第一图像上的光斑进行估计所得到的光斑；根据所述第一类光斑的第一位置以及第二类光斑的第二位置确定所述第一类光斑和所述第二类光斑的匹配结果；根据所述匹配结果对所述第一类光斑进行过滤。2.根据权利要求1所述的方法，其特征在于，所述第一类光斑包括与光源相对应的光斑和杂光斑，所述第二类光斑包括所述与光源相对应的光斑。3.根据权利要求2所述的方法，其特征在于，获取与所述第一图像相匹配的基准图像，包括：构建双线性模型；将所述第一图像输入至所述双线性模型；确定所述双线性模型的输出数据；根据所述输出数据确定所述基准图像。4.根据权利要求3所述的方法，其特征在于，构建双线性模型，包括：采集多张图像，其中，所述多张图像中的每张图像均包含与所述光源相对应的光斑；获取所述每张图像的参数信息，其中，所述参数信息至少包括如下之一：所述每张图像中的光斑的起始位置以及所述每张图像的拍摄视角；根据所述每张图像的参数信息以及所述每张图像中的光斑与瞳孔的相对位置得到所述双线性模型。5.根据权利要求1所述的方法，其特征在于，根据所述基准图像确定所述第一图像的第二类光斑，包括：获取所述基准图像中的每个光斑与瞳孔的相对位置；获取所述第一图像中的瞳孔的位置；根据所述第一图像中的瞳孔的位置以及所述基准图像中的所述每个光斑与所述瞳孔的相对位置确定所述第二类光斑的位置。6.根据权利要求1所述的方法，其特征在于，根据所述第一类光斑的第一位置以及第二类光斑的第二位置确定所述第一类光斑和所述第二类光斑的匹配结果，包括：根据所述第一类光斑的第一位置以及所述第二类光斑的第二位置确定所述第一类光斑与所述第二类光斑之间的距离权重值；根据所述距离权重值对所述第一类光斑和所述第二类光斑进行匹配，得到匹配结果。7.根据权利要求6所述的方法，其特征在于，根据所述距离权重值对所述第一类光斑和所述第二类光斑进行匹配，得到匹配结果，包括：确定所述第一类光斑与所述第二类光斑的匹配组合，其中，所述匹配组合包含所述第一类光斑与所述第二类光斑的多个对应关系；分别计算每个对应关系中的每个第一类光斑与每个第二类光斑之间的距离权重值的权重和；确定所述多个对应关系中所述权重和最大的对应关系，其中，所述权重和最大时所对应的对应关系表征所述第一类光斑与所述第二类光斑相匹配。8.根据权利要求7所述的方法，其特征在于，根据所述匹配结果对所述第一类光斑进行过滤，包括：将第一类光斑划分为第一光斑和至少一个第二光斑，并获取所述第一光斑与所述至少一个第二光斑中的每个光斑组成的第一向量组；将第二类光斑划分为第三光斑和至少一个第四光斑，并获取第三光斑与所述至少一个第四光斑中的每个光斑组成的第二向量组；计算所述第一向量组中的每个向量与第二向量组中的对应的向量之间的向量角；根据所述向量角确定所述第一光斑是否为异常光斑，并在所述第一光斑为所述异常光斑的情况下对所述异常光斑进行过滤处理。9.根据权利要求8所述的方法，其特征在于，根据所述向量角确定所述第一光斑是否为异常光斑，包括：确定所述第一向量组中的每个向量与第二向量组中的对应的向量之间的向量角是否大于预设向量角；在所述向量角大于所述预设向量角的情况下，确定所述向量角为异常向量角；确定所述异常向量角的个数；在所述异常向量角的个数大于预设数量的情况下，确定所述第一光斑为所述异常光斑。10.一种过滤光斑的装置，其特征在于，包括：获取模块，用于获取第一图像以及与第一图像相匹配的基准图像，其中，在所述第一图像上显示有第一类光斑；第一确定模块，用于根据所述基准图像确定所述第一图像的第二类光斑，其中，所述第二类光斑为基于所述基准图像对所述第一图像上的光斑进行估计所得到的光斑；...

【专利技术属性】
技术研发人员：刘伟，任冬淳，宫小虎，杨孟，聂凤梅，
申请(专利权)人：北京七鑫易维信息技术有限公司，
类型：发明
国别省市：北京,11