用于测量瞳孔距离的系统和方法及其使用技术方案

公开了一种操作瞳孔距离系统的方法。方法包括以下步骤：用所述瞳孔距离系统的至少一个相机捕获受试者的面部的2D图像和对应的3D深度图。使用所述2D图像和对应的3D深度图来确定瞳孔定位信息。基于所述瞳孔定位信息来进一步细化瞳孔位置。确定瞳孔中心坐标并且计算每个瞳孔的中心之间的受试者的瞳孔距离。还公开了其过程和使用。其过程和使用。其过程和使用。

【技术实现步骤摘要】
【国外来华专利技术】用于测量瞳孔距离的系统和方法及其使用
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月17日提交的美国序列号63/040,184的权益和优先权，其通过引用整体并入本文。


[0003]本公开总体上涉及验光的
更具体地，本公开涉及用于测量瞳孔距离的系统和方法及其使用。

技术介绍

[0004]以下包括可以用于理解本专利技术的信息。这并不是承认本文具体或隐含引用的任何信息对于所描述或要求保护的专利技术是现有技术或必不可少的。本文提及的所有专利、专利申请、出版物和产品均通过引用整体并入本文。
[0005]瞳孔距离(“PD”)是诸如人的受试者的瞳孔之间的距离。该距离的准确性是眼镜、太阳镜或虚拟现实头戴装置的舒适和适合的决定因素。错误测量的PD可能导致具有棱镜效应的镜片，其导致受试者头痛、视力模糊、眼睛疲劳、恶心、眩晕、头晕、定向障碍和其他问题。传统上，PD测量不存在于眼镜或太阳镜处方中，但需要它来满足定制处方眼镜或太阳镜订单。成年人的平均PD为约63mm。然而，PD测量对于女性可以在51mm至74.5mm之间广泛变化，对于男性可以在53mm至77mm之间广泛变化。当用渐变镜片装配眼镜或太阳镜时，PD是关键的，原因是需要精确的镜片到瞳孔对准，以确保在所有距离处的舒适视觉。
[0006]目前，存在各种方法来测量PD。例如，PD测量有两种主要方法：单PD和双PD。单PD(或双眼PD)是每只眼睛之间从瞳孔到瞳孔的测量值。双PD(或单眼PD)是从你的鼻梁到每只眼睛的测量值。r/>[0007]获得PD测量值的传统方式可以包括使用标尺。对于该类型的测量，受试者需要站在距镜子大约8英寸处，并且标尺横跨受试者的眉毛在一个眼睛瞳孔上对准到另一瞳孔以获得PD测量值。该类型的测量是不准确的，原因是面部的轮廓和标尺的对准可能变化。
[0008]受试者可以在另一个体的帮助下(可能在商业环境中)获得他/她的PD测量。在该示例中，可以使用角膜反射瞳孔计来测量PD。替代地，电子商务客户可以在持有标准尺寸参考(例如，信用卡等)的同时提交他们面部的照片，并且可以远程处理照片以获得PD。
[0009]上述每个传统示例是获得PD测量的繁琐和/或资源密集的方式。此外，某些传统的示例，例如使用角膜反射瞳孔计，可能要求受试者与进行测量的人相距不到6英尺，导致他们在流行病(例如COVID
‑
19)期间违反社交距离规则。此外，角膜反射瞳孔计并不总是PD的可靠量度，因为它们易受人为错误影响并且可能被错误校准。由于PD是满足定制处方眼镜或太阳镜订单所必需的，因此开发无缝、方便且非接触的方式来获得PD测量增强了客户体验。此外，开发更容易且更准确的方式来获得PD测量促进了电子商务并且扩展了客户在获得舒适且准确的眼镜方面的选择。最后，零售商可以使用与PD测量有关的图像和/或统计信息来改进制造过程和/或基于与PD测量相关的用户满意度和购买历史来提供眼镜推荐。
[0010]因此，需要开发一种用于测量PD的改进的系统或方法，其将提高准确性、效率、可靠性、便利性和使用，同时减少或消除人为干预和/或人为错误。

技术实现思路

[0011]本文描述和要求保护的专利技术具有许多属性和方面，包括但不限于本
技术实现思路
中阐述或描述或引用的那些。其不旨在是包括一切的，并且本文描述和要求保护的专利技术不限于本
技术实现思路
中识别的特征或实施例或不受本
技术实现思路
中识别的特征或实施例的限制，其仅出于说明而非限制的目的而被包括。
[0012]在本公开的各种实施例中，提供了获得并使用一系列图像处理算法来定位二维(“2D”)图像中的瞳孔的系统和方法。然后使用由深度感测图像提供的三维(“3D”)数据在世界坐标中定位瞳孔。使用世界坐标，可以计算瞳孔之间的物理距离。本文描述的系统和方法有利地提供了获得PD测量的准确且更方便的方式。此外，所获得的PD测量可以用于眼镜(或眼镜)、太阳镜、虚拟现实头戴装置、护目镜、安全眼镜、智能眼镜(包括但不限于增强现实眼镜)和其他眼镜。最后，包括PD的受试者的面部测量可以与用户账户关联，使得可以基于用户的面部测量以及与面部测量关联的历史客户满意度数据和购买历史来提供产品推荐。
[0013]在本公开的各种实施例中，本文描述的系统和方法可以获得面部测量以用于虚拟试配或试戴系统或应用。在一些实施例中，虚拟试配或试戴系统可以向用户提供界面以虚拟地使用从本文描述的公开内容获得的面部测量(包括PD测量)来试戴和/或购买一副眼镜或太阳镜。本文所述的系统和方法在结合到虚拟试配或试戴系统中时改善了用户的电子商务体验，原因是它允许用户试戴虚拟潜在的眼镜或太阳镜，获得PD测量，并在线选择和购买定制处方眼镜或太阳镜，而无需访问实体商店。本文描述的系统和方法还通过获得和存储可以导致更好的产品推荐的附加面部测量来改进虚拟试配或试戴系统。本公开的系统和方法可以有利地与在2019年8月26日提交的美国专利申请第16/550,614号(名称为“用于眼镜的虚拟试配系统和方法(Virtual Fitting Systems and Methods for Spectacles)”)中描述的虚拟试戴系统和方法对接。在本公开的各种实施例中，描述了一种操作瞳孔距离系统的方法。在一些实施例中，所述方法包括以下步骤：用所述瞳孔距离系统的至少一个相机捕获受试者的面部的第一2D图像和对应的3D深度图；使用所述第一2D图像和对应的3D深度图来确定瞳孔定位信息；基于所述瞳孔定位信息来细化一个或多个瞳孔位置；确定一个或多个瞳孔中心坐标；以及计算每个瞳孔的中心之间的受试者的PD。
[0014]在本公开的一些实施例中，使用多个面部网格界标生成睁开的眼睛的中心附近的多个面部网格顶点以获得受试者上的一个或多个初始瞳孔位置，来确定所述瞳孔定位信息。
[0015]在本公开的一些实施例中，使用具有一个或多个内核和一个或多个2D中心环绕滤波器的卷积来细化所述一个或多个瞳孔位置。在一些实施例中，所述一个或多个内核使用大约12mm的瞳孔估计大小。
[0016]在本公开的一些实施例中，计算所述PD使用对应于所述2D图像中的细化的一个或多个瞳孔位置的深度图值。
[0017]在本公开的一些实施例中，通过使用3D面部网格上对应于每个瞳孔的中心的点来确定所述PD。
[0018]在本公开的一些实施例中，所述方法还包括以下步骤：对使用从所述至少一个相机拍摄所述第一2D图像的距离计算的所述PD执行校正。
[0019]在本公开的各种实施例中，提供了一种其上体现有计算机可执行指令的非暂时性计算机可读介质。所述计算机可执行指令在由处理器执行时，所述计算机可执行指令使所述处理器：从至少一个相机获得受试者的面部的第一2D图像和对应的3D深度图；使用所述第一2D图像和对应的3D深度图来确定瞳孔定位信息；基于所述瞳孔定位信息来细化一个或多个瞳孔位置；确定一个或多个瞳孔中心坐标；以及计算每个瞳孔的中心之间的受试者的PD。
[0020]在本公开的一些实施例中，使用多个面部网格本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种操作瞳孔距离(“PD”)系统的方法，所述方法包括以下步骤：用所述瞳孔距离系统的至少一个相机捕获受试者的面部的第一2D图像和对应的3D深度图；使用所述第一2D图像和对应的3D深度图，来确定瞳孔定位信息；基于所述瞳孔定位信息来细化一个或多个瞳孔位置；确定一个或多个瞳孔中心坐标；以及计算每个瞳孔的中心之间的受试者的瞳孔距离。2.根据权利要求1所述的方法，其中，使用多个面部网格界标生成睁开的眼睛的中心附近的多个面部网格顶点以获得受试者上的一个或多个初始瞳孔位置，来确定所述瞳孔定位信息。3.根据权利要求1所述的方法，其中，使用具有一个或多个内核和一个或多个2D中心环绕滤波器的卷积，来细化所述一个或多个瞳孔位置。4.根据权利要求3所述的方法，其中，所述一个或多个内核使用大约12mm的瞳孔估计大小。5.根据权利要求1所述的方法，其中，计算所述瞳孔距离使用对应于所述2D图像中的细化的一个或多个瞳孔位置的深度图值。6.根据权利要求1所述的方法，其中，通过使用3D面部网格上对应于每个瞳孔的中心的点来确定所述瞳孔距离。7.根据权利要求1所述的方法，还包括以下步骤：对使用从所述至少一个相机拍摄所述第一2D图像的距离计算的所述瞳孔距离执行校正。8.一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上体现有计算机可执行指令，其中，在由处理器执行时，所述计算机可执行指令使所述处理器：从至少一个相机获得受试者的面部的第一2D图像和对应的3D深度图；使用所述第一2D图像和对应的3D深度图来确定瞳孔定位信息；基于所述瞳孔定位信息，来细化一个或多个瞳孔位置；确定一个或多个瞳孔中心坐标；以及计算每个瞳孔的中心之间的受试者的瞳孔距离。9.根据权利要求8所述的非暂时性计算机可读介质，其中，使用多个面部网格界标生成睁开的眼睛的中心附近的多个面部网格顶点以获得受试者的一个或多个初始瞳孔位置，来确定所述瞳孔定位信息。10.根据权利要求8所述的非暂时性计算机可读介质，其中，使用具有一个或多个内核和...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：沃比帕克公司，
类型：发明
国别省市：