面部识别过程期间的遮挡检测制造技术

本公开涉及面部识别过程期间的遮挡检测。在设备上操作的面部识别过程可包括一个或多个过程，该一个或多个过程确定相机和/或与相机相关联的部件是否被物体(例如，用户的手或手指)遮挡。当用户的面部不能被在设备上操作的面部检测过程检测到时，可使用泛光红外照明图像来评估设备的遮挡。也可使用图案检测过程来评估设备的遮挡，该图案检测过程在通过面部检测过程检测到用户的面部之后操作。当检测到设备被遮挡时，该设备可向用户提供设备(例如，相机和/或照明器)被遮挡并且该遮挡应当被移除以使面部识别过程正确操作的通知。

【技术实现步骤摘要】
面部识别过程期间的遮挡检测本专利要求Tajbakhsh等人于2018年9月28日提交的名称为“OBSTRUCTIONDETECTIONDURINGFACIALRECOGNITIONPROCESSES”的美国临时专利申请No.62/738,160的优先权，该申请全文以引用的方式并入。
本文所述的实施方案涉及用于使用由设备上的相机所捕获的图像进行面部识别处理期间的遮挡检测的方法与系统。更具体地，本文所述的实施方案涉及相机遮挡的检测和/或照明器遮挡的检测，以及向用户提供关于遮挡的通知。
技术介绍
生物识别认证过程正被越来越频繁地使用，以允许用户更容易地访问其设备而无需密码或口令认证。生物识别认证过程的一个示例为使用指纹传感器的指纹认证。面部识别为可用于认证设备的授权用户的另一种生物识别过程。面部识别过程通常用于识别图像中的个体和/或将图像中的个体与个体数据库进行比较，以匹配个体的面部。对于使用面部识别的认证而言，可能有时用户会无意中遮挡或遮蔽相机，导致无法获得用户面部的清晰视图。用户也可能无意中遮挡或遮蔽照明器，导致无法提供对用户面部的适当照明。在相机或照明器被遮挡的情况下，面部识别过程可能难以对用户进行认证，并且可用于认证的特征(例如，面部特征)可能受到限制。在没有提供相机和/或照明器被遮挡的通知的情况下，用户可能没有意识到存在问题并且对他/她尝试使用面部识别来解锁设备的体验感到沮丧。
技术实现思路
在某些实施方案中，在设备上操作的面部识别过程包括相机遮挡检测过程和/或图案检测过程。当在面部识别过程期间未检测到面部时，可使用相机遮挡过程来确定物体(例如，用户的手或手指)是否在遮挡(例如，遮蔽)相机导致无法看到用户的面部。如果相机遮挡过程确定物体正在遮蔽相机，则设备可向用户提供设备(例如，相机)被遮挡的通知。当在面部识别过程期间检测到用户面部之后，可使用图案检测过程来确定设备上的投影仪(例如，照明器)是否被物体遮挡或遮蔽。例如，可使用图案检测过程在面部识别过程继续之前确定图案照明器是否被物体遮挡或遮蔽。如果图案检测过程确定图案照明器被遮挡，则设备可向用户提供设备(例如，照明器)被遮挡的通知。如果图案检测过程确定图案照明器未被遮挡，则面部识别过程可继续进行认证过程(例如，面部识别认证过程)。附图说明当与附图结合时，通过参考根据本公开中描述的实施方案的目前优选的但仅为示例性实施方案的以下详细描述，将更充分地理解在本公开中描述的实施方案的方法与装置的特征和优点，在附图中：图1示出了包括相机的设备的实施方案的表示。图2示出了相机的实施方案的表示。图3示出了设备上的处理器的实施方案的表示。图4示出了面部识别过程的实施方案的流程图。图5示出了相机遮挡检测过程的实施方案的流程图。图6示出了针对遮挡热图的示例的灰度图像的实施方案的表示。图7示出了针对遮挡热图的另一示例的灰度图像的另一实施方案的表示。图8示出了图案检测过程的实施方案的流程图。图9示出了面部识别认证过程的实施方案的流程图。图10示出了示例性计算机系统的一个实施方案的框图。图11示出了计算机可访问存储介质的一个实施方案的框图。尽管本公开中所述的实施方案可受各种修改形式和另选形式的影响，但其具体实施方案在附图中以举例的方式示出并将在本文中详细描述。然而，应当理解，附图和对其的详细描述不旨在将实施方案限制为所公开的特定形式，而相反，本文旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书的范围。如在整个本申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用“可能”一词。类似地，字词“包括”、“包含”是指包括但不限于。各种单元、电路或其他部件可被描述为“被配置为”执行一个或多个任务。在此类上下文中，“被配置为”为通常表示“具有”在操作期间执行一个或多个任务的“电路”的结构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为执行任务。一般来讲，形成与“被配置为”对应的结构的电路可包括硬件电路和/或存储可执行以实现该操作的程序指令的存储器。该存储器可包括易失性存储器，诸如静态或动态随机存取存储器和/或非易失性存储器，诸如光盘或磁盘存储装置、闪存存储器、可编程只读存储器等。硬件电路可包括组合式逻辑电路、时钟存储设备(诸如触发器、寄存器、锁存器等)、有限状态机、存储器(诸如静态随机存取存储器或嵌入式动态随机存取存储器)、定制设计电路、可编程逻辑阵列等的任意组合。类似地，为了描述方便，可将各种单元/电路/部件描述为执行一个或多个任务。此类描述应当被解释为包括短语“被配置为”。表述被配置为执行一个或多个任务的单元/电路/部件明确地旨在对该单元/电路/部件不调用35U.S.C.§112(f)的解释。在一个实施方案中，可通过以硬件描述语言(HDL)诸如Verilog或VHDL对电路的描述进行编码来实现根据本公开的硬件电路。可针对为给定集成电路制造技术设计的单元库来合成HDL描述，并可出于定时、功率和其他原因而被修改，以获得可被传输到工厂以生成掩模并最终产生集成电路的最终的设计数据库。一些硬件电路或其部分也可在示意图编辑器中被定制设计并与合成电路一起被捕获到集成电路设计中。该集成电路可包括晶体管并还可包括其他电路元件(例如，无源元件，诸如电容器、电阻器、电感器等)，以及晶体管和电路元件之间的互连件。一些实施方案可实现耦接在一起的多个集成电路，以实现硬件电路，和/或可在一些实施方案中使用离散元件。本公开的范围包括本文(明确或暗示)公开的任意特征或特征的组合或其任意概括，而无论其是否减轻本文解决的任何或所有问题。因此，在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地，参考所附权利要求书，可将从属权利要求的特征与独立权利要求的特征进行组合，并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。具体实施方式本说明书包括对“一个实施方案”或“实施方案”的参考。短语“在一个实施方案中”或“在实施方案中”的出现不一定是指相同的实施方案，尽管通常设想包括特征的任何组合的实施方案，除非在本文明确地否认。特定特征、结构或特性可以与本公开一致的任何合适的方式组合。图1示出了包括相机的设备的实施方案的表示。在某些实施方案中，设备100包括相机102、处理器104、存储器106和显示器108。设备100可为小型计算设备，在一些情况下，其可足够小以便手持(因此，还被统称为手持式计算机或被简称为手持式设备)。在某些实施方案中，设备100为各种类型的计算机系统设备中的任一种类型的计算机系统设备，其为移动的或便携的并且执行无线通信(例如，“移动设备”)。移动设备的示例包括移动电话或智能电话，以及平板电脑。如果各种其他类型的本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n使用位于设备上的相机来捕获图像，所述设备包括计算机处理器和存储器，其中所捕获的图像包括在利用位于所述设备上的照明器照明时捕获的图像；/n评估所捕获的图像以确定在所捕获的图像中是否存在面部；/n响应于确定在所捕获的图像中不存在面部，生成所捕获的图像的遮挡图，其中所述遮挡图包括在所捕获的图像的网格表示中的多个区域，所述遮挡图显示所述网格表示中的各个区域中的遮挡概率；/n使用所述遮挡图来评估所捕获的图像的遮挡分数；以及/n响应于所述遮挡分数高于选择的阈值，向所述用户提供所述设备被遮挡的通知。/n

【技术特征摘要】
20180928 US 62/738,160;20190823 US 16/549,0091.一种方法，包括：
使用位于设备上的相机来捕获图像，所述设备包括计算机处理器和存储器，其中所捕获的图像包括在利用位于所述设备上的照明器照明时捕获的图像；
评估所捕获的图像以确定在所捕获的图像中是否存在面部；
响应于确定在所捕获的图像中不存在面部，生成所捕获的图像的遮挡图，其中所述遮挡图包括在所捕获的图像的网格表示中的多个区域，所述遮挡图显示所述网格表示中的各个区域中的遮挡概率；
使用所述遮挡图来评估所捕获的图像的遮挡分数；以及
响应于所述遮挡分数高于选择的阈值，向所述用户提供所述设备被遮挡的通知。


2.根据权利要求1所述的方法，其中所述遮挡分数基于具有高于选择的值的遮挡概率的区域的数量除以所捕获的图像的所述网格表示中的区域的总数量来评估。


3.根据权利要求2所述的方法，其中所述选择的阈值包括所捕获的图像的所述网格表示中的区域的总数量的30％具有高于所述选择的值的遮挡概率。


4.根据权利要求1所述的方法，其中所述遮挡图包括所述网格表示中的各个区域的所述遮挡概率的热图。


5.根据权利要求1所述的方法，还包括使用在所述计算机处理器上工作的神经网络来确定所述网格表示中的各个区域的所述遮挡概率，其中所述神经网络已被训练以确定各个区域中的所述遮挡概率。


6.根据权利要求1所述的方法，其中给所述用户的所述通知包括以下的至少一个：所述设备的显示器上的通知和来自所述设备的所述设备被遮挡的可听通知。


7.根据权利要求1所述的方法，还包括使用所述相机捕获附加图像，并且在向所述用户提供所述通知之后评估所述附加图像以确定在所述附加图像中是否存在面部。


8.根据权利要求1所述的方法，还包括响应于所述遮挡分数低于所述选择的阈值，使用所述相机捕获附加图像以及评估所述附加图像以确定在所述附加图像中是否存在面部。


9.根据权利要求1所述的方法，其中评估所捕获的图像以确定在所捕获的图像中是否存在面部包括：
对所捕获的图像进行编码以针对所捕获的图像生成特征矢量；
评估所述特征矢量以在所捕获的图像中检测面部；以及
提供指示在所捕获的图像中存在或不存在面部的输出。


10.一种设备，包括：
相机；
至少一个照明器，所述至少一个照明器提供红外照明；
电路，所述电路耦接到所述相机和所述照明器，其中所述电路被配置为：
使用所述相机捕获图像，其中所捕获的图像包括在利用提供红外照明的所述照明器照明时捕获的图像；
评估所捕获的图像以确定在所捕获的图像中是否存在面部；
响应于确定在所捕获的图像中不存在面部，生成所捕获的图像的遮挡图，其中所述遮挡图包括在所捕获的图像的网格表示中的多个区域，所述遮挡图显示所述网格表示...

【专利技术属性】
技术研发人员：T·塔吉巴克什，J·珀克帕斯，汤锋，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US