使用单一网络的面部检测、姿态估计和距相机距离的估计制造技术

本发明专利技术题为“使用单一网络的面部检测、姿态估计和距相机距离的估计”。单个网络对使用设备上的相机所捕获的图像进行编码和解码。该单个网络检测图像中是否有面部。如果在图像中检测到面部，该单个网络确定图像中面部的属性并与面部检测输出一起输出属性。通过共享用于面部检测的任务来确定面部的属性。与面部检测输出一起输出的面部属性包括面部的位置、面部的姿态和面部距离相机的距离。

【技术实现步骤摘要】
使用单一网络的面部检测、姿态估计和距相机距离的估计
本文所述的实施方案涉及用于在设备上的相机所捕获的图像中进行面部检测的方法和系统。更具体地讲，本文所述的实施方案涉及在所捕获的图像中检测面部时使用神经网络。
技术介绍
通常可以使用面部识别过程来识别图像中的个人。可以使用面部检测来检测图像中的面部，以用于面部识别过程。除了面部检测之外，通常还估计头部姿态。用于既实现面部检测又实现姿态估计的传统方式是识别(检测)面部并在面部周围放置边界框，在识别边界框之后，对边界框中的面部进行操作以确定姿态估计。
技术实现思路
使用设备(例如，移动设备或计算机系统)上的单个网络对使用设备上的相机所捕获的图像进行编码和解码。该网络可以评估图像中是否有面部，如果检测到面部，评估面部的位置、面部的姿态和面部距离相机的距离。该相机捕获利用泛光红外照明或光斑(点)图案红外照明来照明的用户的红外图像。该单个网络可以包括用于生成特征空间中图像的特征矢量的编码器模块以及用于对特征矢量解码(分类)以确定在任何区域中是否检测到面部并评估所检测面部的额外属性的解码器模块。附图说明当与附图结合时，参考根据本公开中描述的实施方案的目前优选的但仅为例示的实施方案的以下详细描述，将更充分地理解本公开中描述的实施方案的方法与装置的特征和优点，在附图中：图1示出了包括相机的设备的实施方案的表示。图2示出了相机的实施方案的表示。图3示出了设备上的处理器的实施方案的表示。图4示出了神经网络模块的实施方案的表示。图5示出了用于神经网络模块的培训过程的实施方案的流程图。图6示出了具有神经网络模块的处理器的实施方案的表示。图7示出了具有区域的特征空间的实施方案的示例。图8示出了用于神经网络模块的测试过程的实施方案的流程图。图9示出了在设备上使用神经网络模块实施的面部检测过程的实施方案的流程图。图10示出了距离测量调节过程的实施方案的流程图。图11示出了从登记期间所捕获的泛光IR照明图像确定的距离(y轴)和从登记期间所捕获的对应深度图图像确定的距离(x轴)的示例。图12示出了从登记期间所捕获的泛光IR照明图像确定的距离(y轴)和从登记期间所捕获的对应深度图图像确定的距离(x轴)的示例，其中可能不希望有校准方程。图13示出了示例性计算机系统的一个实施方案的框图。图14示出了计算机可访问存储介质的一个实施方案的框图。尽管本公开所述的实施方案可受各种修改形式和替代形式的影响，但其具体实施方案在附图中以举例的方式示出并将在本文中详细描述。然而，应当理解，附图和对其的详细描述并非旨在将实施方案限制于所公开的具体形式，相反，本专利技术旨在涵盖落入到所附权利要求书的实质和范围内的所有修改形式、等价形式和替代形式。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书的范围。如在整个本申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用“可能”一词。类似地，字词“包括”是指包括但不限于。各种单元、电路或其他部件可被描述为“被配置为”执行一个或多个任务。在此类上下文中，“被配置为”是一般表示“具有”在操作期间执行一个或多个任务的“电路”的结构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为执行任务。一般来讲，形成与“被配置为”对应的结构的电路可包括硬件电路和/或存储可执行以实现该操作的程序指令的存储器。存储器可以包括易失性存储器，诸如静态或动态随机存取存储器和/或非易失性存储器，诸如光盘或磁盘存储装置、闪存存储器、可编程只读存储器等。硬件电路可以包括组合式逻辑电路、时钟存储设备(诸如软盘、触发器、锁存器等)、有限状态机、诸如静态随机存取存储器或嵌入式动态随机存取存储器的存储器、定制设计电路、可编程逻辑阵列等的任意组合。类似地，为了描述方便，可以将各种单元/电路/部件描述为用于执行一个或多个任务任务。此类描述应当被解释为包括短语“被配置为”。表述被配置为执行一个或多个任务的单元/电路/部件明确地旨在对该单元/电路/部件不调用35U.S.C.§112(f)的解释。在一个实施方案中，可以通过用诸如Verilog或VHDL的硬件描述语言(HDL)编码电路描述来实现根据本公开的硬件电路。可以针对给定集成电路制造技术设计的单元库合成HDL描述，并可以出于定时、功率和其他原因修改，以获得最终的设计数据库，可以将最终的设计数据库传输到工厂以生成掩模并最终生产集成电路。一些硬件电路或其部分也可以在示意图编辑器中定制设计并与合成电路一起被捕获到集成电路设计中。集成电路可以包括晶体管并还可以包括其他电路元件(例如，诸如电容器、电阻器、电感器等无源元件)以及晶体管和电路元件之间的互连。一些实施方案可以实现耦接在一起的多个集成电路，以实现硬件电路，和/或可以在一些实施方案中使用离散元件。本公开的范围包括本文(明确或暗示)公开的任意特征或特征组合，或其任意推广，无论其是否减轻了本文解决的任何或所有问题。因此，在本申请(或要求享有其优先权的申请)进行期间可以针对特征的任何此类组合做出新的权利要求。具体地讲，参考所附权利要求书，可以将从属权利要求的特征与独立权利要求的特征组合，并可以通过任何适当方式而不是仅仅通过所附权利要求书中列举的特定组合来组合来自相应独立权利要求的特征。具体实施方式本说明书包括参考“一个实施方案”(“oneembodiment”)或“实施方案”(“anembodiment”)。短语“在一个实施方案中”或“在实施方案中”的出现不一定指相同的实施方案，尽管通常设想包括特征的任何组合的实施方案，除非在本文明确地否认。特定特征、结构或特性可以与本公开一致的任何适当的方式结合。本公开还设想负责此类个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地讲，此类实体应当实施并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，在使用面部识别解锁和/或授权设备的情况下，来自用户的个人信息应被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。另外，此类收集应仅在用户知情同意之后进行。此外，此类实体应采取任何所需的步骤，用于保障和保护对此类个人信息数据的访问，并且确保有权访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本专利技术的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。图1示出了包括相机的设备的实施方案的表示。在某些实施方案中，设备100包括相机102、处理器104、存储器106和显示器108。设备100可以是小型计算设备，在一些情况下，其可以足够小以便手持(因此，还通称为手持计算机或简称为手持设备)。在某些实施方案中，设备100是各种类型的计算机系统设备的任一种，为移动或便携的，且使用WLAN通信执行无线通信(例如，“移动设备”)。移动设备的本文档来自技高网...

【技术保护点】
1.一种方法，包括：使用位于设备上的相机捕获至少一个图像，所述设备包括计算机处理器和存储器，其中所述至少一个图像包括在利用位于所述设备上的照明器对所述图像中的被摄体照明的同时所捕获的图像；使用位于所述设备上的编码器模块对所述至少一个图像进行编码，以生成在特征空间中定义所述图像中的被摄体的特征的特征矢量，所述特征空间包括多个区域，其中每个特征矢量定义所述特征空间中的一个区域的特征；使用所述计算机处理器评估所述特征空间中的每个区域的所生成的特征矢量，以确定所述区域中是否存在面部；其中如果确定所述面部在所述区域中，评估所述区域中的所述面部的一个或多个属性，所述属性中的至少一个是所述区域中的所述面部距所述相机的距离；以及如果所述区域中存在所述面部，从所述计算机处理器提供输出，所述输出包括所述区域中存在所述面部的指示以及所述区域中的所述面部距所述相机的所评估的距离。

【技术特征摘要】
2017.08.01 US 62/539,736;2017.09.09 US 62/556,398;1.一种方法，包括：使用位于设备上的相机捕获至少一个图像，所述设备包括计算机处理器和存储器，其中所述至少一个图像包括在利用位于所述设备上的照明器对所述图像中的被摄体照明的同时所捕获的图像；使用位于所述设备上的编码器模块对所述至少一个图像进行编码，以生成在特征空间中定义所述图像中的被摄体的特征的特征矢量，所述特征空间包括多个区域，其中每个特征矢量定义所述特征空间中的一个区域的特征；使用所述计算机处理器评估所述特征空间中的每个区域的所生成的特征矢量，以确定所述区域中是否存在面部；其中如果确定所述面部在所述区域中，评估所述区域中的所述面部的一个或多个属性，所述属性中的至少一个是所述区域中的所述面部距所述相机的距离；以及如果所述区域中存在所述面部，从所述计算机处理器提供输出，所述输出包括所述区域中存在所述面部的指示以及所述区域中的所述面部距所述相机的所评估的距离。2.根据权利要求1所述的方法，其中所述编码器模块包括多尺度卷积神经网络模块。3.根据权利要求1所述的方法，其中评估所生成的特征矢量包括使用位于所述设备上的解码器模块对所述特征空间中的每个区域的所生成的特征矢量进行解码。4.根据权利要求1所述的方法，其中所述面部的所述姿态包括所述面部的俯仰、偏转和翻滚。5.根据权利要求1所述的方法，其中所述区域中的所述面部的所评估的属性中的至少一个包括所述面部相对于所述区域的中心的位置，并且其中如果所述面部存在于所述区域中则来自所述计算机处理器的输出包括所述面部相对于所述区域的所述中心的所评估的位置。6.根据权利要求1所述的方法，其中所述区域中的所述面部的所评估的属性中的至少一个包括所述区域中的所述面部的姿态，并且其中如果所述面部存在于所述区域中则来自所述计算机处理器的输出包括所述区域中的所述面部的所评估的姿态。7.根据权利要求1所述的方法，其中评估所生成的特征矢量包括对所述特征矢量分类。8.根据权利要求1所述的方法，其中评估所生成的特征矢量包括使用在培训过程期间确定的分类参数对所述特征矢量分类。9.根据权利要求1所述的方法，其中如果在超过一个区域中检测到所述面部，评估所生成的特征矢量包括：针对包括检测到的面部的所述区域评估置信度值；针对所述区域对所述置信度值排序；以及选择具有最高置信度的所述区域以从所述解码器模块提供所述输出。10.根据权利要求1所述的方法，还包括使用校准方程调节所述区域中的所述面部距所述相机的所述距离，所述校准方程是从登记过程期间针对所述设备的授权用户收集的深度图图像数据中确定的。11.根据权利要求10所述的方法，其中所述校准方程是通过以下动作确定的：使用位于设备上的相机捕获第一图像，其中所述第一图像包括在利用位于所述设备上的第一照明器对所述图像中的被摄体照明的同时所捕获的图像；使用所述计算...

【专利技术属性】
技术研发人员：A·库马尔，I·R·法赛尔，T·戈尔诺斯，过海涛，O·C·哈姆斯茜，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US