生物特征任务网络制造技术

本公开提供了“生物特征任务网络”。选定生物特征分析任务在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络、多个任务特定的神经网络、分割神经网络、特征点网格神经网络、多个软目标分割神经网络和多个专家池化神经网络，其通过将所述图像输入到所述共同特征提取网络以确定潜在变量来执行所述多个生物特征分析任务。可以将所述潜在变量输入到所述多个生物特征任务特定的神经网络，以确定多个第一生物特征分析任务输出。所述潜在变量可以被输入到特征点网格神经网络以确定特征点网格。所述特征点网格和所述第一生物特征任务输出被输入到多个专家池化神经网络以确定多个第二生物特征任务输出。定多个第二生物特征任务输出。定多个第二生物特征任务输出。

【技术实现步骤摘要】
生物特征任务网络
[0001]相关申请的交叉引用
[0002]本专利申请要求于2022年2月15日提交的美国临时专利申请号63/310,401的优先权，所述申请据此通过引用的方式整体并入本文。


[0003]本公开涉及车辆中的生物特征任务网络。

技术介绍

[0004]图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个图像传感器获取图像，所述图像可以被处理以确定关于对象的数据。计算机可以使用从对象的图像中提取的数据来操作系统，包括车辆、机器人、安全和对象跟踪系统。

技术实现思路

[0005]可以在计算机中实施生物特征分析以确定关于系统或机器(诸如车辆)中或周围的对象(例如，潜在用户)的数据。基于从生物特征分析确定的数据，例如可以操作车辆。本文的生物特征分析意指基于用户的身体特性来测量关于用户的数据或者基于测量来确定所述数据。例如，车辆或交通基础设施系统中的计算装置可以被编程为从包括在车辆或交通基础设施系统中的一个或多个传感器获取一个或多个图像，并且基于根据图像确定的生物特征数据授予用户操作车辆的许可。这种许可的授予在本文中被称为生物特征识别。生物特征识别意指基于分析生物特征数据来确定潜在用户的身份。可以记录所确定的用户身份以跟踪哪个用户正在访问车辆，或者在向用户授予操作车辆或系统的许可之前将所述用户身份与授权用户列表进行比较以认证用户。除了生物特征识别指纹，生物特征分析还可以包括确定一个或多个身体特性，诸如用户困倦、注视方向、用户姿态、用户活体等。除了车辆之外，生物特征分析任务还可以在各种其他机器或系统中实施。例如，计算机系统、机器人系统、制造系统和安全系统可能要求在授予对系统或安全区域的访问权限之前使用所获取的图像来识别潜在用户。
[0006]有利地，本文描述的技术可以增强交通基础设施系统中的计算装置基于识别面部生物特征算法(诸如面部特征识别)包括跨不同应用的冗余任务来执行生物特征分析的能力。此外，一些面部生物特征算法具有稀疏或有限的训练数据集。本文描述的技术包括多任务网络，所述多任务网络包括共同特征识别神经网络和多个生物特征分析任务神经网络。深度神经网络被配置为包括作为“主干”的共同特征提取神经网络和多个生物特征分析任务神经网络，所述多个生物特征分析任务神经网络接收由共同特征提取神经网络生成的一组共同潜在变量作为输入。深度神经网络包括多个专家池化深度神经网络，所述多个专家池化深度神经网络通过在多个生物特征分析任务之间共享结果来增强对深度神经网络的
训练。
[0007]在神经网络中执行生物特征分析任务可以受益于关于面部特征点的数据。面部特征点是用户面部的图像上的关键位置。左眼和右眼的内角和外角、嘴唇的左角和右角、鼻子的最宽点与脸颊接合的位置以及左眉毛和右眉毛的内角和外角都是面部特征点的示例。可以基于指示面部特征的位置的软目标估计的特征点来构建多边形。面部特征的位置的软目标估计可以作为调节值输入到分割神经网络和生物特征分析任务神经网络。输入软目标估计值可以通过减少深度神经网络的输出的处理运行次数以收敛于正确结果来训练分割神经网络和生物特征分析任务神经网络。通过提高由深度神经网络输出的预测的准确性同时减少达到预测所需的计算机操作的数量，输入软目标估计可以在推断时间操作分割神经网络和生物特征分析任务神经网络。
[0008]本文公开了一种方法，所述方法包括基于从图像传感器提供的图像来提供来自作为多个生物特征分析任务中的一者的选定生物特征分析任务的输出，其中所述选定生物特征分析任务在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络、多个生物特征任务特定的神经网络、分割神经网络、特征点网格神经网络、多个软目标分割神经网络和多个专家池化神经网络，其通过将所述图像输入到所述共同特征提取网络以确定潜在变量来执行所述多个生物特征分析任务。可以将所述潜在变量输入到所述多个生物特征任务特定的神经网络，以确定多个第一生物特征分析任务输出。所述潜在变量可以被输入到特征点网格神经网络以确定特征点网格，并且所述特征点网格和所述第一生物特征任务输出可以被输入到多个专家池化神经网络以确定多个第二生物特征任务输出。可以通过以下操作来执行所述多个生物特征任务：将所述潜在变量输入到所述分割神经网络以确定第一估计分割图、将所述特征点网格输入到所述多个软目标分割神经网络以确定多个软目标估计并将所述第一估计分割图和所述多个软目标估计输入到专家池化神经网络以确定分割预测。
[0009]可以将来自所述特征点网格神经网络的输出存储在存储器中并处理所述输出以确定关于一个或多个图像片段的时间数据。可以根据所述选定生物特征分析任务基于来自所述深度神经网络的所述输出来操作装置。所述生物特征分析任务可以包括生物特征识别、活体和面部分割。所述共同特征提取神经网络可以包括多个卷积层。所述多个任务特定的神经网络可以包括多个全连接层。所述分割神经网络、所述特征点网格神经网络和所述多个专家池化神经网络可以包括多个全连接层。来自所述多个任务特定的神经网络的输出可以在与来自所述共同特征提取神经网络的输出组合之前输入到Softmax函数。可以使用专家池将来自所述共同特征提取神经网络的输出与所述软目标估计组合。可以通过以下操作来训练所述深度神经网络：基于所述多个第二生物特征任务输出确定一个或多个第一损失函数、组合所述第一损失函数以确定联合损失函数并通过所述深度神经网络反向传播所述一个或多个第一损失函数和所述联合损失。来自所述专家池的输出可以在被组合以确定所述第一损失函数之前被输入到Softmax函数。在训练期间，可以将来自所述多个任务特定的神经网络的一个或多个输出设置为零。可以基于根据稀疏分类交叉熵统计确定的损失函数来训练所述深度神经网络。
[0010]还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种被编程用于执行上述一些或所有方法步骤的计
算机，所述计算机包括计算机设备，所述计算机设备被编程为基于从图像传感器提供的图像来提供来自作为多个生物特征分析任务中的一者的选定生物特征分析任务的输出，其中所述选定生物特征分析任务在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络、多个生物特征任务特定的神经网络、分割神经网络、特征点网格神经网络、多个软目标分割神经网络和多个专家池化神经网络，其通过将所述图像输入到所述共同特征提取网络以确定潜在变量来执行所述多个生物特征分析任务。可以将所述潜在变量输入到所述多个生物特征任务特定的神经网络，以确定多个第一生物特征分析任务输出。所述潜在变量可以被输入到特征点网格神经网络以确定特征点网格，并且所述特征点网格和所述第一生物特征任务输出可以被输入到多个专家池化神经网络以确定多个第二生物特征任务输出。可以通过以下操作来执行所述多个生物特征任务：将所述潜在变量输入到所述分割神经网络以确定第一估计分割图、将所述特征点网格输入到所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，其包括：基于从图像传感器提供的图像来提供来自作为多个生物特征分析任务中的一者的选定生物特征分析任务的输出；其中所述选定生物特征分析任务在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络、多个生物特征任务特定的神经网络、分割神经网络、特征点网格神经网络、多个软目标分割神经网络和多个专家池化神经网络，其通过以下操作执行所述多个生物特征分析任务：将所述图像输入到所述共同特征提取网络以确定潜在变量；将所述潜在变量输入到所述多个生物特征任务特定的神经网络，以确定多个第一生物特征分析任务输出；将所述潜在变量输入到特征点网格神经网络以确定特征点网格；以及将所述特征点网格和所述第一生物特征任务输出输入到多个专家池化神经网络以确定多个第二生物特征任务输出。2.如权利要求1所述的方法，其还包括通过以下操作来执行所述多个生物特征任务：将所述潜在变量输入到所述分割神经网络以确定第一估计分割图；将所述特征点网格输入到所述多个软目标分割神经网络以确定多个软目标估计；以及将所述第一估计分割图和所述多个软目标估计输入到专家池化神经网络以确定分割预测。3.如权利要求1所述的方法，其中将来自所述特征点网格神经网络的所述输出存储在存储器中并处理所述输出以确定关于一个或多个图像片段的时间数据。4.如权利要求1所述的方法，其还包括一种装置，其中根据所述选定生物特征分析任务基于来自所述深度神经网络的所述输出来操作所述装置。5.如权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：阿里，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：