使用眩光作为输入的注视确定制造技术

学习眩光的机器学习系统和方法，从而以对输入图像上的眩光影响更有弹性的方式确定注视方向。除了图像本身之外，机器学习系统还具有独立的眩光表示，例如，关于图像中眩光点位置的信息，作为显式输入。以这种方式，机器学习系统在确定注视方向时明确考虑眩光，从而为包含眩光的图像产生更准确的结果。含眩光的图像产生更准确的结果。含眩光的图像产生更准确的结果。

【技术实现步骤摘要】
【国外来华专利技术】使用眩光作为输入的注视确定
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月16日提交的第16/902,737号美国非临时专利申请的优先权，该申请要求于2019年12月16日提交的第62/948,793号美国临时专利申请的权益，其中每一项的公开都通过引用全部并入本申请。

技术介绍

[0003]本公开的实施例一般涉及机器学习系统。更具体地说，本公开的实施例涉及使用以眩光作为输入的机器学习系统执行的注视确定。

技术实现思路

[0004]最近，卷积神经网络(CNN)已经被开发来估计图像中表示的对象的注视方向。例如，此类CNN可以通过确定有关对象眼睛的某些特征，从对象的输入图像中推理出对象的注视方向。这使得使用此类CNN的系统能够自动确定对象正在看的方向，并实时做出相应的反应。
[0005]然而，传统的注视确定系统并非没有它们的缺点。当一只或两只眼睛被遮挡或在输入图像中无法清晰显示时，此类系统通常难以确定对象的注视方向。在存在眩光的情况下，传统的CNN系统通常特别难以确定注视方向。来自各种来源的光经常从眼睛、眼镜或其本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在存在眩光的情况下确定注视方向的方法，所述方法包括：使用并行处理电路确定图像中对象的注视方向，所述注视方向至少部分地根据一个或更多个机器学习模型的输出来确定，所述机器学习模型将所述图像中的眩光的孤立表示、所述对象的面部的至少一部分的一个或更多个表示，以及对应于所述对象的至少一只眼睛的所述图像的部分作为输入；和基于确定的注视方向启动操作。2.根据权利要求1所述的方法，还包括使用处理电路并基于所述图像生成所述眩光的表示、所述对象的面部的至少一部分的所述一个或更多个表示以及对应于所述对象的至少一只眼睛的所述图像的部分。3.如权利要求1所述的方法，其中，所述机器学习模型中的一个将所述眩光的孤立表示和所述对象的面部的至少一部分的表示二者作为输入。4.如权利要求1所述的方法，其中，所述机器学习模型中的一个将所述眩光的孤立表示作为输入，并且所述机器学习模型中的另一个将所述对象的面部的至少一部分的表示作为输入。5.如权利要求4所述的方法，其中，所述机器学习模型中的一个包括以所述眩光的孤立表示作为输入的全连接层。6.如权利要求1所述的方法，其中，使用对应于车辆的传感器设备获得的传感器数据来生成所述图像，其中，所述启动还包括基于所述确定的注视方向启动所述车辆的操作。7.如权利要求1所述的方法：其中，对应于所述对象的至少一只眼睛的所述图像的部分还包括对应于所述对象的第一只眼睛的所述图像的第一部分，以及对应于所述对象的第二只眼睛的所述图像的第二部分；和其中，所述一个或更多个机器学习模型包括将所述图像的所述第一部分作为输入的第一机器学习模型，以及将所述图像的所述第二部分作为输入的第二机器学习模型。8.如权利要求1所述的方法：其中，所述对象的面部的至少一部分的所述一个或更多个表示还包括所述对象的面部的第一表示和第二表示；和其中，所述一个或更多个机器学习模型包括将所述对象的面部的所述第一表示作为输入的第一机器学习模型，以及将所述对象的面部的所述第二表示作为输入的第二机器学习模型。9.如权利要求8所述的方法，其中，所述对象的面部的所述第一表示是所述对象的面部的掩码，并且，所述对象的面部的所述第二表示是所述对象的面部的面部网格。10.一种用于在存在眩光的情况下确定注视方向的系统，所述系统包括：存储器；和并行处理电路，其被配置为：确定图像中对象的注视方向，所述注视方向至少部分地根据一个或更多个机器学习模型的输出来确定，所述机器学习模型将所述图像中眩光的孤立表示、所述对象的面部的至少一部分的一个或更多个表示，以及对应于所述对象的至少一只眼睛的所述图像的部分作为输入；和
根据确定的注视方向启动操作。11.根据权利要求10所述的系统，其中，所述并行处理电路进一步被配置为生成所述眩光的表示、所述对象的面部的至少一部分的所述一个或更多个表示、以及对应于所述对象的所述至少一只眼睛的所述图像的部分、所述眩光的表示、所述对象的面部的至少一部分的所述一个或更多个表示、以及对应于所述对象的所述至少一...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：辉达公司，
类型：发明
国别省市：