使用一个或更多个神经网络的注视估计制造技术

本发明专利技术公开了使用一个或更多个神经网络的注视估计，具体提出了用于估计用户注视的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络用于确定一个或更多个用户的粗略注视估计和精细注视估计。略注视估计和精细注视估计。略注视估计和精细注视估计。

【技术实现步骤摘要】
使用一个或更多个神经网络的注视估计


[0001]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来训练神经网络的处理器或计算系统。

技术介绍

[0002]注视跟踪和估计正用于日益增长的各种应用，这些应用日益需要更高水平的准确度。遗憾的是，可能能够实现这些准确度水平的现有注视系统是非常资源密集的或具有使它们不适用于许多这些预期的用途的延迟。
附图说明
[0003]将参照附图描述根据本公开的各种实施例，在附图中：
[0004]图1示出了根据至少一个实施例的用于管理虚拟现实内容的呈现的系统；
[0005]图2示出了根据至少一个实施例的注视估计系统；
[0006]图3A和图3B示出了根据至少一个实施例的眼睛数据；
[0007]图4示出了根据至少一个实施例的用于估计用户的注视的过程；
[0008]图5示出了根据至少一个实施例的用于确定粗略注视和精细注视的过程；
[0009]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图7示出了根据至少一个实施例的示例数据中心系统；
[0012]图8示出了根据至少一个实施例的计算机系统；
[0013]图9示出了根据至少一个实施例的计算机系统；
[0014]图10示出了根据至少一个实施例的计算机系统；
[0015]图11示出了根据至少一个实施例的计算机系统；
[0016]图12A示出了根据至少一个实施例的计算机系统；
[0017]图12B示出了根据至少一个实施例的计算机系统；
[0018]图12C示出了根据至少一个实施例的计算机系统；
[0019]图12D示出了根据至少一个实施例的计算机系统；
[0020]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0021]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0022]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0023]图15A
‑
15B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0024]图16示出了根据至少一个实施例的计算机系统；
[0025]图17A示出了根据至少一个实施例的并行处理器；
[0026]图17B示出了根据至少一个实施例的分区单元；
[0027]图17C示出了根据至少一个实施例的处理集群；
[0028]图17D示出了根据至少一个实施例的图形多处理器；
[0029]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0030]图19示出了根据至少一个实施例的图形处理器；
[0031]图20示出了根据至少一个实施例的处理器的微架构；
[0032]图21示出了根据至少一个实施例的深度学习应用处理器；
[0033]图22示出了根据至少一个实施例的示例神经元形态处理器；
[0034]图23和图24示出了根据至少一个实施例的图形处理器的至少部分；
[0035]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0036]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少部分；
[0037]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0038]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0039]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0040]图30示出了根据至少一个实施例的流式多处理器；
[0041]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0042]图32是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；
[0043]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；以及
[0044]图33B是根据至少一个实施例的用于利用预先训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0045]在至少一个实施例中，用户102可以经由显示机制查看数字内容，如可以包括虚拟现实(VR)头盔内部的显示器106。在至少一个实施例中，可以使用诸如监视器、触摸屏、增强现实(AR)显示器或投影之类的替代显示机制来呈现这样的内容。在至少一个实施例中，对于VR内容，这个 VR头盔可以与独立的客户端设备110通信，独立的客户端设备110可以提供、传输或渲染要经由VR头盔104呈现的内容。在至少一个实施例中， VR头盔104可包括提供用于用户102的头部的移动的数据的一个或更多个取向(orientation)传感器，该数据可用于控制经由头盔104呈现的内容的视点(POV)，以便为用户102提供逼真的和沉浸式的体验。在至少一个实施例中，在客户端设备110上执行的VR应用112可以从头盔104接受取向数据，并且使用该信息来渲染要经由头盔104呈现的VR内容。在至少一个实施例中，客户端设备110可以与至少一个内容服务器130接触，所述至少一个内容服务器130可以通过至少一个网络120(诸如有线或无线通信网络)流式传输或以其他方式传输内容，以用于渲染或呈现此VR 内容。在至少一个实施例中，内容服务器130上的传输管理器132可以负责通过适当的网络连接(例如互联网或蜂窝连接)以适当格式和信道(例如以流视频格式)传输内容。在至少一个实施例中，要显示的VR内容可以在内容服务器130上渲染，如可以与从头盔104接收的取向数据相关，并且通过网络120传输至客户端设备110并且最终传输至VR头盔104。
[0046]在至少一个实施例中，VR头盔104可包括一个或更多个相机，诸如眼睛跟踪相机108，其可捕获用户的一只眼睛或两只眼睛的图像。在至少一个实施例中，VR头盔104可以包
括注视跟踪子系统，其包括被配置为捕获佩戴头盔104的用户的一只或两只眼睛的图像的一个或更多个相机。在至少一个实施例中，客户端设备110上的注视跟踪模块114的一个或更多个神经网络可以用于确定个体图像或视频帧的注视信息以及每个指示的置信度。在至少一个实施例中，注视跟踪模块114可以替代地从头盔104 收集与注视相关的信息，并且将该信息转发到内容管理器116组件或模块，该内容管理器组件或模块可以将与注视相关的数据与所呈现的内容的帧的对应图像相关。在至少一个实施例中，该信息可被发送到内容服务器130，内容服务器130也可执行包括内容管理器140组件的内容应用134。在至少一个实施例中，内容管理器140可以接收与注视相关的数据并且将该数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络来确定一个或更多个用户的粗略注视和所述一个或更多个用户的精细注视。2.根据权利要求1所述的处理器，其中所述一个或更多个神经网络包括第一神经网络，用于从所述一个或更多个用户的一只或更多只眼睛的一个或更多个图像来确定粗略瞳孔估计。3.根据权利要求2所述的处理器，其中所述一个或更多个神经网络还包括第二神经网络，用于使用从所述粗略瞳孔估计确定的所述一个或更多个图像的一个或更多个瞳孔区域来确定精细瞳孔估计。4.根据权利要求2所述的处理器，其中所述第一神经网络和所述第二神经网络使用相同的基于卷积神经网络CNN的架构，但是具有不同的网络参数。5.根据权利要求2所述的处理器，其中所述一个或更多个电路还用于：在确定所述粗略瞳孔估计之前，确定所述一只或更多只眼睛的所述一个或更多个图像与所述一只或更多只眼睛的一个或更多个先前图像相差是否大于阈值量，其中如果确定的差值小于所述阈值量，则能够重新使用先前的粗略瞳孔估计。6.根据权利要求2所述的处理器，其中所述一个或更多个图像包括用于所述一个或更多个用户中的一个用户的双眼的分开的图像，并且其中所述一个或更多个电路进一步用于：将那些分开的图像连接成具有在所述眼睛的表示之间的填充的连接图像，然后将所述连接图像作为输入提供给所述第一神经网络。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络来确定一个或更多个用户的粗略注视和所述一个或更多个用户的精细注视。8.根据权利要求7所述的系统，其中所述一个或更多个神经网络包括第一神经网络，用于从所述一个或更多个用户的一只或更多只眼睛的一个或更多个图像来确定粗略瞳孔估计。9.根据权利要求8所述的系统，其中所述一个或更多个神经网络还包括第二神经网络，用于使用从所述粗略瞳孔估计确定的所述一个或更多个图像的一个或更多个瞳孔区域来确定精细瞳孔估计。10.根据权利要求8所述的系统，其中所述第一神经网络和所述第二神经网络使用相同的基于卷积神经网络CNN的架构，但是具有不同的网络参数。11.根据权利要求8所述的系统，其中所述一个或更多个处理器还用于：在确定所述粗略瞳孔估计之前，确定所述一只或更多只眼睛的所述一个或更多个图像与所述一只或更多只眼睛的一个或更多个先前图像相差是否大于阈值量，其中如果确定的差值小于所述阈值量，则能够重新使用先前的粗略瞳孔估计。12.根据权利要求8所述的系统，其中所述一个或更多个图像包括用于所述一个或更多个用户中的一个用户的双眼的分开的图像，并且其中所述一个或更多个电路进一步用于：将那些分开的图像连接成具有在所述眼睛的表示之间的填充的连接图像，然后将所述连接图像作为输入提供给所述第一神经网络。13.一种方法，包括：
使用一个或更多个神经网络来确定一个或更多个用户的粗略注视和所述一个或更多个用户的精细注视。14.根据权利要求13所述的方法，其中所述一个或更多个神经网络包括第一神经网络，用于从所述一个或更多个用户的一只或更多只眼睛的一个或更多个图像来确定粗略瞳孔估计。15.根据权利要求14所述的方法，其中所述一个或更多个神经网络还包括第二神经网络，用于使用从所述粗略瞳孔估计确定的所述一个或更多个图像的一个或更多个瞳孔区域来确定精细瞳孔估计。16.根据权利要求14所述的方法，其中所述第一神经网络和所述第二神经网络使用相同的基于卷积神经网络CNN的架构，但是具有不同的网络参数。17.根据权利要求14所述的方法，还包括：在确定所述粗略瞳孔估计之前，确定所述一只或更多只眼睛的所述一个或...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：辉达公司，
类型：发明
国别省市：