使用编码器-解码器模型的图像中的对象观察跟踪制造技术

一种方法，包括在训练阶段中，训练注视预测模型，该注视预测模型包括第一模型和第二模型，第一模型和第二模型结合地被配置为基于训练数据来预测分割数据，将第三模型与第一模型和第二模型一起训练，该第三模型被配置为使用基于训练数据的第一模型的输出来预测训练特性，并且在操作阶段中，接收操作数据并且使用训练的第一模型和训练的第三模型来预测操作特性。

【技术实现步骤摘要】
【国外来华专利技术】

实施例涉及确定增强现实设备的用户正在看哪里，以便跟踪用户的注视或眼睛。

技术介绍

1、使用卷积网络的机器学习技术可用于增强现实(ar)应用中的注视(例如，眼睛方向)预测和跟踪。卷积网络可以连续应用多个卷积层和池化层。从(nxn)高分辨率图像开始，卷积网络可以产生维度为n/m x n/m x f的空间池化的特征图，其中f是特征通道的数量。

技术实现思路

1、实现方式涉及使用机器学习模型(例如，编码器-解码器模型、卷积神经网络(cnn)、线性网络和/或类似物)来跟踪图像中的对象观察(例如，注视跟踪)。这些机器学习模型还可用于预测数据的特性，其中模型在第一配置中训练并在第二配置中使用。

2、一般而言，设备、系统、非瞬态计算机可读介质(在其上存储了可在计算机系统上执行的计算机可执行程序代码)和/或方法可以执行具有方法的过程，该方法包括：在训练阶段中，训练包括第一模型和第二模型的注视预测模型，第一模型和第二模型结合地被配置为基于训练数据来预测分割数据，与第一模型和第二模型一起训练第三模型，第三模型被配置为使本文档来自技高网...

【技术保护点】

1.一种方法，包括：

2.根据权利要求1所述的方法，其中

3.根据权利要求1或2所述的方法，其中

4.根据权利要求1至3中的任一项所述的方法，其中，所述注视预测模型的训练包括：

5.根据权利要求1至4中的任一项所述的方法，其中，所述注视预测模型的训练包括：

6.根据权利要求1至5中的任一项所述的方法，其中，所述操作特性的预测包括：

7.根据权利要求1至6中的任一项所述的方法，其中

8.根据权利要求1至7中的任一项所述的方法，其中

9.根据权利要求1至8中的任一项所述的方法，其中，所述注视预测模...

【技术特征摘要】
【国外来华专利技术】

1.一种方法，包括：

2.根据权利要求1所述的方法，其中

3.根据权利要求1或2所述的方法，其中

4.根据权利要求1至3中的任一项所述的方法，其中，所述注视预测模型的训练包括：

5.根据权利要求1至4中的任一项所述的方法，其中，所述注视预测模型的训练包括：

6.根据权利要求1至5中的任一项所述的方法，其中，所述操作特性的预测包括：

7.根据权利要求1至6中的任一项所述的方法，其中

8.根据权利要求1至7中的任一项所述的方法，其中

9.根据权利要求1至8中的任一项所述的方法，其中，所述注视预测模型的训练包括改变与所述第一模型、所述第二模型和所述第三模型中的至少一个相关联的以下中的至少一个：参数、特征和特征的特性。

10.根据权利要求1至9中的任一项所述的方法，还包括：

11.一种方法，包括：

12.根据权利要求11所述的方法，其中

【专利技术属性】
技术研发人员：奥努尔·G·居莱尔于兹，肖恩·瑞安·弗朗切斯科·法内洛，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：