用于注视跟踪的来自屏幕内容的隐式校准制造技术

本技术涉及用于注视跟踪的隐式校准的方法和系统。这可以包括由神经网络模块接收与显示屏上的呈现相关联的显示内容(1202)。神经网络模块还可以接收未校准的注视信息，其中，未校准的注视信息包括与显示屏上的显示内容的观看者注视相关联的未校准的注视轨迹(1204)。由神经网络模块将所选择的函数应用于未校准的注视信息和显示内容，以生成用户特定的注视函数(1206)。用户特定的注视函数具有一个或多个个性化参数。并且神经网络模块然后可以将用户特定的注视函数应用于未校准的注视信息，以生成与显示屏上的显示内容相关联的校准的注视信息(1208)。可替代地，可以为隐式注视校准创建训练和测试信息(1000)。

【技术实现步骤摘要】
【国外来华专利技术】

技术介绍

1、注视跟踪可以用于确定用户当前在他或她的设备的显示屏上正在看什么。该信息可以用作交互式用户界面的一部分，例如以选择在显示屏上呈现的内容。然而，用户实际正在看的内容可能不是注视跟踪系统确定用户正在看的内容。未校准的系统可以使用设备特定的信息来辅助注视跟踪。过去，注视预测系统已经使用显式方法来校准特定个体。利用研究级眼睛跟踪器的这种个性化训练可能是时间和资源密集的，涉及针对特定个体评估的多个训练场景。这些方法可能不是有益的或最佳的，例如，取决于设备的类型和用户约束。

技术实现思路

1、本技术涉及用于注视跟踪的隐式校准的方法和系统。换句话说，在不向用户呈现显式校准步骤的情况下执行注视跟踪的校准。时空信息(屏幕内容)例如根据在空间域中跟踪眼睛的模型被动地呈现在显示屏上。端到端模型采用屏幕上的兴趣点的显著性图(热图)。正在显示的内容(例如，屏幕截图或正在显示屏幕上显示的内容的任何其他合适的表示)和未校准的注视信息被应用于模型以获得个性化的函数。这可以涉及例如使用神经网络来评估给定屏幕截图的整个注视轨迹。作本文档来自技高网...

【技术保护点】

1.一种执行用于注视跟踪的隐式注视校准的计算机实现的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述所选择的函数是线性函数或多项式函数。

3.根据权利要求1所述的方法，其中，所述未校准的注视信息还包括关于何时收集显示内容的时间戳信息。

4.根据权利要求1所述的方法，其中，所述未校准的注视信息还包括屏幕取向信息、相机焦距、纵横比或分辨率信息中的至少一个。

5.根据权利要求1所述的方法，其中，所述用户特定的注视函数的一个或多个个性化参数是根据收集的数据来估计的。

6.根据权利要求1所述的方法，其中，将所述所选择的函数应...

【技术特征摘要】
【国外来华专利技术】

1.一种执行用于注视跟踪的隐式注视校准的计算机实现的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述所选择的函数是线性函数或多项式函数。

3.根据权利要求1所述的方法，其中，所述未校准的注视信息还包括关于何时收集显示内容的时间戳信息。

4.根据权利要求1所述的方法，其中，所述未校准的注视信息还包括屏幕取向信息、相机焦距、纵横比或分辨率信息中的至少一个。

5.根据权利要求1所述的方法，其中，所述用户特定的注视函数的一个或多个个性化参数是根据收集的数据来估计的。

6.根据权利要求1所述的方法，其中，将所述所选择的函数应用于未校准的注视信息和显示内容以生成用户特定的注视函数包括：

7.根据权利要求6所述的方法，其中，所述时间信息包含与沿着显示屏的注视相关联的所选择的时间间隔。

8.根据权利要求7所述的方法，其中，所述时间信息是通过查看注视测量的整个序列和与整个序列相关联的屏幕内容像素来编码的。

9.根据权利要求6所述的方法，其中，将所述上下文向量应用于未校准的注视信息包括将上下文向量与来自未校准的注视信息的数据阵列相乘。

10.根据权利要求6所述的方法，其中，将所述上下文向量应用于未校准的注视信息包括使用神经网络的多个完全连接的层来应用未校准的注视信息和上下文向量。

11.根据权利要求1所述的方法，其中，所述显示内容包括合成内容。

12.根据权利要求11所述的方法，其中，所述合成内容包括合成文本或合成图形信息中的至少一个。<...

【专利技术属性】
技术研发人员：D·拉贡，G·普拉萨德，P·菲鲁兹法姆，J·皮，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：