使用离轴相机的眼睛跟踪和注视估计制造技术

公开了与计算可穿戴设备的用户的注视向量有关的技术。可以通过第一和第二训练步骤来训练神经网络。神经网络可包括特征编码层集合和多个任务特定层集合，每个任务特定层集合对特征编码层集合的输出进行操作。在第一训练步骤期间，第一眼睛的第一图像可被提供给神经网络，可以使用神经网络来生成眼睛分割数据，并且可以训练特征编码层集合。在第二训练步骤期间，第二眼睛的第二图像被提供给神经网络，可以使用神经网络生成网络输出数据，并且可以训练多个任务特定层集合。练多个任务特定层集合。练多个任务特定层集合。

【技术实现步骤摘要】
【国外来华专利技术】使用离轴相机的眼睛跟踪和注视估计
[0001]相关申请的交叉引用
[0002]本申请要求2019年8月19日提交的题为“EYENET:A MULTI
‑
TASK DEEP NETWORK FOR OFF
‑
AXIS EYE GAZE ESTIMATION AND SEMANTIC USER UNDERSTANDING(眼网：用于离轴眼睛注视估计和语义用户理解的多任务深度网络)”的美国临时申请No.62/888,953、2019年10月25日提交的题为“METHOD AND SYSTEM FOR PERFORMING EYE TRACKING USING AN OFF
‑
AXIS CAMERA(用于使用离轴相机执行眼睛跟踪的方法和系统)”的美国临时申请No.62/926,241以及2019年11月14日提交的题为“METHOD AND SYSTEM FOR PERFORMING EYE TRACKING USING AN OFF
‑
AXIS CAMERA(用于使用离轴相机执行眼睛跟踪的方法和系统)”的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种训练神经网络的方法，所述神经网络具有特征编码层集合和多个任务特定层集合，所述方法包括：执行第一训练步骤，包括：使用所述神经网络，基于第一眼睛的第一图像生成眼睛分割数据，其中，所述眼睛分割数据包括将所述第一眼睛分割成多个区域；以及使用所述眼睛分割数据，训练所述特征编码层集合；以及执行第二训练步骤，包括：使用所述特征编码层集合和所述多个任务特定层集合中的每一个任务特定层集合，基于第二眼睛的第二图像生成网络输出数据；以及使用所述网络输出数据，训练所述多个任务特定层集合。2.根据权利要求1所述的方法，其中，所述多个任务特定层集合中的每一个对所述特征编码层集合的输出进行操作。3.根据权利要求1所述的方法，其中，执行所述第一训练步骤还包括：将所述第一图像提供给所述神经网络，以及其中，执行所述第二训练步骤还包括：将所述第二图像提供给所述神经网络。4.根据权利要求1所述的方法，其中，在第一持续时间期间执行所述第一训练步骤，以及在所述第一持续时间之后的第二持续时间期间执行所述第二训练步骤。5.根据权利要求1所述的方法，其中，所述多个区域包括以下中的一项或多项：背景区域，巩膜区域，瞳孔区域，或虹膜区域。6.根据权利要求1所述的方法，其中，执行所述第一训练步骤还包括：使用所述眼睛分割数据，训练所述多个任务特定层集合中的单个任务特定层集合。7.根据权利要求6所述的方法，其中，所述单个任务特定层集合是所述多个任务特定层集合中的在所述第一训练步骤期间被训练的唯一任务特定层集合。8.根据权利要求1所述的方法，其中，执行所述第一训练步骤还包括：接收眼睛分割标注GT数据；以及将所述眼睛分割数据与所述眼睛分割GT数据进行比较。9.根据权利要求1所述的方法，其中，在所述第二训练步骤期间不训练所述特征编码层集合。10.根据权利要求1所述的方法，其中，所述网络输出数据包括与所述第二眼睛相对应的二维(2D)瞳孔数据。11.根据权利要求1所述的方法，其中，所述网络输出数据包括与所述第二眼睛相对应的闪烁检测数据。12.根据权利要求1所述的方法，其中，所述网络输出数据包括与所述第二眼睛相对应的角膜中心数据。13.根据权利要求1所述的方法，其中，所述网络输出数据包括与所述第二眼睛相对应的眨眼预测。14.根据权利要求1所述...

【专利技术属性】
技术研发人员：武正阳，S，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：