视线追踪方法、装置、设备、存储介质以及计算机程序产品制造方法及图纸

本公开提供了一种视线追踪方法、装置、设备、存储介质以及计算机程序产品，涉及人工智能技术领域，具体为智能交通和深度学习技术领域。该方法的一具体实施方式包括：获取第一图像，其中，第一图像为驾驶人员的眼球状态图像；基于预先训练的视线标定模型，确定世界坐标系中与第一图像对应的注视区域。该实施方式能够基于驾驶人员的眼球状态图像确定世界坐标系中的对应区域，从而实现对驾驶人员的视线进行标定。标定。标定。

【技术实现步骤摘要】
视线追踪方法、装置、设备、存储介质以及计算机程序产品


[0001]本公开涉及计算机领域，具体涉及智能交通、深度学习等人工智能领域，尤其涉及视线追踪方法、装置、设备、存储介质以及计算机程序产品。

技术介绍

[0002]人眼视线跟踪是计算机视觉与计算机图形学领域中一个重要且基础的问题，它在人机交互、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在计算机视觉中，人眼在屏幕上的注视点可用于完成各种人机交互功能；在增强现实中，视线方向可用于调整显示的内容以产生更佳的真实感。正是由于眼睛能够表达人类丰富的情感，人眼视线跟踪的研究具有极高的科研和应用价值。在计算机图形学和计算机视觉领域，高精度的视线方向跟踪一直是一个重要且具有挑战性的问题。

技术实现思路

[0003]本公开提供了一种视线追踪方法、装置、设备、存储介质以及计算机程序产品。
[0004]根据本公开的第一方面，提供了一种视线追踪方法，包括：获取第一图像，其中，第一图像为驾驶人员的眼球状态图像；基于预先训练的视线标定模型，确定世界坐标系中与第一图像对应的注视区域。
[0005]根据本公开的第二方面，提供了一种模型训练方法，包括：获取训练样本集，其中，训练样本集中的训练样本包括驾驶人员注视标注点时的眼球图像以及标注点的位置信息；将眼球图像作为输入，将位置信息作为输出，训练得到视线标定模型。
[0006]根据本公开的第三方面，提供了一种视线追踪装置，包括：第一获取模块，被配置成获取第一图像，其中，第一图像为驾驶人员的眼球状态图像；第一确定模块，被配置成基于预先训练的视线标定模型，确定世界坐标系中与第一图像对应的注视区域。
[0007]根据本公开的第四方面，提供了一种模型训练装置，包括：第五获取模块，被配置成获取训练样本集，其中，训练样本集中的训练样本包括驾驶人员注视标注点时的眼球图像以及标注点的位置信息；训练模块，被配置成将眼球图像作为输入，将位置信息作为输出，训练得到视线标定模型。
[0008]根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
[0009]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面中任一实现方式描述的方法。
[0010]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是本公开可以应用于其中的示例性系统架构图；
[0014]图2是根据本公开的视线追踪方法的一个实施例的流程图；
[0015]图3是根据本公开的视线追踪方法的另一个实施例的流程图；
[0016]图4是根据本公开的视线追踪方法的再一个实施例的流程图；
[0017]图5是根据本公开的模型训练方法的一个实施例的流程图；
[0018]图6是根据本公开的视线追踪装置的一个实施例的结构示意图；
[0019]图7是根据本公开的模型训练装置的一个实施例的流程图；
[0020]图8是用来实现本公开实施例的视线追踪方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0023]图1示出了可以应用本公开的视线追踪方法或视线追踪装置的实施例的示例性系统架构100。
[0024]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0025]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送信息等。终端设备101、102、103上可以安装有各种客户端应用。
[0026]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0027]服务器105可以提供各种服务。例如，服务器105可以对从终端设备101、102、103获取到的第一图像进行分析和处理，并生成处理结果(例如注视区域)。
[0028]需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0029]需要说明的是，本公开实施例所提供的视线追踪方法一般由服务器105执行，相应地，视线追踪装置一般设置于服务器105中。
[0030]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0031]继续参考图2，其示出了根据本公开的视线追踪方法的一个实施例的流程200。该视线追踪方法包括以下步骤：
[0032]步骤201，获取第一图像。
[0033]在本实施例中，视线追踪方法的执行主体(例如图1所示的服务器105)可以获取第一图像，其中，第一图像为驾驶人员的眼球状态图像。
[0034]第一图像可通过驾驶人员所乘坐车辆内的图像传感器采集得到的，本实施例中的图像传感器为摄像头传感器(以下简称为摄像头)，也可根据实际情况采用其他的图像传感器，本公开对此不做限定。上述摄像头可以实时拍摄驾驶人员的眼球状态图像。
[0035]步骤202，基于预先训练的视线标定模型，确定世界坐标系中与第一图像对应的注视区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线追踪方法，包括：获取第一图像，其中，所述第一图像为驾驶人员的眼球状态图像；基于预先训练的视线标定模型，确定世界坐标系中与所述第一图像对应的注视区域。2.根据权利要求1所述的方法，其中，所述基于预先训练的视线标定模型，确定世界坐标系中与所述第一图像对应的注视区域，包括：将所述第一图像输入至预先训练的视线标定模型中，得到所述第一图像对应的视线方向；确定世界坐标系中与所述视线方向对应的注视区域。3.根据权利要求1
‑
2中任一项所述的方法，所述方法还包括：获取第二图像，其中，所述第二图像为所述驾驶人员乘坐车辆的周围环境图像；基于世界坐标系与所述第二图像对应的图像坐标系之间的对应关系，确定所述第二图像中与所述第一目标区域对应的第二目标区域。4.根据权利要求3所述的方法，所述方法还包括：确定所述第二目标区域中的兴趣点POI对象；基于所述图像坐标系与抬头显示画面对应的显示坐标系之间的对应关系，确定所述POI对象在所述抬头显示画面中的目标显示位置。5.根据权利要求4所述的方法，其中，在所述确定所述第二目标区域中的兴趣点POI对象之后，所述方法还包括：获取所述车辆的当前位置信息；基于所述当前位置信息获取所述POI对象的属性信息；将所述属性信息叠加显示在所述抬头显示画面中的所述POI对象上。6.一种模型训练方法，包括：获取训练样本集，其中，所述训练样本集中的训练样本包括驾驶人员注视标注点时的眼球图像以及所述标注点的位置信息；将所述眼球图像作为输入，将所述位置信息作为输出，训练得到视线标定模型。7.一种视线追踪装置，包括：第一获取模块，被配置成获取第一图像，其中，所述第一图像为驾驶人员的眼球状态图像；第一确定模块，被配置成基于预先训练的视线标定模型，确定世界坐标系中与所述第一图像对应的注视区域。8.根据权利要求7所述的装置，其中，所述第一确定模块包括：输入子模块，被配置成将所述第一图像输入至预先训练的视线标定模型中，得到所述第一图像对应的视线方向；确定子模块，被配...

【专利技术属性】
技术研发人员：邓苏南，
申请(专利权)人：阿波罗智联北京科技有限公司，
类型：发明
国别省市：