视线追踪方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及计算机技术领域，特别是涉及一种视线追踪方法、装置、计算机设备和存储介质。所述方法包括：获取待追踪视线用户的用户图像；对用户图像进行预处理，生成对应用户图像的预处理图像，预处理图像包括待追踪视线用户的人脸图像、左眼图像以及右眼图像；基于预处理图像，对待追踪视线用户的视线进行预测，得到对应待追踪视线用户的视线位置。采用本方法能够提升视线追踪的准确性。

【技术实现步骤摘要】
视线追踪方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种视线追踪方法、装置、计算机设备和存储介质。
技术介绍
视线(Gaze)往往可以揭示人类的心理状态甚至行为活动。视线估计(Gazeestimation)可以透过人的视线轨迹深入了解人的注意力行为，它在许多领域都有应用，例如神经科学研究、人机交互、临床医学研究、市场与用户研究、心理学研究、线上教育等。在传统方式中，视线预估依赖于额外的嵌入式设备，例如，利用昂贵的3D摄像头捕获用户图像以估计用户视线。但是该种方式将造成较高的成本，且基于该设备所采集到的数据也不一定能够准确的进行视线追踪。因此，如何提供一种能够准确的进行视线追踪的方法成为亟待解决的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提升视线追踪准确性的视线追踪方法、装置、计算机设备和存储介质。一种视线追踪方法，所述方法包括：获取待追踪视线用户的用户图像；对用户图像进行预处理，生成对应用户图像的预处理图像，预处理图像包括待追踪视线用户的人脸图像、左眼图像以及右眼图像；基于预处理图像，对待追踪视线用户的视线进行预测，得到对应待追踪视线用户的视线位置。在其中一个实施例中，对用户图像进行预处理，生成对应用户图像的预处理图像，包括：识别用户图像中的人脸，生成对应的人脸图像；对人脸图像进行人脸关键点的提取，得到对应人脸的人脸关键点；基于人脸关键点，对人脸图像进行左右眼的检测，分别得到左眼图像以及右眼图像。在其中一个实施例中，基于预处理图像，对待追踪视线用户的视线进行预测，得到对应待追踪视线用户的视线位置，包括：对预处理图像进行特征提取，生成对应的特征数据；根据特征数据，预测待追踪视线用户的视线的初始视线位置以及视线偏移量；根据视线偏移量对初始视线位置进行修正，得到对应待追踪视线用户的视线位置。在其中一个实施例中，对预处理图像进行特征提取，生成对应的特征数据，包括：对预处理图像进行特征提取，生成对应的用户特征；根据用户特征，确定用户的左右眼的特征概率；基于特征数据，预测待追踪视线用户的视线的初始视线位置以及视线偏移量，包括：基于用户特征，预测待追踪视线用户的视线的初始视线位置以及特定偏移量；根据特征概率，预测待追踪视线用户的视线的误差偏移量。在其中一个实施例中，对预处理图像进行特征提取，生成对应的特征数据之后，还包括：基于预设条件，判断特征数据是否有效；当确定特征数据有效时，则继续基于特征数据，预测待追踪视线用户的视线的初始视线位置以及视线偏移量。在其中一个实施例中，基于预处理图像，对待追踪视线用户的视线进行预测，得到对应待追踪视线用户的视线位置未通过预先训练完成的预测模型预测的，预测模型的训练方式包括：获取训练集数据，训练集数据包括训练图像以及对应训练图像的视线坐标位置；将训练集数据输入构建的初始预测模型中，通过初始预测模型进行特征数据以及视线预测，得到预测视线位置；基于预测视线位置以及视线坐标位置，确定初始预测模型的模型损失值；通过模型损失值对初始预测模型进行模型参数的更新，并对参数更新后的模型进行迭代训练，得到训练后的预测模型。一种视线追踪装置，所述装置包括：用户图像获取模块，用于获取待追踪视线用户的用户图像；预处理模块，用于对用户图像进行预处理，生成对应用户图像的预处理图像，预处理图像包括待追踪视线用户的人脸图像、左眼图像以及右眼图像；预测模块，用于基于预处理图像，对待追踪视线用户的视线进行预测，得到对应待追踪视线用户的视线位置。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。上述视线追踪方法、装置、计算机设备和存储介质，通过获取待追踪视线用户的用户图像，并对用户图像进行预处理，生成对应用户图像的预处理图像，预处理图像包括待追踪视线用户的人脸图像、左眼图像以及右眼图像，然后基于预处理图像，对待追踪视线用户的视线进行预测，得到对应待追踪视线用户的视线位置。从而，可以根据采集到的用户图像得到的预处理图像，对用户的视线进行预测，得到视线位置，视线追踪结合了用户的人脸图像、左眼图像以及右眼图像，可以提升视线预测的准确性。附图说明图1为一个实施例中视线追踪方法的应用场景图；图2为一个实施例中视线追踪方法的流程示意图；图3为一个实施例中FAUL-Gaze的整体框架的示意图；图4为一个实施例中FA-iTracker模型结构的示意图；图5为一个实施例中FPGC模型结构的示意图；图6为一个实施例中多个校准任务的示意图；图7为一个实施例中校正任务步骤的流程示意图；图8至图11为多个实施例中不同模型的试验比对效果的示意图；图12为一个实施例中视线追踪装置的结构框图；图13为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的视线追踪方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以采集用户图像，并通过网络发送至服务器104。服务器104在获取待追踪视线用户的用户图像后，可以对用户图像进行预处理，生成对应用户图像的预处理图像，预处理图像可以包括待追踪视线用户的人脸图像、左眼图像以及右眼图像。进一步，服务器104可以基于预处理图像，对待追踪视线用户的视线进行预测，得到对应待追踪视线用户的视线位置。其中，终端102可以各种具备图像采集功能的设备，例如照相机、摄像机、录像机等，或者也可以是携带有摄像头的各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，如图2所示，提供了一种视线追踪方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：步骤S202，获取待追踪视线用户的用户图像。其中，用户图像是指在对用户进行视线追踪时采集到的待追踪视线用户的图像。在本实施例中，参考图3示出了一种视线预估框架FAUL-Gaze整体框架，服务器可以通过摄像头实时采集待追踪视线用户的视频流数据，然后从中获取对应各时间点的当前帧图像，并作为用户图像，以供后续进行处理。步骤S204，对用户图像进行预处理，生成对应用户图像的预处理图像，预处理图像包括待追踪视线用户的人脸图像、左眼图像本文档来自技高网...

【技术保护点】
1.一种视线追踪方法，其特征在于，所述方法包括：/n获取待追踪视线用户的用户图像；/n对所述用户图像进行预处理，生成对应所述用户图像的预处理图像，所述预处理图像包括待追踪视线用户的人脸图像、左眼图像以及右眼图像；/n基于所述预处理图像，对所述待追踪视线用户的视线进行预测，得到对应所述待追踪视线用户的视线位置。/n

【技术特征摘要】
1.一种视线追踪方法，其特征在于，所述方法包括：
获取待追踪视线用户的用户图像；
对所述用户图像进行预处理，生成对应所述用户图像的预处理图像，所述预处理图像包括待追踪视线用户的人脸图像、左眼图像以及右眼图像；
基于所述预处理图像，对所述待追踪视线用户的视线进行预测，得到对应所述待追踪视线用户的视线位置。


2.根据权利要求1所述的方法，其特征在于，所述对所述用户图像进行预处理，生成对应所述用户图像的预处理图像，包括：
识别所述用户图像中的人脸，生成对应的人脸图像；
对所述人脸图像进行人脸关键点的提取，得到对应所述人脸的人脸关键点；
基于所述人脸关键点，对所述人脸图像进行左右眼的检测，分别得到左眼图像以及右眼图像。


3.根据权利要求1所述的方法，其特征在于，所述基于所述预处理图像，对所述待追踪视线用户的视线进行预测，得到对应所述待追踪视线用户的视线位置，包括：
对所述预处理图像进行特征提取，生成对应的特征数据；
根据所述特征数据，预测所述待追踪视线用户的视线的初始视线位置以及视线偏移量；
根据所述视线偏移量对所述初始视线位置进行修正，得到对应所述待追踪视线用户的视线位置。


4.根据权利要求3所述的方法，其特征在于，所述对所述预处理图像进行特征提取，生成对应的特征数据，包括：
对所述预处理图像进行特征提取，生成对应的用户特征；
根据所述用户特征，确定用户的左右眼的特征概率；
所述基于所述特征数据，预测所述待追踪视线用户的视线的初始视线位置以及视线偏移量，包括：
基于所述用户特征，预测所述待追踪视线用户的视线的初始视线位置以及特定偏移量；
根据所述特征概率，预测所述待追踪视线用户的视线的误差偏移量。


5.根据权利要求3所述的方法，其特征在于，所述对所述预处理图像进行特征提取，生成对应的特征数据之后，还包括：
基于预设条件，判断所述特征数据是否有效；
当确定所述特征数据有效时，则继续基于所述特征数据，预测所述待追踪视线用户的视线的初始视线位置...

【专利技术属性】
技术研发人员：陈荟西，丘延君，
申请(专利权)人：风变科技深圳有限公司，
类型：发明
国别省市：广东;44