视线估计方法、设备及存储介质技术

本申请提供一种视线估计方法、设备及存储介质。该方法包括：获取带标注信息的源域数据和无标注信息的目标域数据；对源域数据中的训练集数据进行训练，得到视线估计模型；利用对抗攻击对源域数据和目标域数据添加对抗噪声；对添加对抗噪声前后的源域数据进行对比学习，同时对目标域数据进行对比学习，更新视线估计模型；利用对抗训练方法对视线估计模型进行优化。本申请提供的方法通过对抗攻击为源域数据和目标域数据添加了与视线估计任务相关的对抗噪声，提升了视线估计模型在对抗训练过程中提取的特征与视线估计任务的相关度，同时通过对比学习消除了对抗噪声对视线估计模型的影响，提高了视线估计模型对目标域数据进行视线估计的准确度。估计的准确度。估计的准确度。

【技术实现步骤摘要】
视线估计方法、设备及存储介质


[0001]本申请涉及计算机视觉
，尤其涉及一种视线估计方法、设备及存储介质。

技术介绍

[0002]视线是人类注意力的重要指标，表明了一个人正在注视的方向。视线信息目前已被广泛应用于各种人机交互应用，例如虚拟/增强现实游戏、智能座舱系统、医学分析、注视/头部重定向等。近年来，由于公开了多个视线估计数据集，根据某一数据集即源域数据训练得到的视线估计模型，对其他数据集即目标域数据进行预测的准确度较低，存在跨域问题。
[0003]现有解决跨域问题的方法是基于对抗训练的方法，对抗训练方法的核心是引入一个域判别器来判别区分不同域的图像数据，令视线估计模型提取足以混淆判别器的特征，进而使视线估计模型提取的特征更加具有通用性。
[0004]利用对抗训练解决跨域问题时，现有技术利用神经网络模型对目标域数据进行视线估计，得到的视线估计结果准确度较低。

技术实现思路

[0005]本申请提供一种视线估计方法、设备及存储介质，用以解决由于跨域问题，神经网络模型对目标域数据进行视线估计得到的视线估计结果准确度较低的问题。
[0006]第一方面，本申请提供一种视线估计方法，包括：
[0007]获取带标注信息的源域数据和无标注信息的目标域数据；
[0008]对源域数据中的训练集数据进行训练，得到视线估计模型；
[0009]利用对抗攻击对源域数据和目标域数据添加对抗噪声；
[0010]对添加对抗噪声前后的源域数据进行对比学习，同时对目标域数据进行对比学习，更新视线估计模型；
[0011]利用对抗训练方法对视线估计模型进行优化。
[0012]第二方面，本申请提供一种视线估计设备，包括：
[0013]获取模块，用于获取带标注信息的源域数据和无标注信息的目标域数据；
[0014]训练模块，用于对源域数据中的训练集数据进行训练，得到视线估计模型；
[0015]添加模块，用于利用对抗攻击对源域数据和目标域数据添加对抗噪声；
[0016]对比学习模块，对添加对抗噪声前后的源域数据进行对比学习，同时对目标域数据进行对比学习，更新视线估计模型；
[0017]优化模块：利用对抗训练方法对视线估计模型进行优化。
[0018]第三方面，本申请提供一种视线估计设备，包括：处理器、存储器，存储器中存储代码，处理器运行存储器中存储的代码，以执行如第一方面中任一项的视线估计方法。
[0019]第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项的视线估计
方法。
[0020]本申请提供一种视线估计方法、设备及存储介质。该方法包括：获取带标注信息的源域数据和目标域数据，对源域数据中的训练集数据进行训练得到视线估计模型。利用对抗攻击对源域数据和目标域数据添加对抗噪声，得到添加对抗噪声后的源域数据和目标域数据。对添加对抗噪声前后的源域数据进行对比学习，同时对添加对抗噪声前后的目标域数据进行对比学习，更新视线估计模型，消除对抗噪声对视线估计模型的影响。利用对抗训练方法对视线估计模型进行优化。本申请提供的方法通过对抗攻击对源域数据和目标域数据添加与视线估计任务相关的对抗噪声，提升了视线估计模型在对抗训练过程中提取的特征与视线估计任务的相关度，同时通过对比学习消除了对抗噪声对视线估计模型的影响，提高了视线估计模型对目标域数据进行视线估计的准确度。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0022]图1为本申请实施例提供的一种视线估计场景示意图；
[0023]图2为本申请实施例提供的一种视线估计方法流程图；
[0024]图3为本申请实施例提供的一种图像对抗攻击方法流程图；
[0025]图4为本申请实施例提供的一种图像对比学习方法流程图；
[0026]图5为本申请实施例提供的一种图像对抗训练方法流程图；
[0027]图6为本申请实施例提供的一种视线估计结果校正方法流程图；
[0028]图7为本申请实施例提供的一种视线估计设备示意图一；
[0029]图8为本申请实施例提供的一种视线估计设备示意图二。
[0030]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0031]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0032]视线估计的任务是根据设备拍摄的用户眼部或完整面部图像，估计用户的视线方向。近年来，常见的视线估计方法是基于深度学习，以用户的面部图像或眼部图像作为输入，通过神经网络模型直接估计用户的视线方向。
[0033]虽然基于深度学习的视线估计方法在训练集内部即源域数据可以取得比较精确的结果，但是在实际应用中由于被测者、背景、光照等因素的变化，将基于源域数据训练得到的神经网络模型应用到一个新的数据集即目标域数据时，该神经网络模型针对目标域数据输出的视线估计结果准确度较低，会存在跨域问题。
[0034]现有解决跨域问题的方法是基于对抗训练的方法，利用域判别器判别区分不同域
的图像数据，令视线估计模型提取足以混淆判别器的特征，使视线估计模型提取的特征更加具有通用性。该方法利用神经网络模型对目标域数据进行视线估计得到的视线估计结果准确度较低。
[0035]本申请提供一种视线估计方法，获取带标注信息的源域数据和无标注信息的目标域数据，对源域数据中的训练集数据进行训练，得到视线估计模型。由于视线估计模型是对源域数据进行训练得到的，因此此时视线估计模型对源域数据进行视线估计时，得到的视线估计结果准确度较高。视线估计模型对目标域数据进行视线估计时，得到的视线估计结果准确度较低。利用对抗攻击对源域数据和目标域数据添加对抗噪声，得到添加对抗噪声后的源域数据和目标域数据，添加的对抗噪声与视线估计任务是相关的。对添加对抗噪声前后的源域数据进行对比学习，同时对目标域数据进行对比学习，更新视线估计模型，消除对抗噪声对视线估计模型的影响。利用对抗训练对视线估计模型进行优化，使视线估计模型完成由源域数据到目标域数据的跨域适配。本申请提供的方法通过对抗攻击为源域数据和目标域数据添加了与视线估计任务相关的对抗噪声，提升了视线估计模型在对抗训练过程中提取的特征与视线估计任务的相关度，同时通过对比学习消除了对抗噪声对视线估计模型的影响，提高了视线估本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线估计方法，其特征在于，包括：获取带标注信息的源域数据和无标注信息的目标域数据；对所述源域数据中的训练集数据进行训练，得到视线估计模型；利用对抗攻击对所述源域数据和所述目标域数据添加对抗噪声；对添加对抗噪声前后的所述源域数据进行对比学习，同时对所述目标域数据进行对比学习，更新所述视线估计模型；利用对抗训练方法对所述视线估计模型进行优化。2.根据权利要求1所述的方法，其特征在于，所述利用对抗攻击对所述源域数据和所述目标域数据添加对抗噪声，包括：将所述源域数据输入至视线估计模型，得到所述源域数据的特征和所述源域数据的视线估计结果；将所述目标域数据输入至所述视线估计模型，得到所述目标域数据的特征和所述目标域数据的视线估计结果；将所述源域数据的特征输入至域判别器，得到所述源域数据的域判别结果；将所述目标域数据的特征输入至所述域判别器，得到所述目标域数据的域判别结果；根据所述源域数据的视线估计结果和所述源域数据的域判别结果对所述源域数据添加对抗噪声；根据所述目标域数据的视线估计结果和所述目标域数据的域判别结果对所述目标域数据添加对抗噪声。3.根据权利要求2所述的方法，其特征在于，所述对添加对抗噪声前后的所述源域数据进行对比学习，同时对所述目标域数据进行对比学习，更新所述视线估计模型，包括：将添加对抗噪声前后的所述源域数据输入至所述视线估计模型，得到添加对抗噪声前后的源域数据特征；将添加对抗噪声前后与所述目标域数据输入至所述视线估计模型，得到添加对抗噪声前后的目标域数据特征；基于添加对抗噪声前后的所述源域数据和所述目标域数据，构建正样本及负样本；根据添加对抗噪声前后的所述源域数据特征、添加对抗噪声前后的所述目标域数据特征、所述正样本及所述负样本，通过第一损失函数计算所述正样本的损失；根据所述正样本的损失更新所述视线估计模型。4.根据权利要求3所述的方法，其特征在于，所述基于添加对抗噪声前后的所述源域数据和所述目标域数据，构建正样本及负样本，包括；基于添加对抗噪声前后的所述源域数据或所述目标域数据的内在一致性，将任一添加对抗噪声前后的所述源域数据或所述目标域数据作为一对正样本，将除所述正样本外添加对抗噪声前后的所述源域数据和所述目标域数据作为负样本。5.根据权利要求3所述的方法，其特征在于，所述利用对抗训练方法对所述视线估计模型进行优化，包括：将添加对抗噪声前后的所述源域数据特征输入至所...

【专利技术属性】
技术研发人员：陆峰，刘锐聪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：