应用于元宇宙的眼球跟踪方法、装置、设备制造方法及图纸

本申请的实施例提供了应用于元宇宙的眼球跟踪方法、装置、设备和计算机可读存储设备。所述方法包括通过元宇宙拍摄设备，获取使用者的眼睛图像；逐帧提取所述眼睛图像中的特征，得到第一特征图；基于自注意力机制，对所述第一特征图进行处理，得到第二特征图；对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪。以此方式，对眼球的快速、精准追踪。精准追踪。精准追踪。

【技术实现步骤摘要】
应用于元宇宙的眼球跟踪方法、装置、设备


[0001]本申请的实施例涉及虹膜图像处理领域，尤其涉及应用于元宇宙的眼球跟踪方法、装置、设备和计算机可读存储设备。

技术介绍

[0002]随着虚拟现实不断的发展和元宇宙概念的提出，许多研究学者将虚拟现实技术作为热门的课题进行研究，其中眼球追踪成为实现元宇宙概念中重要突破的
，在虚拟现实场景中应用眼球追踪能确保精确度不减少的情况下，提高场景中图像的处理速度和用户在场景中的浸透性，降低性能的消耗和用户的眩晕感，疲劳感。
[0003]transformer的结构在自然语言处理任务中取得了优异的成绩，之后视觉任务也在不断探索transformer结构在图像处理上的能力。transformer结构可以有效的获得多个关联向量之间的关联度，而眼球追踪任务在时间维度上各帧间是高度关联的。
[0004]因此，如何更好地使用transformer结构，进行眼球追踪获得眼球在时间维度的关联，并绘制运动轨迹和预测眼球位置，是目前亟需解决的。

技术实现思路

[0005]根据本申请的实施例，提供了一种应用于元宇宙的眼球跟踪方案。
[0006]在本申请的第一方面，提供了一种应用于元宇宙的眼球跟踪方法。该方法包括：通过元宇宙拍摄设备，获取使用者的眼睛图像；逐帧提取所述眼睛图像中的特征，得到第一特征图；基于自注意力机制，对所述第一特征图进行处理，得到第二特征图；对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪。
[0007]进一步地，所述逐帧提取所述眼睛图像中的特征，得到第一特征图包括：通过mobileNetV2网络，逐帧提取所述眼睛图像中的特征，得到眼睛图像特征图；对眼睛图像特征图进行检测，若当前帧为闭眼，则不进行跟踪；若为睁眼，则根据所述眼睛图像特征图，构建第一特征图；其中，所述mobileNetV2网络的第一个卷积为ECB卷积块。
[0008]进一步地，所述基于自注意力机制，对所述第一特征图进行处理，得到第二特征图包括：若所述第一特征图为单帧图像的特征图，则单独进行自注意力计算，得到第二特征图；若所述第一特征图为多帧图像的特征图，则对当前帧进行自注意力计算，同时对当前帧与其它帧的帧间进行自注意力计算，将计算结果进行融合，得到第二特征图。
[0009]进一步地，所述若所述第一特征图为多帧图像的特征图，则对当前帧进行自注意力计算，同时对当前帧与其它帧的帧间进行自注意力计算，将计算结果进行融合，得到第二
特征图包括：将当前帧以及当前帧之前的至少一帧的特征图，分别拉成预设大小的向量，得到每个特征图的向量，以及每一帧的嵌入矩阵；其中，每一帧的图像均包括n个特征图；所述n为正整数；按照时间顺序，对所述嵌入矩阵中的向量进行位置编码，将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器中，得到第二特征图。
[0010]进一步地，所述将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器中，得到第二特征图包括：其中，所述transformer编码器由投影矩阵、多头自注意力、残差块、归一化、卷积构成；将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器，通过投影矩阵分别计算出Q、K、V矩阵；将当前帧的Q、K、V矩阵，以及其它帧的K、V矩阵输入到多头自注意力中，得到第一输出结果；将所述第一输出结果和当前帧的嵌入矩阵，输入到残差块中进行相加；对相加结果进行归一化处理，得到第二输出结果；将所述第二输出结果输入到卷积块中，得到第二特征图。
[0011]进一步地，所述多头自注意力包括：其中，z为多头自注意力计算结果；
ꢀꢀ
、 、 分别表示第t帧的q、k、v；（ , ）表示将 和 两个矩阵进行拼接；（ ,）表示将 和 两个矩阵进行拼接。
[0012]进一步地，所述对所述第二特征图进行关键点检测，得到眼球位置包括：对所述第二特征图分别进行一次卷积、两次卷积和三次卷积，得到三个尺度的输出；将所述三个尺度的输出拼接后进行全连接，得到眼球位置。
[0013]在本申请的第二方面，提供了一种应用于元宇宙的眼球跟踪装置。该装置包括：获取模块，用于通过元宇宙拍摄设备，获取使用者的眼睛图像；提取模块，用于逐帧提取所述眼睛图像中的特征，得到第一特征图；处理模块，用于基于自注意力机制，对所述第一特征图进行处理，得到第二特征图；跟踪模块，用于对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪。
[0014]在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
[0015]在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。
[0016]本申请实施例提供的应用于元宇宙的眼球跟踪方法，通过元宇宙拍摄设备，获取使用者的眼睛图像；逐帧提取所述眼睛图像中的特征，得到第一特征图；基于自注意力机制，对所述第一特征图进行处理，得到第二特征图；对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪，实现了对眼球的追踪，同时提高了对眼球追踪的效率和精准性。
[0017]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
[0018]结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示出了根据本申请的实施例的应用于元宇宙的眼球跟踪方法的流程图；图2示出了根据本申请的实施例的ECB卷积块的结构示意图；图3示出了根据本申请的实施例的主干网络的结构示意图；图4示出了根据本申请的实施例的眼睛图像的特征提取流程图；图5a
‑
图5d示出了根据本申请的实施例的整体网络结构示意图；图6示出了根据本申请的实施例的transformer编码器的结构示意图；图7示出了根据本申请的实施例的应用于元宇宙的眼球跟踪装置的方框图；图8示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
具体实施方式
[0019]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
[0020]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于元宇宙的眼球跟踪方法，其特征在于，包括：通过元宇宙拍摄设备，获取使用者的眼睛图像；逐帧提取所述眼睛图像中的特征，得到第一特征图；基于自注意力机制，对所述第一特征图进行处理，得到第二特征图；对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪。2.根据权利要求1所述的方法，其特征在于，所述逐帧提取所述眼睛图像中的特征，得到第一特征图包括：通过mobileNetV2网络，逐帧提取所述眼睛图像中的特征，得到眼睛图像特征图；对所述眼睛图像特征图进行检测，若当前帧为闭眼，则不进行跟踪；若为睁眼，则根据所述眼睛图像特征图，构建第一特征图；其中，所述mobileNetV2网络的第一个卷积为ECB卷积块。3.根据权利要求2所述的方法，其特征在于，所述基于自注意力机制，对所述第一特征图进行处理，得到第二特征图包括：若所述第一特征图为单帧图像的特征图，则单独进行自注意力计算，得到第二特征图；若所述第一特征图为多帧图像的特征图，则对当前帧进行自注意力计算，同时对当前帧与其它帧的帧间进行自注意力计算，将计算结果进行融合，得到第二特征图。4.根据权利要求3所述的方法，其特征在于，所述若所述第一特征图为多帧图像的特征图，则对当前帧进行自注意力计算，同时对当前帧与其它帧的帧间进行自注意力计算，将计算结果进行融合，得到第二特征图包括：将当前帧以及当前帧之前的至少一帧的特征图，分别拉成预设大小的向量，得到每个特征图的向量，以及每一帧的嵌入矩阵；其中，每一帧的图像均包括n个特征图；所述n为正整数；按照时间顺序，对所述嵌入矩阵中的向量进行位置编码，将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器中，得到第二特征图。5.根据权利要求4所述的方法，其特征在于，所述将已进行位置编码后的嵌入矩阵输入到预设的tr...

【专利技术属性】
技术研发人员：郝炯辉，李茂林，
申请(专利权)人：北京万里红科技有限公司，
类型：发明
国别省市：