三维空间内注视行为的识别方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种三维空间内注视行为的识别方法、装置及存储介质，通过采集用户两眼的眼动数据；从采集的眼动数据中选定用于注视行为识别的眼动数据；计算选定的眼动数据中多个采样时间点处的眼动角速度，并基于计算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据；将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标；基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。本发明专利技术通过获取三维空间内注视点坐标信息，并设立时间临近和空间临近的标准，能够有效结合视觉深度差异对注视行为进行判断，准确识别三维空间的注视行为。

Recognition method, device and storage medium of gaze behavior in three-dimensional space

【技术实现步骤摘要】
三维空间内注视行为的识别方法、装置及存储介质
本专利技术属于注视方向识别
，尤其涉及一种三维空间内注视行为的识别方法、装置及存储介质。
技术介绍
注视是人类视觉的主要行为之一，也是最重要的行为。人类通过注视获取所关注事物的属性、运动等信息。随着VR(VirtualReality，虚拟现实)技术和AR(AugmentedReality，增强现实)技术的发展，无论对虚拟三维空间还是真实三维空间内的注视行为识别的需求日益增长，急需解决。现有技术中通常使用眼动仪来记录人类的眼动行为，并根据所采集到的眼动数据进行注视行为的识别。注视行为识别过程中，以人眼为起始点沿视觉方向延伸看到的点为眼动点，受限于目前眼动仪的工作原理，眼动仪所采集的眼动数据仅能表达视觉方向，而无法表达三维空间下的视觉深度的注视行为信息。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种三维空间内注视行为的识别方法、装置及存储介质，克服现有技术无法判断视觉深度的缺陷，用于完成对三维空间内注视行为的识别。本专利技术解决技术问题的方案是：一方面，本专利技术提供一种三维空间内注视行为的识别方法，包括：采集用户两眼的眼动数据，该眼动数据包括：采样时间点、三维空间坐标系内采样时间点处两眼位置的3D坐标以及两眼眼动点位置的3D坐标；从采集的眼动数据中选定用于注视行为识别的眼动数据；计算选定的眼动数据中多个采样时间点处的眼动角速度，并基于计算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据；将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标，其中，时间临近条件为采样时间点间隔小于第一设定时长，空间临近条件为相邻注视点之间视线夹角小于设定角度以及相邻注视点之间距离小于设定距离；基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。在一些实施例中，所述采集用户两眼的眼动数据的步骤包括：建立三维空间坐标系；采用眼动仪在指定的采样时间点检测并得到三维空间坐标系内的左眼3D坐标、右眼3D坐标、左眼视觉方向信息和右眼视觉方向信息；以左眼3D坐标为起始点，沿左眼视觉方向与三维空间内事物的第一个交点的坐标为左眼眼动点的3D坐标；以右眼3D坐标为起始点，沿右眼视觉方向与三维空间内事物的第一个交点的坐标为右眼眼动点的3D坐标。在一些实施例中，从采集的眼动数据中选定用于注视行为识别的眼动数据的步骤包括：主视眼已知时，将主视眼对应的眼动数据作为用于注视行为识别的眼动数据；主视眼未知时，将左眼的眼动数据以及右眼的眼动数据的均值作为用于注视行为识别的眼动数据。在一些实施例中，采集用户两眼的眼动数据之后，还包括：预处理采集的眼动数据，使单位时间内所包含的眼动数据的数量相同并消除采样噪声和异常点。在一些实施例中，计算选定的眼动数据中多个采样时间点处眼动角速度的步骤包括：当采样窗口样本数n为偶数时，分别将采样时间点前以及采样时间点后第n/2组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动角速度；当采样窗口样本数n为奇数时，分别将采样时间点前以及采样时间点后第n-1)/2组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动角速度。在一些实施例中，所述眼动角速度的计算公式为：其中，Δt表示采样间隔时间；分别为由眼睛指向两个眼动点的方向向量；表示两条视线之间的夹角；ω表示眼动角速度。在一些实施例中，所述相邻注视点之间的视线夹角小于0.5deg；所述设定距离的计算公式为：其中，L表示设定距离，λ为放大系数，λ取值为1.0～1.3，D1、D2分别表示眼睛到两个时间临近注视点的距离，θ表示相邻的注视点之间的视线夹角。在一些实施例中，所述眼动角速度阈值为10°/s～30°/s；所述第一设定时长为75ms以下；所述第二设定时长为100ms。另一方面，本专利技术还提供一种三维空间内注视行为的识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现如前所述方法的步骤。另一方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该所述计算机程序被执行时实现如前所述方法的步骤。本专利技术三维空间内注视行为的识别方法、装置及存储介质，利用眼动仪结合三维空间坐标系数据，准确得到了主视眼三维空间内的眼动数据，并获取视觉深度信息。通过设定采样时间点间隔小于第一设定时长、注视点之间视线夹角小于设定角度以及注视点之间距离小于设定距离三个标准，针对时间临近和空间临近两方面对三维空间内结合视觉深度差异对注视行为进行判断，准确识别三维空间的注视行为。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术一实施例所述识别方法的流程示意图；图2为本专利技术一实施例所述识别方法中采集用户两眼的眼动数据的流程示意图；图3为本发一实施例明所述识别方法中判断空间临近条件的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。现有技术中，注视行为的识别被应用在很多领域，特别在人机交互时，在实现对用户的使用状态进行捕捉和判断的过程中，注视行为作为主要行为能用来表征用户一系列动作的指向性，从而引导设备的准确反馈，提升用户使用的体验效果，或者实现一些复杂的操作过程。近几年VR(VirtualReality，虚拟现实)和AR(AugmentedReality，增强现实)火热，其中VR技术是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种交互式的三维动态视景，其实体行为的仿真系统能够使用户沉浸到该环境中；AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。VR技术中所产生的是虚拟三维空间，在越来越多的应用过程中，通过研究、开发和实用，申请人以及相关技术人员逐渐发现在VR技术中，人眼注视行为的识别需求度很高，不仅在于设备的操作需要，更表现为提升设备对用户的反馈效果的要求。而AR技术更是需要实时对人眼的注视行为进行识别，需求度相比VR技术更高。然而，现有技术中对于人眼注视行为的识别，大多是通过眼动仪监测人眼活动，并得到人眼的视线方向，再进一步判断视线停留的时间判断是否发生有效的注视行为。这种识别方式，受限于目前应用于虚拟现实本文档来自技高网...

【技术保护点】
1.一种三维空间内注视行为的识别方法，其特征在于，包括：/n采集用户两眼的眼动数据，该眼动数据包括：采样时间点、三维空间坐标系内采样时间点处两眼位置的3D坐标以及两眼眼动点位置的3D坐标；/n从采集的眼动数据中选定用于注视行为识别的眼动数据，并计算选定的眼动数据中多个采样时间点处的眼动角速度；/n基于计算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据；/n将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标，其中，时间临近条件为采样时间点间隔小于第一设定时长，空间临近条件为相邻注视点之间视线夹角小于设定角度以及相邻注视点之间距离小于设定距离；/n基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。/n

【技术特征摘要】
1.一种三维空间内注视行为的识别方法，其特征在于，包括：
采集用户两眼的眼动数据，该眼动数据包括：采样时间点、三维空间坐标系内采样时间点处两眼位置的3D坐标以及两眼眼动点位置的3D坐标；
从采集的眼动数据中选定用于注视行为识别的眼动数据，并计算选定的眼动数据中多个采样时间点处的眼动角速度；
基于计算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据；
将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标，其中，时间临近条件为采样时间点间隔小于第一设定时长，空间临近条件为相邻注视点之间视线夹角小于设定角度以及相邻注视点之间距离小于设定距离；
基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。


2.根据权利要求1所述的识别方法，其特征在于，所述采集用户两眼的眼动数据的步骤包括：
建立三维空间坐标系；
采用眼动仪在指定的采样时间点检测并得到三维空间坐标系内的左眼3D坐标、右眼3D坐标、左眼视觉方向信息和右眼视觉方向信息；
以左眼3D坐标为起始点，沿左眼视觉方向与三维空间内事物的第一个交点的坐标为左眼眼动点的3D坐标；
以右眼3D坐标为起始点，沿右眼视觉方向与三维空间内事物的第一个交点的坐标为右眼眼动点的3D坐标。


3.根据权利要求1所述的识别方法，其特征在于，从采集的眼动数据中选定用于注视行为识别的眼动数据的步骤包括：
主视眼已知时，将主视眼对应的眼动数据作为用于注视行为识别的眼动数据；
主视眼未知时，将左眼的眼动数据以及右眼的眼动数据的均值作为用于注视行为识别的眼动数据。


4.根据权利要求1所述的识别方法，其特征在于，采集用户两眼的眼动数据之后，还包括：预...

【专利技术属性】
技术研发人员：赵起超，杨苒，冉亚宁，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：北京;11