【技术实现步骤摘要】
【国外来华专利技术】
本公开整体涉及经由电子设备呈现内容，尤其涉及在电子内容的呈现期间和/或基于电子内容的呈现和生理数据来确定用户的交互事件的系统、方法和设备。
技术介绍
1、在查看和/或收听电子设备上的内容的同时确定用户的意图可促进更有意义的体验。例如，用户界面元素(例如，可选择的图标或按钮)可基于确定用户作出此类选择的意图而被自动选择，而无需用户必须执行手势、鼠标点击或其他基于输入设备的动作来发起该选择。用于评价查看内容且与该内容交互的用户的意图的改进的技术可增强该用户的享受、理解和对内容的学习。内容创建者和系统能够基于确定与用户界面元素交互的用户意图来提供更好且更定制的用户体验。
技术实现思路
1、本文公开的各种具体实施包括评估交互元素的生理数据(例如，凝视特性)和照明特性以预测交互事件(例如，预测用户何时聚焦于内容的特定部分)的设备、系统和方法。例如，一种方法可以识别在体验的特定阶段用户的凝视特性(例如，瞳孔放大对收缩、稳定的凝视方向和/或速度)对应于用户聚焦于特定图标或用户界面元素。例如，用户可以将他们的注意力引导至图标或其他用户界面元素中的明亮特征，以便发起“点击”或其他交互。生理数据可用于确定交互事件。例如，一些具体实施可识别，基于用户在交互元素的具有不同照明特性的不同区域上的聚焦，该用户的眼睛特性(例如，眨眼率、稳定的凝视方向、扫视振幅/速度和/或瞳孔半径)涉及与该交互元素(例如，图标)的呈现的交互。例如，该照明特性可以包括相对暗或亮的区域。另外，确定该用户的眼睛特性可涉及获得眼睛的图像
2、上下文可另外用于确定交互事件。例如，对体验的场景分析可确定对与被呈现给用户的内容相关联的视觉和/或听觉属性(例如，在视频内容中呈现什么)和/或与该用户的环境相关联的属性(例如，用户在哪里、用户在做什么、什么对象在附近)的场景理解。所呈现的内容和该用户的环境两者的这些属性可改进该用户对交互事件的意图的确定。
3、在一些具体实施中，确定交互事件可以基于该用户的环境的特性(例如，真实世界物理环境、虚拟环境或每一者的组合)。设备(例如，手持式设备、膝上型电脑、台式电脑或头戴式设备(hmd))提供真实世界物理环境或扩展现实(xr)环境的体验(例如，视觉体验和/或听觉体验)。该设备利用一个或多个传感器获得与该用户相关联的生理数据(例如，脑电图(eeg)振幅、瞳孔调制、眼睛凝视扫视、由惯性测量单元(imu)测量的头部移动等)。基于该获得的生理数据，本文描述的技术可确定该体验期间的交互事件。基于该生理数据和相关联的生理响应(例如，关注该内容的特定区域的用户)，该技术可以基于该交互事件向该用户提供响应，并且调整对应于该体验的该内容。
4、生理响应数据诸如eeg振幅/频率、瞳孔调制、眼睛凝视扫视等可取决于个人、他或她前方的场景的特性(例如，视频内容)、围绕该用户的该物理环境的属性(包括该用户的活动/移动)。可在用户执行任务时使用具有眼睛跟踪技术的设备(以及其他生理传感器)来获得生理响应数据。在一些具体实施中，可使用其他传感器(诸如eeg传感器或eda传感器)来获得生理响应数据。观察对体验的生理响应数据的重复测量可给出关于该用户的该意图的见解。
5、若干不同的体验可利用本文所描述的关于评价交互事件的技术。例如，该方法可被提供来支持想要在不使用手、语音、或像停留时间那样的明显眼睛运动的情况下与用户界面元素交互的用户。另外，确定交互事件可被用作易用性特征，例如，其使得瘫痪用户能够通过使用他们的眼睛选择计算机图形图标来交互。另外，确定交互事件可用于一般应用中(例如，用户界面选择工具、设备唤醒信号等)，并且可与其他基于眼睛或触摸的机制结合，诸如以提高信噪比(snr)、稳健性、响应时间等。
6、一些具体实施聚焦于通过结合实践锻炼来提高基于用户的瞳孔响应来评估交互事件的准确性。例如，可实现机器学习算法来确定用户的聚焦是否意味着他或她正打算选择特定图标。
7、一些具体实施评估生理数据和其他用户信息以帮助改善用户体验。在此类过程中，作为示例，应当通过确保用户理解并同意用户数据的使用、理解使用什么类型的用户数据、控制用户数据的收集和使用以及限制用户数据的分配(例如，通过确保用户数据在用户的设备上被本地处理)来尊重用户偏好和隐私。用户应当具有关于是否获得或使用其用户数据或以其他方式打开和关闭获得或使用用户信息的任何特征选择加入或选择退出的选项。此外，每个用户应当具有访问以及以其他方式找出系统已经收集或确定的关于他或她的任何东西的能力。
8、一般来讲，本说明书中描述的主题的一个创新方面可以在包括处理器的设备处的方法中体现，该方法包括以下操作：在交互元素的呈现期间获得与瞳孔相关联的生理数据，该交互元素包括具有不同照明特性的多个区域；基于该获得的生理数据，确定在该交互元素的该呈现期间的瞳孔响应；基于该多个区域的该不同照明特性，确定该瞳孔响应对应于与该交互元素的该多个区域中的一个区域的注意力相关联的注意力响应特性；以及基于确定该瞳孔响应对应于在该交互元素的该呈现期间将注意力引导至该区域，确定在该交互元素的该呈现期间的交互事件。
9、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
10、在一些方面，该交互元素的该多个区域的不同照明特性包括一个或多个暗区域和一个或多个亮区域。
11、在一些方面，该交互元素的每个区域包括亮度水平，并且该多个区域的该不同照明特性基于每个区域相对于照度阈值水平的该亮度水平。
12、在一些方面，该交互元素的该呈现包括多个像素的像素信息，并且确定该瞳孔响应对应于将注意力引导至该交互元素的该多个区域中的该区域包括基于该像素信息确定该区域中的每个像素的估计感知亮度。
13、在一些方面，确定交互事件包括：确定该交互元素的该多个区域的场景引起的瞳孔响应变化特性；以及基于该交互元素的该多个区域的该场景引起的瞳孔响应变化特性确定在该交互元素的该呈现期间的该交互事件。
14、在一些方面，基于该瞳孔响应和该多个区域的该不同照明特性，使用机器学习技术对该交互事件进行分类。
15、在一些方面，该方法进一步包括响应于确定该交互事件来调整内容。
16、在一些方面，该瞳孔响应是该瞳孔响应的方向、该瞳孔响应的速度或瞳孔固定。在一些方面，该瞳孔响应得自扫视特性。
17、在一些方面，该生理数据包括眼睛的图像或眼电图(eog)数据。在一些方面，该生理数据包括头部移动。
18、在一些方面，在该交互元素的该呈现期间确定该瞳孔响应基于确定该瞳孔响应对阈值的可变性。
19、在一些方面，该设备为头戴式设备(hmd)。在一些方面，该交互元素的该呈现为扩展现实(xr)体验。
20、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，该指令是计算机可执行的以执行或使得执行本本文档来自技高网...
【技术保护点】
1.一种方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述交互元素的所述多个区域的所述不同照明特性包括一个或多个暗区域和一个或多个亮区域。
3.根据权利要求1或2所述的方法，其中，所述交互元素的每个区域包括亮度水平，并且所述多个区域的所述不同照明特性基于每个区域相对于照度阈值水平的所述亮度水平。
4.根据权利要求1至3中任一项所述的方法，其中，所述交互元素的所述呈现包括多个像素的像素信息，并且确定所述瞳孔响应对应于将注意力引导至所述交互元素的所述多个区域中的所述区域包括：
5.根据权利要求4所述的方法，其中，确定交互事件包括：
6.根据权利要求1至5中任一项所述的方法，其中，基于所述瞳孔响应和所述多个区域的所述不同照明特性，使用机器学习技术对所述交互事件进行分类。
7.根据权利要求1至6中任一项所述的方法，所述方法还包括：
8.根据权利要求1至7中任一项所述的方法，其中，所述瞳孔响应为：
9.根据权利要求1至8中任一项所述的方法，其中，所述瞳孔响应得自扫视特性。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。