基于触控屏的视触结合交互方法、装置、设备和可读介质制造方法及图纸

本公开的实施例公开了基于触控屏的视触结合交互方法、装置、设备和可读介质。该方法的一具体实施方式包括：通过眼动组件，获取人脸信息；根据人脸信息，确定注视点位置信息；生成注视点，以及根据注视点位置信息，在触控显示组件上显示注视点；响应于检测到作用于预设区域的第一用户操作，执行如下交互步骤：确定第一触点和第二触点；根据第一触点和第二触点，确定移动触点和指令触点；接收指令触点生成的第一指令信息；根据第一指令信息和注视点的所在位置，执行交互操作；响应于检测到交互步骤执行完成，通过眼动组件，再次获取人脸信息。该实施方式避免了执行错误的界面交互操作。实施方式避免了执行错误的界面交互操作。实施方式避免了执行错误的界面交互操作。

【技术实现步骤摘要】
基于触控屏的视触结合交互方法、装置、设备和可读介质


[0001]本公开的实施例涉及计算机
，具体涉及基于触控屏的视触结合交互方法、装置、设备和可读介质。

技术介绍

[0002]视线是揭示人理解外界环境方式的重要线索，通过追踪用户的眼睛运动和注视点，从而获得用户的注意力和意图。在人机交互方面，视线估计可以用于改善用户的界面交互体验，提供更直观、自然的交互方式。目前，在使用视线估计进行界面交互时，通常采用的方式为：通过预先训练的神经网络模型确定用户的注视点位置，以及确定视线停留时间，确定交互意图并进行界面交互。
[0003]然而，当采用上述方式使用视线估计进行界面交互时，经常会存在如下技术问题：第一，通过视线停留时间确定交互意图，可能会因视线停留时间无法把控而导致时间过长或过短，从而导致执行了错误的界面交互操作。
[0004]第二，在对神经网络模型进行校正时，通常设定固定的校正时间进行校正，可能因神经网络模型出现问题而未到校正时间，导致无法准确识别注视点位置，无法进行界面交互；在注视环境发送改变时，预先训练的模型无法适应环境的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于触控屏的视触结合交互方法，其中，所述触控屏包括眼动组件和触控显示组件，包括：通过所述眼动组件，获取人脸信息；根据所述人脸信息，确定注视点位置信息；生成注视点，以及根据所述注视点位置信息，在所述触控显示组件上显示所述注视点；响应于检测到作用于预设区域的第一用户操作，执行如下交互步骤：响应于所述第一用户操作表征双指操作，确定第一触点和第二触点；根据所述第一触点和所述第二触点，确定移动触点和指令触点；响应于检测到所述移动触点作用于所述注视点的移动操作，且检测到移动完成，接收所述指令触点生成的第一指令信息；根据所述第一指令信息和所述注视点的所在位置，执行交互操作；响应于检测到所述交互步骤执行完成，通过所述眼动组件，再次获取人脸信息。2.根据权利要求1所述的方法，其中，所述注视点为以下之一：光标点、区域特效、显示内容高亮。3.根据权利要求1所述的方法，其中，所述预设区域为预先设定的所述触控显示组件中的任意区域，所述触控显示组件为以下之一：正触控屏、反触控屏、触控板。4.根据权利要求1所述的方法，其中，所述根据所述人脸信息，确定注视点位置信息，包括：将所述人脸信息输入至预先训练的注视点定位模型中，得到注视点位置信息。5.根据权利要求1所述的方法，其中，所述交互步骤还包括：响应于检测到作用于预设区域的第一用户操作，且所述第一用户操作表征对注视点进行移动，确认是否移动完成；响应于移动完成，根据所述注视点的移动位置，生成移动后注视点位置信息；通过所述眼动组件获取第二人脸信息，以及将所述第二人脸信息和所述移动后注视点位置信息确定为注视点移动信息；将所述注视点移动信息添加至预设移动信息序列中，其中，所述预设移动信息序列初始为空。6.根据权利要求4所述的方法，其中，所述方法还包括：响应于当前时间为预设校正时间，或响应于预设移动信息序列满足第一预设条件，执行如下校正步骤：根据所述预设移动信息序列，对所述注视点定位...

【专利技术属性】
技术研发人员：陆峰，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：