确定用户注视位置的方法、装置、存储介质和电子设备制造方法及图纸

本公开是关于一种确定用户注视位置的方法、装置、存储介质、电子设备，该方法包括：获取目标用户相对于该显示屏的目标距离；并获取该目标用户的用户图像，该全局图像为该显示屏前的目标空间的图像；根据该目标距离和该全局图像，从该目标空间内预先设定的多个子空间中确定该目标用户的眼部所处的第一空间；根据预先确定的子空间、用户图像，与该显示屏上的屏幕坐标之间的对应关系，确定与该第一空间及该目标用户的用户图像对应的该目标用户在该显示屏上的注视位置。能够根据采集到的用户图像和用户距离对用户注视位置进行识别，在保证用户注视位置识别的精确性的同时，提高用户注视位置识别过程的稳定性和适用范围，进而提高用户使用体验。

【技术实现步骤摘要】
确定用户注视位置的方法、装置、存储介质和电子设备
本公开涉及人机交互领域，尤其涉及一种确定用户注视位置的方法、装置、存储介质、电子设备。
技术介绍
随着智能终端的发展，人和终端进行远距离交互的方式也越来越多，其中，通过人眼的注视位置与终端进行交互并对终端进行控制是远距离交互方式的重要发展方向。该注视位置用于表征用户观看终端显示屏时人眼在显示屏上的聚焦点的位置。相关技术中，通常需要通过定制化的硬件设备捕捉人眼的生物特性，进而通过主设备根据这些生物特性识别用户的注视位置。例如，通过具备特殊红外发射设备的眼动仪的射出具备特定波形的红外信号，再通过主设备通过接收到的反馈信号进行数据分析，以确定用户的注视位置。或者，通过与主设备绑定的可穿戴设备，比如智能眼镜等，采集人眼数据，辅助主设备完成人眼的分析，达到眼动追踪的目的。上述方式都需要定制化的硬件设备进行用户信息的采集，实施成本较高，并且定制化的硬件设备和主设备之间也会出现兼容性问题，设备运行的稳定性以及对不同应用场景的适应性较差，进而造成用户使用体验不佳。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种确定用户注视位置的方法、装置、存储介质、电子设备。根据本公开实施例的第一方面，提供一种确定用户注视位置的方法，应用于终端，所述终端包含显示屏，所述方法包括：获取目标用户相对于所述显示屏的目标距离；并获取所述目标用户的用户图像，所述用户图像包括：全局图像、头部图像和眼部图像，所述全局图像为所述显示屏前的目标空间的图像；根据所述目标距离和所述全局图像，从所述目标空间内预先设定的多个子空间中确定所述目标用户的眼部所处的第一空间；根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置。可选的，所述根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置，包括：根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述显示屏的屏幕坐标；其中，预先根据所述显示屏的尺寸将所述显示屏划分成多个子区域，将每个子区域中的预设位置的坐标作为该子区域的屏幕坐标；将确定的屏幕坐标确定为所述目标用户在所述显示屏上的注视位置。可选的，所述根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述显示屏的屏幕坐标，包括：确定所述第一空间对应的完成训练的坐标预测模型；其中，为每个子空间训练有坐标预测模型，且所述坐标预测模型基于用户图像、用户注视位置在所述显示屏上的屏幕坐标完成训练；将所述目标用户的用户图像输入所述坐标预测模型，得到所述目标用户的用户图像对应的所述显示屏的屏幕坐标。可选的，采用以下方法对所述坐标预测模型进行训练：针对每个子空间，构建初始坐标预测模型；获取针对该子空间的已标注训练数据集；其中，所述训练数据集包括多组训练数据，每组训练数据包括：测试用户的用户图像样本以及所述用户图像样本对应的屏幕坐标标签，并使用屏幕坐标标签对训练数据进行标注；针对任一子空间采集用户图像样本时，测试用户的眼部均处于该任一子空间；所述屏幕坐标标签表征采集用户图像样本时，测试用户在所述显示屏上的注视位置对应的屏幕坐标，所述用户图像样本包括：全局图像样本、头部图像样本和眼部图像样本；将所述已标准训练数据集输入所述初始坐标预测模型；将得到的预测结果与标注值进行比对，根据比对结果对初始坐标预测模型进行参数调整，直到模型收敛得到完成训练的坐标预测模型。可选的，采用以下方法对所述多个子空间进行设定：根据图像获取装置的拍摄角度范围和有效拍摄距离将所述目标空间划分成多个子空间。可选的，采用以下方法对所述多个子空间进行设定：使用第一预设角度间隔将图像获取装置的水平拍摄角度范围进行水平方向的划分，得到多个水平方向的第一子空间；使用第二预设角度间隔将图像获取装置的垂直拍摄角度范围进行垂直方向的划分，得到多个竖直方向的第二子空间；使用预设距离间隔将图像获取装置的有效拍摄距离划分为远近方向的第三子空间；将所述第一子空间、第二子空间、第三子空间交叉间隔得到的子空间确定为将所述目标空间划分的子空间。可选的，所述根据所述目标距离和所述全局图像，从所述目标空间内预先设定的多个子空间中确定所述目标用户的眼部所处的第一空间，包括：通过预设的图像识别算法，从所述全局图像中识别目标局部图像，所述目标局部图像中包含所述目标用户的眼部；根据所述目标局部图像在所述全局图像中的图像位置信息，确定所述目标用户的眼部在第一平面上的平面位置信息，其中，所述第一平面与所述显示屏所在的第二平面平行；结合所述平面位置信息和所述目标距离，确定所述目标用户的眼部所处第一空间。可选的，根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间、所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置，包括：确定所述第一空间对应的完成训练的层级坐标预测模型；其中，为每个子空间训练有层级坐标预测模型，且所述层级坐标预测模型基于用户图像、用户注视位置在所述显示屏上的屏幕坐标以及预先设定的多个层级完成训练；按照所述层级坐标预测模型对应的层级数，将所述目标用户的用户图像反复输入所述层级坐标预测模型，每次输入得到对应层级下，所述目标用户在所述显示屏上的注视位置；其中，层级数越大，对应为所述显示屏划分的子区域越多。根据本公开实施例的第二方面，提供一种确定用户注视位置的装置，应用于终端，所述终端包含显示屏，所述装置包括：距离获取模块，被配置为获取目标用户相对于所述显示屏的目标距离；并图像获取模块，被配置为获取所述目标用户的用户图像，所述用户图像包括：全局图像、头部图像和眼部图像，所述全局图像为所述显示屏前的目标空间的图像；空间确定模块，被配置为根据所述目标距离和所述全局图像，从所述目标空间内预先设定的多个子空间中确定所述目标用户的眼部所处的第一空间；位置确定模块，被配置为根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置。可选的，所述位置确定模块，被配置为：根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述显示屏的屏幕坐标；其中，预先根据所述显示屏的尺寸将所述显示屏划分成多个子区域，将每个子区域中的预设位置的坐标作为该子区域的屏幕坐标；将确定的屏幕坐本文档来自技高网...

【技术保护点】
1.一种确定用户注视位置的方法，其特征在于，应用于终端，所述终端包含显示屏，所述方法包括：/n获取目标用户相对于所述显示屏的目标距离；并/n获取所述目标用户的用户图像，所述用户图像包括：全局图像、头部图像和眼部图像，所述全局图像为所述显示屏前的目标空间的图像；/n根据所述目标距离和所述全局图像，从所述目标空间内预先设定的多个子空间中确定所述目标用户的眼部所处的第一空间；/n根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置。/n

【技术特征摘要】
1.一种确定用户注视位置的方法，其特征在于，应用于终端，所述终端包含显示屏，所述方法包括：
获取目标用户相对于所述显示屏的目标距离；并
获取所述目标用户的用户图像，所述用户图像包括：全局图像、头部图像和眼部图像，所述全局图像为所述显示屏前的目标空间的图像；
根据所述目标距离和所述全局图像，从所述目标空间内预先设定的多个子空间中确定所述目标用户的眼部所处的第一空间；
根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置。


2.根据权利要求1所述的方法，其特征在于，所述根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置，包括：
根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述显示屏的屏幕坐标；其中，预先根据所述显示屏的尺寸将所述显示屏划分成多个子区域，将每个子区域中的预设位置的坐标作为该子区域的屏幕坐标；
将确定的屏幕坐标确定为所述目标用户在所述显示屏上的注视位置。


3.根据权利要求2所述的方法，其特征在于，所述根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间及所述目标用户的用户图像对应的所述显示屏的屏幕坐标，包括：
确定所述第一空间对应的完成训练的坐标预测模型；其中，为每个子空间训练有坐标预测模型，且所述坐标预测模型基于用户图像、用户注视位置在所述显示屏上的屏幕坐标完成训练；
将所述目标用户的用户图像输入所述坐标预测模型，得到所述目标用户的用户图像对应的所述显示屏的屏幕坐标。


4.根据权利要求1所述的方法，其特征在于，采用以下方法对所述坐标预测模型进行训练：
针对每个子空间，构建初始坐标预测模型；
获取针对该子空间的已标注训练数据集；
其中，所述训练数据集包括多组训练数据，每组训练数据包括：测试用户的用户图像样本以及所述用户图像样本对应的屏幕坐标标签，并使用屏幕坐标标签对训练数据进行标注；针对任一子空间采集用户图像样本时，测试用户的眼部均处于该任一子空间；所述屏幕坐标标签表征采集用户图像样本时，测试用户在所述显示屏上的注视位置对应的屏幕坐标，所述用户图像样本包括：全局图像样本、头部图像样本和眼部图像样本；
将所述已标准训练数据集输入所述初始坐标预测模型；
将得到的预测结果与标注值进行比对，根据比对结果对初始坐标预测模型进行参数调整，直到模型收敛得到完成训练的坐标预测模型。


5.根据权利要求1所述的方法，其特征在于，采用以下方法对所述多个子空间进行设定：
根据图像获取装置的拍摄角度范围和有效拍摄距离将所述目标空间划分成多个子空间。


6.根据权利要求5所述的方法，其特征在于，采用以下方法对所述多个子空间进行设定：
使用第一预设角度间隔将图像获取装置的水平拍摄角度范围进行水平方向的划分，得到多个水平方向的第一子空间；
使用第二预设角度间隔将图像获取装置的垂直拍摄角度范围进行垂直方向的划分，得到多个竖直方向的第二子空间；
使用预设距离间隔将图像获取装置的有效拍摄距离划分为远近方向的第三子空间；
将所述第一子空间、第二子空间、第三子空间交叉间隔得到的子空间确定为将所述目标空间划分的子空间。


7.根据权利要求1所述的方法，其特征在于，所述根据所述目标距离和所述全局图像，从所述目标空间内预先设定的多个子空间中确定所述目标用户的眼部所处的第一空间，包括：
通过预设的图像识别算法，从所述全局图像中识别目标局部图像，所述目标局部图像中包含所述目标用户的眼部；
根据所述目标局部图像在所述全局图像中的图像位置信息，确定所述目标用户的眼部在第一平面上的平面位置信息，其中，所述第一平面与所述显示屏所在的第二平面平行；
结合所述平面位置信息和所述目标距离，确定所述目标用户的眼部所处第一空间。


8.根据权利要求1所述的方法，其特征在于，根据预先确定的子空间、用户图像，与所述显示屏上的屏幕坐标之间的对应关系，确定与所述第一空间、所述目标用户的用户图像对应的所述目标用户在所述显示屏上的注视位置，包括：
确定所述第一空间对应的完成训练的层级坐标预测模型；其中，为每个子空间训练有层级坐标预测模型，且所述层级坐标预测模型基于用户图像、用户注视位置在所述显示屏上的屏幕坐标以及预先设定的多个层级完成训练；
按照所述层级坐标预测模型对应的层级数，将所述目标用户的用户图像反复输入所述层级坐标预测模型，每次输入得到对应层级下，所述目标用户在所述显示屏上的注视位置；
其中，层级数越大，对应为所述显示屏划分的子区域越多。


9.一...

【专利技术属性】
技术研发人员：何力，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京;11