一种注视点定位方法及定位装置、显示设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种注视点定位方法及定位装置、显示设备和存储介质，涉及智能显示技术领域，能够解决现有技术中由于全局性的瞳孔中心与注视点的映射关系而导致注视点的定位精度较低，用户体验较差的问题。所述方法包括：获取多幅标定眼部图像；获取标定眼部图像的瞳孔中心坐标；获取每个区域的瞳孔中心与标定点的映射比；获取实时眼部图像；获取实时眼部图像的瞳孔中心坐标；根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置，获取与实时眼部图像的瞳孔中心坐标对应的映射比；获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。本发明专利技术用于显示设备。

A fixing point positioning method and positioning device, display device and storage medium

The embodiment of the invention provides a fixing point positioning method and a fixing device, a display device and a storage medium, which relates to the field of intelligent display technology, and can solve the problem of low fixing point positioning accuracy and poor user experience in the prior art due to the mapping relationship between the global pupil center and the fixing point. The method includes: acquiring multiple calibrated eye images; acquiring pupil center coordinates of calibrated eye images; acquiring the mapping ratio between pupil center and calibration points of each region; acquiring real-time eye images; acquiring pupil center coordinates of real-time eye images; acquiring pupil center coordinates of real-time eye images on the target screen according to the position of pupil center coordinates of real-time eye images, acquiring pupils of real-time eye images. The product of the pupil center coordinate and the corresponding mapping ratio of the real-time eye image is obtained, and the product coordinate is taken as the real-time fixing point coordinate of the pupil center coordinate of the real-time eye image. The present invention is used for display equipment.

【技术实现步骤摘要】
一种注视点定位方法及定位装置、显示设备和存储介质
本专利技术涉及智能显示
，尤其涉及一种注视点定位方法及定位装置、显示设备和存储介质。
技术介绍
随着虚拟现实(VirtualReality，VR)技术的发展，非侵入式视线追踪技术在虚拟现实交互、注视点渲染等方面的应用也得到了重视。目前，在视线追踪系统中普遍采用的是非线性映射模型和基于交比映射的方法，这两种方法都存在有明显的缺点，即在瞳孔进行运动时，都默认瞳孔的运动是全局性质的，即瞳孔中心与注视点的映射关系是全局性质的，这样导致注视点的定位精度较低，用户体验较差。
技术实现思路
本专利技术的实施例提供一种注视点定位方法及定位装置、显示设备和存储介质，能够解决现有技术中由于全局性的瞳孔中心与注视点的映射关系而导致注视点的定位精度较低，用户体验较差的问题。为达到上述目的，本专利技术的实施例采用如下技术方案：一方面，本专利技术实施例提供一种注视点定位方法，所述方法包括：获取目标对象分别注视多个标定点时的多幅标定眼部图像；获取所述标定眼部图像的瞳孔中心坐标；根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；获取目标对象的实时眼部图像；获取所述实时眼部图像的瞳孔中心坐标；根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。可选的，所述根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比具体包括：多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标外围一周的外围瞳孔坐标，以所述中心瞳孔坐标为端点、经过任意一个所述外围瞳孔坐标的射线将所述目标屏幕分成多个区域，每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述外围瞳孔坐标组成的第一三角形；所述中心瞳孔坐标对应的标定点和相邻两个所述外围瞳孔坐标对应的标定点组成一个第二三角形，获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。可选的，多个所述外围瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标外围一周。可选的，在获取目标眼部图像的瞳孔中心坐标之后，所述方法还包括：对所述目标眼部图像的瞳孔中心坐标进行修正；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。可选的，所述对所述目标眼部图像的瞳孔中心坐标进行修正具体包括：获取目标对象的眼球半径；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标；其中，所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。可选的，获取目标眼部图像的瞳孔中心坐标具体包括：对所述目标眼部图像进行灰度转换；对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；对所述瞳孔轮廓采用质心法获取瞳孔中心坐标；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。可选的，在所述对转换后的目标眼部图像进行二值化处理之前，所述方法还包括：对转换后的目标眼部图像进行去噪处理；所述对转换后的目标眼部图像进行二值化处理和开运算处理具体为：对去噪后的目标眼部图像进行二值化处理和开运算处理。另一方面，本专利技术实施例提供一种注视点定位装置，所述装置包括：第一获取单元，用于获取目标对象分别注视多个标定点时的多幅标定眼部图像；第二获取单元，用于获取所述标定眼部图像的瞳孔中心坐标；第三获取单元，用于根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；所述第一获取单元还用于获取目标对象的实时眼部图像；所述第二获取单元还用于获取所述实时眼部图像的瞳孔中心坐标；所述第三获取单元还用于根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；第四获取单元，用于获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。可选的，所述第三获取单元具体用于：多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标外围一周的外围瞳孔坐标，以所述中心瞳孔坐标为端点、经过任意一个所述外围瞳孔坐标的射线将所述目标屏幕分成多个区域，每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述外围瞳孔坐标组成的第一三角形；所述中心瞳孔坐标对应的标定点和相邻两个所述外围瞳孔坐标对应的标定点组成一个第二三角形，获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。可选的，多个所述外围瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标外围一周。可选的，所述装置还包括：修正单元，用于对所述目标眼部图像的瞳孔中心坐标进行修正；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。可选的，所述修正单元具体用于：获取目标对象的眼球半径；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标；其中，所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。可选的，所述第二获取单元具体用于：对所述目标眼部图像进行灰度转换；对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；对所述瞳孔轮廓采用质心法获取瞳孔中心坐标；其中，所述目标眼部图像为所述标定眼部图像或所述实时本文档来自技高网...

【技术保护点】
1.一种注视点定位方法，其特征在于，所述方法包括：获取目标对象分别注视多个标定点时的多幅标定眼部图像；获取所述标定眼部图像的瞳孔中心坐标；根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；获取目标对象的实时眼部图像；获取所述实时眼部图像的瞳孔中心坐标；根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。

【技术特征摘要】
1.一种注视点定位方法，其特征在于，所述方法包括：获取目标对象分别注视多个标定点时的多幅标定眼部图像；获取所述标定眼部图像的瞳孔中心坐标；根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；获取目标对象的实时眼部图像；获取所述实时眼部图像的瞳孔中心坐标；根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。2.根据权利要求1所述的注视点定位方法，其特征在于，所述根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比具体包括：多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标外围一周的外围瞳孔坐标，以所述中心瞳孔坐标为端点、经过任意一个所述外围瞳孔坐标的射线将所述目标屏幕分成多个区域，每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述外围瞳孔坐标组成的第一三角形；所述中心瞳孔坐标对应的标定点和相邻两个所述外围瞳孔坐标对应的标定点组成一个第二三角形，获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。3.根据权利要求2所述的注视点定位方法，其特征在于，多个所述外围瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标外围一周。4.根据权利要求1所述的注视点定位方法，其特征在于，在获取目标眼部图像的瞳孔中心坐标之后，所述方法还包括：对所述目标眼部图像的瞳孔中心坐标进行修正；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。5.根据权利要求4所述的注视点定位方法，其特征在于，所述对所述目标眼部图像的瞳孔中心坐标进行修正具体包括：获取目标对象的眼球半径；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标；其中，所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。6.根据权利要求1所述的注视点定位方法，其特征在于，获取目标眼部图像的瞳孔中心坐标具体包括：对所述目标眼部图像进行灰度转换；对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；对所述瞳孔轮廓采用质心法获取瞳孔中心坐标；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。7.根据权利要求6所述的注视点定位方法，其特征在于，在所述对转换后的目标眼部图像进行二值化处理之前，所述方法还包括：对转换后的目标眼部图像进行去噪处理；所述对转换后的目标眼部图像进行二值化处理和开运算处理具体为：对去噪后的目标眼部图像进行二值化处理和开运算处理。8.一种注视点定位装置，其特征在于，所述装置包括：第一获取单元，用于获取目标对象分别注视多个标定...

【专利技术属性】
技术研发人员：薛亚冲，张浩，陈丽莉，孙建康，楚明磊，何惠东，张硕，李纲，彭项君，赵晨曦，吕耀宇，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11