光斑标注方法及系统技术方案

技术编号:37453574 阅读:30 留言:0更新日期:2023-05-06 09:25
本发明专利技术公开了一种光斑标注方法及系统,所述光斑标注方法包括:获取包含人眼的原始图像;检测所述原始图像中人眼的瞳孔椭圆参数;基于所述瞳孔椭圆参数,通过预设的光斑估计模型,确定各光斑的编号,并估计各编号光斑的粗位置,所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型;通过图像处理过程判断各个编号的光斑的存在性,所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作;对于确实存在的光斑,根据粗位置计算其光斑中心坐标。本发明专利技术能够解决现有技术中光斑存在性的判断不够客观、难以准确对光斑编号、标注精确性不足、效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
光斑标注方法及系统


[0001]本专利技术涉及虚拟现实
,特别是涉及一种光斑标注方法及系统。

技术介绍

[0002]眼动追踪(也称眼球追踪)不仅被广泛用于心理学、交通、神经科学等科研领域,同时也在游戏、工业仿真、医学辅助治疗等领域发挥着重要作用。随着虚拟现实技术的快速发展,眼动追踪逐渐成为虚拟现实里交互和注视点渲染的核心技术之一,眼动追踪通过眼动追踪设备实现。
[0003]依赖于光斑信息的眼球追踪算法根据相机拍摄到的眼球图像,进行特征检测(包含光斑位置及编号信息),然后估计注视点在屏幕上的坐标或视线方向。
[0004]现有技术主要采用手动标注的方式获取光斑位置及编号信息,这种方式存在以下问题:
[0005]1)光斑存在性的判断不够客观;候选“光斑”的大小、形态、明暗各异,若由标注人判断候选“光斑”是否存在,则存在主观偏差,尤其是不同的标注人员对同一批光斑图像进行标注时,很难以绝对统一的标准对光斑存在性进行判断;
[0006]2)由于不同编号光源的发光属性无差异,所以光斑的大小、形态、明暗特征等无法用于光斑的区分;另外,编号相近的光斑在图像的位置变化范围存在交集。因此标注人员仅通过观察图像上光斑特点及其位置,难以准确对光斑编号;
[0007]3)人工标注是由人的眼、手协调进行光斑标注,标注精确性不足,且效率低。

技术实现思路

[0008]为此,本专利技术的一个实施例提出一种光斑标注方法,以解决现有技术中光斑存在性的判断不够客观、难以准确对光斑编号、标注精确性不足、效率低的问题。
[0009]根据本专利技术一实施例的光斑标注方法,包括:
[0010]获取包含人眼的原始图像;
[0011]检测所述原始图像中人眼的瞳孔椭圆参数;
[0012]基于所述瞳孔椭圆参数,通过预设的光斑估计模型,确定各光斑的编号,并估计各编号光斑的粗位置,所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型;
[0013]通过图像处理过程判断各个编号的光斑的存在性,所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作;
[0014]对于确实存在的光斑,根据粗位置计算其光斑中心坐标。
[0015]根据本专利技术实施例的光斑标注方法,基于瞳孔椭圆参数,通过预设的光斑估计模型,确定各光斑的编号,同时估计各编号光斑的粗位置,再判断各个编号的光斑的存在性,即通过图像处理技术实现光斑存在性的判断,排除了人的主观性干扰,且标注效率更高,通过光斑估计模型还能够准确确定光斑的编号,最后对于确实存在的光斑,根据粗位置计算其光斑中心坐标,能够提升标注的精确性。
[0016]另外,根据本专利技术上述实施例的光斑标注方法,还可以具有如下附加的技术特征:
[0017]进一步地,所述光斑估计模型通过以下步骤建立得到:
[0018]获取瞳孔椭圆样本数据和对应的光斑位置样本数据,并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集;
[0019]基于所述数据集,训练光斑估计模型,所述光斑估计模型为全连接神经网络模型,输入数据为向量[center,a_b,angle],输出数据为向量[x,y],其中,center为瞳孔椭圆的中心坐标,a_b为瞳孔椭圆的半轴长,angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度,[x,y]为光斑位置坐标。
[0020]进一步地,通过图像处理过程判断各个编号的光斑的存在性具体包括:
[0021]对于目标编号的目标光斑,以所述目标光斑的粗位置为中心,从所述原始图像中剪裁出具有第一预设尺寸的矩形图像;
[0022]对所述矩形图像执行阈值分割操作,得到第一图像;
[0023]对所述第一图像执行腐蚀操作,得到第二图像;
[0024]对所述第二图像执行找轮廓操作,得到轮廓集合;
[0025]若所述轮廓集合不为空集,且所述轮廓集合中面积最大的轮廓的面积大于阈值,则判定所述目标光斑确实存在;否则,判定所述目标光斑不存在。
[0026]进一步地,对于确实存在的光斑,根据粗位置计算其光斑中心坐标具体包括:
[0027]对于确实存在的目标光斑,将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上,以得到中间图像;
[0028]计算所述中间图像的质心坐标;
[0029]根据所述质心坐标和粗位置,计算所述原始图像的坐标系下的光斑中心坐标。
[0030]进一步地,采用下式计算所述中间图像的质心坐标:
[0031][0032][0033]其中,x
c
、y
c
为所述中间图像的质心坐标,i为中间图像x轴像素坐标,j为中间图像y轴像素坐标,I
ij
为像素坐标(i,j)对应的像素值,m
min
、m
max
分别为x轴方向求和计算的起始与终止坐标,n
min
、n
max
分别为y轴方向求和计算的起始与终止坐标;
[0034]采用下式计算所述原始图像的坐标系下的光斑中心坐标:
[0035]x
p
=x
r
+x
c

w/2
[0036]y
p
=y
r
+y
c

h/2
[0037]其中,x
p
、y
p
为所述原始图像的坐标系下的光斑中心坐标,x
r
、y
r
为所述目标光斑的粗位置的坐标,w、h分别为所述纯黑背景图像的宽和高。
[0038]本专利技术的另一个实施例提出一种光斑标注系统,以解决现有技术中光斑存在性的判断不够客观、难以准确对光斑编号、标注精确性不足、效率低的问题。
[0039]根据本专利技术一实施例的光斑标注系统,包括:
[0040]获取模块,用于获取包含人眼的原始图像;
[0041]检测模块,用于检测所述原始图像中人眼的瞳孔椭圆参数;
[0042]估计模块,用于基于所述瞳孔椭圆参数,通过预设的光斑估计模型,确定各光斑的编号,并估计各编号光斑的粗位置,所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型;
[0043]判断模块,用于通过图像处理过程判断各个编号的光斑的存在性,所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作;
[0044]计算模块,用于对于确实存在的光斑,根据粗位置计算其光斑中心坐标。
[0045]根据本专利技术实施例的光斑标注系统,基于瞳孔椭圆参数,通过预设的光斑估计模型,确定各光斑的编号,同时估计各编号光斑的粗位置,再判断各个编号的光斑的存在性,即通过图像处理技术实现光斑存在性的判断,排除了人的主观性干扰,且标注效率更高,通过光斑估计模型还能够准确确定光斑的编号,最后对于确实存在的光斑,根据粗位置计算其本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种光斑标注方法,其特征在于,所述方法包括:获取包含人眼的原始图像;检测所述原始图像中人眼的瞳孔椭圆参数;基于所述瞳孔椭圆参数,通过预设的光斑估计模型,确定各光斑的编号,并估计各编号光斑的粗位置,所述光斑估计模型为用于输出光斑位置坐标的全连接神经网络模型;通过图像处理过程判断各个编号的光斑的存在性,所述图像处理过程至少包括剪裁、阈值分割操作、腐蚀操作、找轮廓操作;对于确实存在的光斑,根据粗位置计算其光斑中心坐标。2.根据权利要求1所述的光斑标注方法,其特征在于,所述光斑估计模型通过以下步骤建立得到:获取瞳孔椭圆样本数据和对应的光斑位置样本数据,并根据所述瞳孔椭圆样本数据和所述光斑位置样本数据制作数据集;基于所述数据集,训练光斑估计模型,所述光斑估计模型为全连接神经网络模型,输入数据为向量[center,a_b,angle],输出数据为向量[x,y],其中,center为瞳孔椭圆的中心坐标,a_b为瞳孔椭圆的半轴长,angle为瞳孔椭圆短轴相对坐标系x轴方向逆时针旋转的角度,[x,y]为光斑位置坐标。3.根据权利要求1所述的光斑标注方法,其特征在于,通过图像处理过程判断各个编号的光斑的存在性具体包括:对于目标编号的目标光斑,以所述目标光斑的粗位置为中心,从所述原始图像中剪裁出具有第一预设尺寸的矩形图像;对所述矩形图像执行阈值分割操作,得到第一图像;对所述第一图像执行腐蚀操作,得到第二图像;对所述第二图像执行找轮廓操作,得到轮廓集合;若所述轮廓集合不为空集,且所述轮廓集合中面积最大的轮廓的面积大于阈值,则判定所述目标光斑确实存在;否则,判定所述目标光斑不存在。4.根据权利要求3所述的光斑标注方法,其特征在于,对于确实存在的光斑,根据粗位置计算其光斑中心坐标具体包括:对于确实存在的目标光斑,将所述轮廓集合中面积最大的轮廓绘制到具有第二预设尺寸的、像素值均为0的纯黑背景图像上,以得到中间图像;计算所述中间图像的质心坐标;根据所述质心坐标和粗位置,计算所述原始图像的坐标系下的光斑中心坐标。5.根据权利要求4所述的光斑标注方法,其特征在于,,采用下式计算所述中间图像的质心坐标:
其中,x
c
、y
c
为所述中间图像的质心坐标,i为中间图像x轴像素坐标,j为中间图像y轴像素坐标,I
ij
为像素坐标(i,j)对应的像素值,m
min
、m
max
分别为x轴方向求和计算的起始与终止坐标,n
min
、n
max
分别为y轴方向求和计算的起始与终止坐标;采用下式计算所述原始图像的坐标系下的光斑中心坐标:x
p
=x
r
+x
c

w/2y
p
=y
r
+y
c

h/2其中,x
p
、y
p
为所述原始图像的坐标系下的光斑中心坐标,x
r
、y
r
为所述目标光斑的粗位置的坐标,w、h分别为所述纯黑背景图像的宽和高。6.一种光斑标注系统,其特征在于,...

【专利技术属性】
技术研发人员:徐浩张鑫沈忱付阳孙其民
申请(专利权)人:南昌虚拟现实研究院股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1