一种基于深度学习的视线估计方法及视线估计装置制造方法及图纸

本发明专利技术提供一种基于深度学习的视线估计方法，包括：采集人脸图像，并上传至服务器；对人脸图像进行数据增强，以增加深度学习的训练精度；在数据增强过的人脸图像上标注出特征点坐标；对已标注的特征点坐标进行预估后，对特征点坐标进行定位训练，以增加特征点坐标的精度；对视线特征向量Lt进行视线估计后，以得到视线特征向量L′t即：

【技术实现步骤摘要】
一种基于深度学习的视线估计方法及视线估计装置
本专利技术涉及一种视线追踪方法，尤其是一种基于深度学习的视线估计方法及视线估计装置。
技术介绍
对人眼注视点的估计一直都是人们感兴趣的课题，高精度注视点估计技术愈加成熟.在心理学领域,注视点估计技术已逐渐成为心理评估的重要辅助方式，在广告心理学、体育心理学、交通心理学、航空心理学等领域中发挥着重要的作用，除此之外，注视点估计技术还可作为一种新型的人机交互(human-computerinteraction，HCI)手段，为高位截瘫患者或“渐冻人”患者带来福音.更广泛的应用还包括：驾驶员疲劳安全警告系统、战斗机飞行员火控系统、虚拟现实系统和游戏操作系统等。最近几年,随着图像处理技术的高速发展和高分辨率的摄像机器的应用,人眼视线检测的精度已经达到很高的程度。但是目前人眼视线检测技术仍然不像语音识别、手写文字输入技术发展的那样成熟，其主要的原因是成本问题。高分辨率的摄像机以及与之相关的图像处理算法的复杂所带来的价格是它无法普及的主要原因。但是可以预见,它以后在人机交互、驾驶员疲劳检测、助残、空中导航、军事等方面都具有广阔的前景。目前，现有的视线本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视线估计方法，包括以下步骤：步骤1、采集人脸图像，并上传至服务器；步骤2、对人脸图像进行数据增强，以增加深度学习的训练精度；步骤3、在数据增强过的人脸图像上标注出特征点坐标；步骤4、对已标注的特征点坐标进行预估后，对特征点坐标进行定位训练，以增加特征点坐标的精度；步骤5、对视线特征向量Lt进行视线估计后，以得到视线特征向量L′t，即：

【技术特征摘要】
1.一种基于深度学习的视线估计方法，包括以下步骤：步骤1、采集人脸图像，并上传至服务器；步骤2、对人脸图像进行数据增强，以增加深度学习的训练精度；步骤3、在数据增强过的人脸图像上标注出特征点坐标；步骤4、对已标注的特征点坐标进行预估后，对特征点坐标进行定位训练，以增加特征点坐标的精度；步骤5、对视线特征向量Lt进行视线估计后，以得到视线特征向量L′t，即：2.根据权利要求1所述的一种基于深度学习的视线估计方法，其特征在于，在步骤3中，采用级联回归方法，利用下式标注出人脸图像上的所有特征点坐标，即：3.根据权利要求1所述的一种基于深度学习的视线估计方法，其特征在于，步骤4的具体方法如下：步骤41、对特征点坐标进行预估，设定向量S表示形状，表示当前对S的预估；步骤42、提取级联中的每个回归rt(.,.)预测图像和中的一个更新向量，将其加在上得到特征点坐标的预估改进，即：步骤43、设定已经训练数据(I1,S1),...,(In,Sn)，其中Ii是人脸图像，Si是其形状向量；步骤44、在训练级联的第一回归方程r0中，建立训练数据三联体，即，面部图像Iπi、初始形状预估和目标更新步幅其中：πi∈{1,...,n}i＝1,...,N；步骤45、设定三联体的总数，即：N＝nR，其中，R是每张图像初始值的个数；在每张图像中，得到初始形状预估平均随机采样特征{S1,...,Sn}；步骤46、基于每张图像的初始形状预估平均随机采样特征{S1,...,Sn}，以学习回归方程r0；步骤47、通过下式对训练三联体集进行更新、迭代，直到学习好的T个回归级联的混合满足给定的精度标准，即：4.根据权利要求1所述的一种基于深度学习的视线估计方法，其特征在于，步骤5中，设定视线特征向量Lt，即：通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，采用下式进行校准，即：(Δx',Δy')＝(Δx,Δy)×k(cosλ+isinλ)，上式中，(Δx',Δy')为校准后的瞳孔中心到普尔钦斑向量；经校验后，以得到视线特征向量L′t，即：5.一种实施权利要求1中所述的一种基于深度学习的视线估计方法的...

【专利技术属性】
技术研发人员：夏立，
申请(专利权)人：上海像我信息科技有限公司，
类型：发明
国别省市：上海,31