眼神捕捉方法及装置、存储介质、终端制造方法及图纸

一种眼神捕捉方法及装置、存储介质、终端，所述眼神捕捉方法，包括：获取演员的眼部图像；获取所述演员的眼部三维信息，根据所述眼部三维信息确定所述演员的三维眼球，所述眼部三维信息至少包括：眼球中心位置、眼球半径及虹膜尺寸；根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，并根据所述三维瞳孔中心位置捕捉所述演员的眼神方向。上述方案能够降低眼神捕捉的成本以及提高用户体验。

【技术实现步骤摘要】
眼神捕捉方法及装置、存储介质、终端
本专利技术实施例涉及眼神捕捉领域，尤其涉及一种眼神捕捉方法及装置、存储介质、终端。
技术介绍
人脸动画是当前很多热门应用的重要组成部分，比如电影、游戏、虚拟现实等。目前通常直接捕捉真实演员的面部并生成虚拟的三维人脸模型。眼睛作为人脸中最能传达情感信息的器官，在人脸捕捉技术中发挥着至关重要的作用。能否捕捉到精细的眼球运动(即眼神)，是能否准确传达演员的意图和感受的关键。除此之外，眼神捕捉在智能交互中也发挥着极其重要的作用，通过眼神捕捉，可以准确的捕捉到用户紧盯的方向，并捕捉到用户所感兴趣的事物。当前的眼神捕捉技术通常是基于红外设备的，用户需要佩戴特制的眼镜或者布置特定的红外设备。然而，这种眼神捕捉方式给用户带来了极大的不舒适感并且成本很高，且通常要到指定的工作室进行采集。基于红外设备的技术，极大的阻碍了眼神捕捉技术的发展和推广。
技术实现思路
本专利技术实施例解决的技术问题是眼神捕捉的成本较高以及用户体验差。为解决上述技术问题，本专利技术实施例提供一种眼神捕捉方法，包括：获取演员的眼部图像；获取所述演员的眼部三维信息，根据所述眼部三维信息确定所述演员的三维眼球，所述眼部三维信息至少包括：眼球中心位置、眼球半径及虹膜尺寸；根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，并根据所述三维瞳孔中心位置捕捉所述演员的眼神方向。可选的，所述根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，包括：根据所述眼部图像，采用所述眼睛网络模型得到眼部二维信息，所述眼部二维信息至少包括：虹膜掩膜、二维瞳孔中心位置及睁闭眼状态；根据所述眼部二维信息和所述三维眼球，确定所述三维瞳孔中心位置。可选的，所述根据所述眼部图像，采用所述眼睛网络模型得到眼部二维信息，包括：获取所述眼部图像对应的多个二维眼皮特征点；计算将所述多个二维眼皮特征点与多个预设二维眼皮特征点对齐时的相似变换矩阵；采用所述相似变换矩阵对所述眼部图像进行相似变换，得到变换后的图像；将所述变换后的图像输入至所述眼睛网络模型，预测变换后的图像对应的眼部二维信息；采用所述相似变换矩阵的逆矩阵，对所述变换后的图像对应的眼部二维信息进行变换，得到所述眼部图像对应的眼部二维信息。可选的，所述根据所述眼部二维信息和所述三维眼球，确定所述三维瞳孔中心位置，包括：根据所述三维眼球和预估三维瞳孔中心位置，得到所述三维眼球的预估虹膜；将所述预估虹膜投影至所述眼部图像对应的二维平面，得到预估虹膜掩膜；计算所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜之间的第一差异；根据所述第一差异计算得到总差异；若所述总差异不大于预设第一阈值，则将所述预估三维瞳孔中心位置作为所述三维瞳孔中心位置。可选的，所述眼神捕捉方法，还包括：若所述总差异大于预设第一阈值，根据所述总差异对所述预估三维瞳孔中心位置进行调整并迭代优化，直至所述总差异不大于预设第一阈值或者迭代次数达到设定次数，将所述总差异不大于预设第一阈值或者迭代次数达到设定次数时的预估三维瞳孔中心位置作为所述三维瞳孔中心位置。可选的，所述根据所述第一差异计算得到总差异，包括：将所述预估虹膜投影至所述眼部图像对应的二维平面，得到预估二维瞳孔中心位置；计算所述预估二维瞳孔中心位置与所述眼睛网络模型预测的二维瞳孔中心位置之间的第二差异；根据所述第一差异及所述第二差异计算得到所述总差异。可选的，所述根据所述第一差异和第二差异计算得到总差异，包括：计算当前迭代优化的三维瞳孔中心位置与优化初始时的三维瞳孔中心位置之间的第三差异；根据所述第一差异、所述第二差异及所述第三差异，计算得到所述总差异。可选的，所述计算预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜之间的第一差异，包括：计算所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜的交集部分，以及所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜的并集部分，将所述交集部分与所述并集部分的比值与理想比值的差异作为所述第一差异；或者，根据所述眼睛网络模型预测的虹膜掩膜的生成距离变换图，计算所述预估虹膜掩膜的边缘像素在所述距离变换图中的值，根据计算得到的值得到所述第一差异。可选的，所述获取所述演员的眼部三维信息，包括：通过眼球校准获得所述眼球中心位置、眼球半径及虹膜尺寸。可选的，所述通过眼球校准获得所述眼球中心位置，包括：获取所述演员在中性表情下的三维人脸，从所述中性表情下的三维人脸中获取多个三维眼皮特征点；计算每只眼睛的所述多个三维眼皮特征点的三维位置的平均值，在所述三维位置的平均值的基础上加上预设的三维偏移量得到每只眼睛的眼球中心位置，所述三维偏移量的偏移方向朝向眼睛内部。可选的，所述获取所述演员的眼部三维信息，包括：获取与所述演员的眼部图像对应的面部图像；根据所述面部图像，获得所述演员的面部姿态的变换矩阵，所述面部姿态为所述演员面部相对于相机的姿态；根据所述面部姿态的变换矩阵对所述眼球中心位置进行变换，得到相对于相机的眼球中心位置。可选的，所述与所述演员的眼部图像对应的面部图像根据以下方法获取：所述演员的头部佩戴面部表情捕捉头盔，所述头盔与所述演员的头部相对静止；所述头盔上安装有面部表情捕捉相机，所述相机捕捉演员面部表情。可选的，对于任一帧的面部图像所述面部姿态变换矩阵是固定值。可选的，所述与所述演员的眼部图像对应的面部图像根据以下方法获取：利用摄像机拍摄所述演员的面部表情；所述摄像机与所述演员的头部是分离的。可选的，对于任一帧的面部图像所述面部姿态变换矩阵是变化的。可选的，所述通过眼球校准获得所述虹膜尺寸，包括：获取预设数量且满足校准要求的校准图像；将各校准图像输入至所述眼睛网络模型，预测得到多个虹膜掩膜；对所述多个虹膜掩膜分别进行圆拟合，得到圆拟合后的多个圆形；将所述多个圆形分别投影至所述演员在中性表情下的三维人脸，根据投影结果计算多个虹膜掩膜在所述三维人脸中对应的虹膜尺寸；根据多个虹膜掩膜在所述三维人脸中对应的虹膜尺寸，得到所述虹膜尺寸。可选的，所述根据多个虹膜掩膜在三维人脸中对应的虹膜尺寸，得到所述虹膜尺寸，包括：将多个虹膜掩膜在所述三维人脸中对应的虹膜尺寸的平均值作为所述虹膜尺寸。可选的，所述眼睛网络模型针对一双眼睛中的其中一只眼睛，当输入至所述眼睛网络模型的眼部图像为一双眼睛中的另一只眼睛时，对输入的眼部图像进行对称翻转，并将对称翻转后的眼部图像作为所述眼睛网络模型的输入。可选的，所述眼神捕捉方法，还包括：在根据所述眼部二维信息和所述三维眼球，确定所述三维瞳孔中心位置之前，根据所述睁闭眼状态判断所述演员是否闭眼；当所述睁闭眼状态指示闭眼时，将根据前一帧眼部图像捕捉的眼神方向作为所述眼部图像对应的眼神方向。可选的，所述眼神捕捉方法，还包括：在捕捉得到一双眼睛中的每只眼睛分别对应的三维瞳孔中心位置之后，计算一双眼睛的三维瞳孔中心位置中的天顶角θ和方位角的联合先验分布，所述三维瞳孔中心位置包括：眼球半径、天顶角θ和本文档来自技高网...

【技术保护点】
1.一种眼神捕捉方法，其特征在于，包括：/n获取演员的眼部图像；/n获取所述演员的眼部三维信息，根据所述眼部三维信息确定所述演员的三维眼球，所述眼部三维信息至少包括：眼球中心位置、眼球半径及虹膜尺寸；/n根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，并根据所述三维瞳孔中心位置捕捉所述演员的眼神方向。/n

【技术特征摘要】
1.一种眼神捕捉方法，其特征在于，包括：
获取演员的眼部图像；
获取所述演员的眼部三维信息，根据所述眼部三维信息确定所述演员的三维眼球，所述眼部三维信息至少包括：眼球中心位置、眼球半径及虹膜尺寸；
根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，并根据所述三维瞳孔中心位置捕捉所述演员的眼神方向。


2.如权利要求1所述的眼神捕捉方法，其特征在于，所述根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，包括：
根据所述眼部图像，采用所述眼睛网络模型得到眼部二维信息，所述眼部二维信息至少包括：虹膜掩膜、二维瞳孔中心位置及睁闭眼状态；
根据所述眼部二维信息和所述三维眼球，确定所述三维瞳孔中心位置。


3.如权利要求2所述的眼神捕捉方法，其特征在于，所述根据所述眼部图像，采用所述眼睛网络模型得到眼部二维信息，包括：
获取所述眼部图像对应的多个二维眼皮特征点；
计算将所述多个二维眼皮特征点与多个预设二维眼皮特征点对齐时的相似变换矩阵；
采用所述相似变换矩阵对所述眼部图像进行相似变换，得到变换后的图像；
将所述变换后的图像输入至所述眼睛网络模型，预测变换后的图像对应的眼部二维信息；
采用所述相似变换矩阵的逆矩阵，对所述变换后的图像对应的眼部二维信息进行变换，得到所述眼部图像对应的眼部二维信息。


4.如权利要求2所述的眼神捕捉方法，其特征在于，所述根据所述眼部二维信息和所述三维眼球，确定所述三维瞳孔中心位置，包括：
根据所述三维眼球和预估三维瞳孔中心位置，得到所述三维眼球的预估虹膜；
将所述预估虹膜投影至所述眼部图像对应的二维平面，得到预估虹膜掩膜；计算所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜之间的第一差异；
根据所述第一差异计算得到总差异；
若所述总差异不大于预设第一阈值，则将所述预估三维瞳孔中心位置作为所述三维瞳孔中心位置。


5.如权利要求4所述的眼神捕捉方法，其特征在于，还包括：
若所述总差异大于预设第一阈值，根据所述总差异对所述预估三维瞳孔中心位置进行调整并迭代优化，直至所述总差异不大于预设第一阈值或者迭代次数达到设定次数，将所述总差异不大于预设第一阈值或者迭代次数达到设定次数时的预估三维瞳孔中心位置作为所述三维瞳孔中心位置。


6.如权利要求4或5所述的眼神捕捉方法，其特征在于，所述根据所述第一差异计算得到总差异，包括：
将所述预估虹膜投影至所述眼部图像对应的二维平面，得到预估二维瞳孔中心位置；
计算所述预估二维瞳孔中心位置与所述眼睛网络模型预测的二维瞳孔中心位置之间的第二差异；
根据所述第一差异及所述第二差异计算得到所述总差异。


7.如权利要求6所述的眼神捕捉方法，其特征在于，所述根据所述第一差异和第二差异计算得到总差异，包括：
计算当前迭代优化的三维瞳孔中心位置与优化初始时的三维瞳孔中心位置之间的第三差异；
根据所述第一差异、所述第二差异及所述第三差异，计算得到所述总差异。


8.如权利要求4所述的眼神捕捉方法，其特征在于，所述计算预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜之间的第一差异，包括：
计算所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜的交集部分，以及所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜的并集部分，将所述交集部分与所述并集部分的比值与理想比值的差异作为所述第一差异；
或者，根据所述眼睛网络模型预测的虹膜掩膜的生成距离变换图，计算所述预估虹膜掩膜的边缘像素在所述距离变换图中的值，根据计算得到的值得到所述第一差异。


9.如权利要求1所述的眼神捕捉方法，其特征在于，所述获取所述演员的眼部三维信息，包括：通过眼球校准获得所述眼球中心位置、眼球半径及虹膜尺寸。


10.如权利要求9所述的眼神捕捉方法，其特征在于，所述通过眼球校准获得所述眼球中心位置，包括：
获取所述演员在中性表情下的三维人脸，从所述中性表情下的三维人脸中获取多个三维眼皮特征点；
计算每只眼睛的所述多个三维眼皮特征点的三维位置的平均值，在所述三维位置的平均值的基础上加上预设的三维偏移量得到每只眼睛的眼球中心位置，所述三维偏移量的偏移方向朝向眼睛内部。


11.如权...

【专利技术属性】
技术研发人员：柴金祥，其他发明人请求不公开姓名，
申请(专利权)人：魔珐上海信息科技有限公司，上海墨舞科技有限公司，
类型：发明
国别省市：上海;31