一种多摄像头透视方法技术

本发明专利技术涉及视线追踪领域，具体公开一种多摄像头透视方法

【技术实现步骤摘要】
一种多摄像头透视方法、装置、智能眼镜及存储介质


[0001]本专利技术涉及智能眼镜领域，尤其涉及一种多摄像头透视方法
、
装置
、
智能眼镜及存储介质
。

技术介绍

[0002]智能眼镜有许多种，主要包括主流的
VR
眼镜
、
眼动跟踪仪
。
[0003]眼动跟踪是一个识别某人在看什么
、
怎么看的过程，已广泛应用于人机交互
、
虚拟现实
、
车辆辅助驾驶
、
人因分析和心理研究等多个领域
。
从眼球的生理结构来说，人类主要通过中央凹区域来获取视觉数据，中央凹只能提供约1–2度的视角
。
虽然该区域仅占视野范围的极
□
部分，但通过此区域记录的信息却包含了通过视觉神经传递到
□
脑的有效视觉信息的
50
％
。
因此，人类的视觉和注意系统围绕着一个主要目标工作：使感兴趣的目标的光学成像聚焦于中央凹处
。
这是眼动行为最根本，最主要的原因
。
[0004]将眼动跟踪与虚拟显示结合，可以产生非常好的效果，在佩戴了具有虚拟显示和眼动跟踪的
VR
眼镜后，眼镜可以根据跟踪的视线，控制着对应的内容显示
。
[0005]在现有技术中，穿戴了可以眼动跟踪的
VR
眼镜后，使用者的眼部将会被遮挡，其与他人交谈时缺少眼神的互动
。

技术实现思路

[0006]鉴于以上技术问题，本专利技术提供了一种多摄像头透视方法
、
装置
、
智能眼镜及存储介质，以提供一种跟踪并显示人眼的技术方案
。
[0007]本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得
。
[0008]根据本专利技术的一方面，公开一种多摄像头透视方法，所述方法包括：
[0009]获取由多个按照预设位置排列的红外摄像头拍摄的被红外光照亮的多个人眼图像，多个所述人眼图像分别与左眼和右眼对应；
[0010]将左眼和右眼分别对应的多个所述人眼图像分别进行拼接，分别得到左眼和右眼对应的第一拼接图像，将两个第一拼接图像融合，得到第二拼接图像；
[0011]基于预训练的人眼灰度图像与人脸真实皮肤
、
真实虹膜之间的颜色变换网络，对所述第二拼接图像进行颜色映射，以实现所述第二拼接图像的上色；
[0012]将上色后的所述第二拼接图像显示在
VR
的前端显示屏中
。
[0013]进一步的，在获取多个所述人眼图像后，还对多个所述人眼图像进行视线跟踪计算，分别得到左眼和右眼的注视向量
。
[0014]进一步的，所述对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量，包括：
[0015]提取所述人眼图像中的虹膜椭圆特征参数和眼角坐标，所述虹膜椭圆特征参数包括椭圆长轴
、
短轴
、
中心和倾角；
[0016]根据同一人眼的多个所述人眼图像中的所述虹膜椭圆特征参数和所述眼角坐标，标定出当前人眼的虹膜中心
、
虹膜半径及虹膜法向量，以计算得到角膜曲率中心；
[0017]根据所述虹膜中心和所述角膜曲率中心，得到人眼当前的注视方向
。
[0018]进一步的，所述对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量，具体包括：
[0019]对多个所述红外摄像头建立统一的世界坐标系；
[0020]基于相应的空间椭圆特征参数方程，分解计算每个所述红外摄像头所采集的所述人眼图像中的所述虹膜中心和虹膜椭圆法矢量；
[0021]将每个所述红外摄像头的所述虹膜椭圆法矢量映射到所述世界坐标系中；
[0022]基于所述世界坐标系下的每个所述红外摄像头对应的所述虹膜椭圆法矢量的相交情况，得到所述角膜曲率中心；
[0023]将所述世界坐标系下的所述角膜曲率中心映射到单独的所述红外摄像头的坐标系下，根据每个所述红外摄像头在其坐标系下的所述角膜曲率中心和所述虹膜中心，得到每个所述红外摄像头的视线预测方向，以得到所述注视方向
。
[0024]进一步的，所述将左眼和右眼分别对应的多个所述人眼图像分别进行拼接，分别得到左眼和右眼对应的第一拼接图像，包括：
[0025]对获取的同一人眼的多个所述人眼图像进行特征采集；
[0026]基于采集的所述特征，对多个所述人眼图像进行配准，得到各个所述人眼图像的空间坐标变换参数；
[0027]基于所述空间坐标变换参数，对多个所述人眼图像进行变换拼接，得到所述第一拼接图像；
[0028]将两个所述第一拼接图像融合为所述第二拼接图像
。
[0029]进一步的，在进行变换拼接后，根据不同的所述红外摄像头的拍摄角度，估算所述第二拼接图像与所述前端显示屏的坐标系的变换矩阵，基于所述变换矩阵，将所述第二拼接图像转换到所述前端显示屏的坐标中
。
[0030]进一步的，所述颜色变换网络为基于深度学习离线训练得到的
。
[0031]根据本公开的第二方面，提供一种多摄像头透视装置，包括：图像获取模块，用于获取由多个按照预设位置排列的红外摄像头拍摄的被红外光照亮的多个人眼图像，多个所述人眼图像分别与左眼和右眼对应；图像拼接模块，用于将左眼和右眼分别对应的多个所述人眼图像分别进行拼接，分别得到左眼和右眼对应的第一拼接图像，将两个第一拼接图像融合，得到第二拼接图像；上色模块，基于预训练的人眼灰度图像与人脸真实皮肤
、
真实虹膜之间的颜色变换网络，对所述第二拼接图像进行颜色映射，以实现所述第二拼接图像的上色
。
前端显示模块，其安装于
VR
眼镜的前端，用于显示上色后的所述第二拼接图像
。
[0032]根据本公开的第三方面，提供一种智能眼镜，包括：多个红外摄像头，分别指向左右两个人眼设置并且按照预设位置排列；红外泛光发射器，面向人眼设置；显示屏；一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如下方法：
[0033]获取由多个按照预设位置排列的红外摄像头拍摄的被红外光照亮的多个人眼图像，多个所述人眼图像分别与左眼和右眼对应；将左眼和右眼分别对应的多个所述人眼图
像分别进行拼接，分别得到左眼和右眼对应的第一拼接图像，将两个第一拼接图像融合，得到第二拼接图像；基于预训练的人眼灰度图像与人脸真实皮肤
、
真实虹膜之间的颜色变换网络，对所述第二拼接图像进行颜色映射，以实现所述第二拼接图像的上色；将上色后的所述第二拼接图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多摄像头透视方法，其特征在于，所述方法包括：获取由多个按照预设位置排列的红外摄像头拍摄的被红外光照亮的多个人眼图像，多个所述人眼图像分别与左眼和右眼对应；将左眼和右眼分别对应的多个所述人眼图像分别进行拼接，分别得到左眼和右眼对应的第一拼接图像，将两个第一拼接图像融合，得到第二拼接图像；基于预训练的人眼灰度图像与人脸真实皮肤
、
真实虹膜之间的颜色变换网络，对所述第二拼接图像进行颜色映射，以实现所述第二拼接图像的上色；将上色后的所述第二拼接图像显示在
VR
的前端显示屏中
。2.
根据权利要求1所述的多摄像头透视方法，其特征在于，在获取多个所述人眼图像后，还对多个所述人眼图像进行视线跟踪计算，分别得到左眼和右眼的注视向量
。3.
根据权利要求2所述的多摄像头透视方法，其特征在于，所述对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量，包括：提取所述人眼图像中的虹膜椭圆特征参数和眼角坐标，所述虹膜椭圆特征参数包括椭圆长轴
、
短轴
、
中心和倾角；根据同一人眼的多个所述人眼图像中的所述虹膜椭圆特征参数和所述眼角坐标，标定出当前人眼的虹膜中心
、
虹膜半径及虹膜法向量，以计算得到角膜曲率中心；根据所述虹膜中心和所述角膜曲率中心，得到人眼当前的注视方向
。4.
根据权利要求3所述的多摄像头透视方法，其特征在于，所述对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量，具体包括：对多个所述红外摄像头建立统一的世界坐标系；基于相应的空间椭圆特征参数方程，分解计算每个所述红外摄像头所采集的所述人眼图像中的所述虹膜中心和虹膜椭圆法矢量；将每个所述红外摄像头的所述虹膜椭圆法矢量映射到所述世界坐标系中；基于所述世界坐标系下的每个所述红外摄像头对应的所述虹膜椭圆法矢量的相交情况，得到所述角膜曲率中心；将所述世界坐标系下的所述角膜曲率中心映射到单独的所述红外摄像头的坐标系下，根据每个所述红外摄像头在其坐标系下的所述角膜曲率中心和所述虹膜中心，得到每个所述红外摄像头的视线预测方向，以得到所述注视方向
。5.
根据权利要求1所述的多摄像头透视方法，其特征在于，所述将左眼和右眼分别对应的多个所述人眼图像分别进行拼接，分别得到左眼和右眼对应的第一拼接图像，包括：对获取的同一人眼的多个所述人眼图像进行特征采集；基于采集的所...

【专利技术属性】
技术研发人员：梁立伟，王勃飞，陈晨航，张强，许明秋，杜与涌，
申请(专利权)人：深圳市华弘智谷科技有限公司，
类型：发明
国别省市：