用于确定与场景相关的深度信息的视频用户界面装置和方法制造方法及图纸

一种用于电子设备的视频用户界面装置，以用于确定与场景相关的深度信息，包括显示器、限定编码孔的空间滤波器、图像传感器和镜头。场景设置在显示器前方。图像传感器和镜头两者都设置在显示器后方。空间滤波器由显示器限定或设置在显示器后方。空间滤波器、图像传感器和镜头被布置成允许图像传感器通过编码孔和镜头来捕获场景的图像。视频用户界面装置可以用于确定与场景相关的深度信息。视频用户界面装置可以使用所确定的深度信息来识别场景中的一个或更多个特征，例如场景中的电子设备的用户的一个或更多个特征、例如场景中的电子设备的用户的一个或更多个面部特征。视频用户界面装置可以响应于在场景中识别一个或更多个特征来解锁电子设备。特征来解锁电子设备。特征来解锁电子设备。

【技术实现步骤摘要】
【国外来华专利技术】用于确定与场景相关的深度信息的视频用户界面装置和方法


[0001]本公开涉及一种用于确定与场景相关的深度信息的用于电子设备的视频用户界面装置和相关联的方法，所述场景使用设置在显示器后方的前置相机设置在电子设备的显示器前方，其中，所述前置相机包括图像传感器和镜头。

技术介绍

[0002]众所周知，使用与移动电子设备(如手机)一起提供的前置相机和3D传感器来拍摄“自拍”照片、进行视频通话，以及用面部生物统计信息解锁移动电子设备。然而，为了容纳这样的前置相机和3D传感器，已知的移动电子设备通常需要专用区域，例如移动电子设备的前表面上的凹口，从而减少了移动电子设备可用于显示图像的前表面的面积。例如，参考图1A和图1B，示出了以移动电话、蜂窝电话或智能电话形式的现有技术移动电子设备(大体指定为2)，其包括立体3D成像系统形式的现有技术视频用户界面装置(大体指定为4)。移动电子设备2具有前面6，前面6包括显示器8和具有透明凹口盖10的凹口9。移动电子设备2包括设置在凹口盖10后方的一对立体成像相机12，其中每个立体成像相机12包括对应的镜头14和对应的图像传感器16。移动电子设备2还包括处理资源20。如图1A和图1B中的虚线所示，图像传感器16和处理资源20被配置为通信。本领域的普通技术人员将理解，在使用中，图像传感器16的每一个通过对应的镜头14捕获设置在移动电子设备2前方的场景30的图像，并且处理资源20处理由图像传感器16捕获的图像以确定与场景30的一个或更多个区域中的每个区域相关的深度信息。
[0003]类似地，包含3D传感器的移动电子设备包括投影仪和诸如相机的检测器，也需要专用区域，例如移动电子设备的前表面上的凹口，从而减少了移动电子设备可用于显示图像的前表面的面积。为了容纳前置相机和3D传感器，一些已知的移动电子设备甚至包括铰接或弹出部件，这增加了移动电子设备的复杂性。

技术实现思路

[0004]根据本公开的第一方面，提供了一种用于确定与场景有关的深度信息的电子设备的视频用户界面装置，所述视频用户界面装置包括：
[0005]显示器；
[0006]限定编码孔的空间滤波器，所述空间滤波器由所述显示器限定或设置在所述显示器后方；
[0007]图像传感器；和
[0008]镜头，
[0009]其中，所述图像传感器和所述镜头两者都设置在所述显示器后方，并且
[0010]其中，所述空间滤波器、所述图像传感器和所述镜头被布置成允许所述图像传感器通过编码孔和镜头捕获场景的图像，所述场景设置在显示器前方。
[0011]视频用户界面装置可以包括处理资源，所述处理资源被配置为至少部分地基于被
捕获图像和校准数据来确定与场景的一个或更多个区域中的每个区域相关的深度信息。
[0012]应当理解，被处理资源使用的用于确定与场景的一个或更多个区域中的每个区域相关的深度信息的方法如“Image and Depth from aConventional Camera with a Coded Aperture”,Levin et al.,ACM Transactions on Graphics,Vol.26,No.3,Article 70,pp.70
‑
1至70
‑
9中所详细描述，其全部内容通过引用并入本文。此外，应该理解的是，可以寻求对Levin et al的第3、4和5节中描述的任何特征的保护。
[0013]校准数据可以包括多个校准场景的多个校准图像和对应的多个测量深度值，其中，每个校准场景包括位于测量深度中的不同深度处的点光源，并且每个校准场景通过编码孔和镜头由图像传感器捕获。
[0014]点光源在对应的校准场景中的测量深度值可以包括从视频用户界面装置的任何部分到对应的校准场景中的点光源的测量距离。例如，对应的校准场景中的点光源的测量深度值可以包括从视频用户界面装置的镜头到对应的校准场景中的点光源的距离。点光源在对应的校准场景中的测量深度值可以包括从视频用户界面装置的镜头的焦平面到对应的校准场景中的点光源的距离，其中所述镜头的焦平面被限定为使得从所述镜头的焦平面中的一点发出的不同光线被聚焦到所述图像传感器上的同一点。
[0015]当图像传感器通过编码孔和镜头捕获在对应的校准场景中的点光源的图像以生成校准数据时，空间滤波器、图像传感器和镜头的相对位置可以与当图像传感器通过编码孔和镜头捕获场景的图像时的空间滤波器、图像传感器和镜头的相对位置相同。
[0016]场景的捕获图像和与场景的每个区域相关的深度信息可以一起构成场景的深度图像或深度图谱。
[0017]处理资源可以被配置为基于与场景的一个或更多个区域中的每个区域相关的所确定的深度信息来生成场景的深度图像。
[0018]与场景的一个或更多个区域中的每个区域相关的深度信息可以包括从视频用户界面装置的任何部分到场景的一个或更多个区域中每个区域的距离。例如，与场景的一个或更多个区域中的每个区域相关的深度信息可以包括从视频用户界面装置的镜头到场景的一个或更多个区域中的每个区域的距离。与场景的一个或更多个区域中的每个区域相关的深度信息可以包括从视频用户界面装置的镜头的焦平面到场景的一个或更多个区域中的每个区域的距离，其中，镜头的焦平面被限定为使得从镜头的焦平面中的一个点发出的不同光线被聚焦到图像传感器上的同一点。
[0019]视频用户界面装置可以适用于生成场景的深度图像，而不牺牲显示器的任何区域，或者通过相对于结合常规3D传感器的常规视频用户界面装置牺牲显示器的减小的区域来生成场景的深度图像。这样的视频用户界面装置可以允许使用单个图像传感器生成与场景相关的深度信息，即不需要两个或更多个图像传感器，或者不需要投影仪和图像传感器。
[0020]视频用户界面装置对电子设备的用户来说可能是不可察觉的，或者可能被有效地隐藏。
[0021]视频用户界面装置可以适用于识别场景中的一个或更多个特征。例如，这样的视频用户界面装置可以适用于识别用户的一个或更多个特征，例如场景中电子设备的用户的一种或多种面部特征，例如用于电子设备的面部解锁。这样的视频用户界面装置可以允许表情符号或一个或更多个其他虚拟元素叠加在由图像传感器通过编码孔和镜头所捕获的
场景的图像的顶部上。这样的视频用户界面装置可以允许生成由图像传感器通过编码孔和镜头所捕获的改进的“自拍”图像。这样的视频用户界面装置可以允许表情符号或一个或更多个其他虚拟元素叠加在由图像传感器通过编码孔和镜头所捕获的“自拍”图像的顶部上。
[0022]空间滤波器可以包括二进制空间滤波器。
[0023]空间滤波器可以包括多个空间滤波器像素，其中，所述多个空间滤波像素限定编码孔。
[0024]空间滤波器可以包括多个不透明空间滤波器像素。
[0025]所述多个不透明空间滤波器像素可以在它们之间限定一个或更多个间隙，其中所述一个或更多个间隙限定编码孔。
[0026]空间滤波器可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于电子设备的视频用户界面装置，其用于确定与场景相关的深度信息，所述视频用户界面装置包括：显示器；限定编码孔的空间滤波器，所述空间滤波器由所述显示器限定，或者设置在所述显示器后方；图像传感器；和镜头，其中，所述图像传感器和所述镜头两者设置在所述显示器后方，并且其中，所述空间滤波器、所述图像传感器和所述镜头被布置成允许所述图像传感器通过所述编码孔和所述镜头来捕获场景的图像，并且所述场景设置在所述显示器前方。2.根据权利要求1所述的视频用户界面装置，其中有以下项中至少之一：所述空间滤波器包括二进制空间滤波器；所述空间滤波器包括多个空间滤波器像素，其中，所述多个空间滤波器像素限定所述编码孔；所述空间滤波器包括多个不透明空间滤波器像素；所述多个不透明空间滤波器像素在所述多个不透明空间滤波器像素之间限定一个或更多个间隙，其中，所述一个或更多个间隙限定所述编码孔；所述空间滤波器包括多个透明空间滤波器像素，其中，所述多个透明空间滤波器像素限定所述编码孔；所述不透明空间滤波器像素中的至少一些是互连的或连续的；所述不透明空间滤波器像素中的所有是互连的或连续的；所述不透明空间滤波器像素中的至少一些是不连续的；所述透明空间滤波器像素中的至少一些是互连的或连续的；所述透明空间滤波器像素中的至少一些是不连续的；所述空间滤波器包括空间滤波器像素的2D阵列，其中，所述空间滤波器像素的2D阵列限定所述编码孔；所述空间滤波器包括空间滤波器像素的统一2D阵列，其中，所述空间滤波器像素的统一2D阵列限定所述编码孔。3.根据权利要求1或2所述的视频用户界面装置，其中，所述空间滤波器包括空间滤波器像素的n
×
n阵列，其中，所述空间滤波器像素限定所述编码孔并且其中n为整数，或者其中，所述空间滤波器包括空间滤波器像素的n
×
m阵列，其中，所述空间滤波器像素限定所述编码孔并且其中n和m为整数，并且，可选地，其中，n小于或等于100、n小于或等于20、n小于或等于15、n小于或等于13和/或n小于或等于11，并且，可选地，其中，m小于或等于100、m小于或等于20、m小于或等于15、m小于或等于13和/或m小于或等于11。4.根据权利要求1所述的视频用户界面装置，其中有以下项中至少之一：所述显示器是至少部分透明的；所述显示器的区域是至少部分透明的；
其中，所述显示器包括LED显示器，诸如OLED显示器。5.根据权利要求1所述的视频用户界面装置，其中，所述显示器和所述图像传感器被同步，使得所述显示器发射光并且所述图像传感器在不同时间捕获所述场景的图像。6.根据权利要求1所述的视频用户界面装置，其中：所述空间滤波器设置在所述显示器和所述镜头之间；所述空间滤波器设置在所述镜头和所述图像传感器之间；所述空间滤波器与所述镜头集成，例如所述空间滤波器集成在所述镜头的主体内或设置在所述镜头的表面上；或所述空间滤波器在所述显示器的与所述场景的相对侧上设置在所述显示器的后表面上。7.根据权利要求1所述的视频用户界面装置，其中，所述显示器限定所述空间滤波器。8.根据权利要求7所述的视频用户界面装置，其中，所述显示器包括一个或更多个至少部分透明的区域和一个或更多个至少部分不透明的区域，并且其中，所述空间滤波器由所述一个或更多个至少部分透明的区域和所述一个或更多个至少部分不透明的区域限定，例如其中，多个空间滤波器像素由所述一个或更多个至少部分透明的区域和所述一个或更多个至少部分不透明的区域限定。9.根据权利要求8所述的视频用户界面装置，其中，显示器的所述一个或更多个至少部分透明的区域和/或显示器的所述一个或更多个至少部分不透明的区域是临时的或暂时的。10.根据权利要求8所述的视频用户界面装置，其中有以下项中至少之一：所述显示器包括多个发光像素；所述发光像素限定所述空间滤波器；所述发光像素限定显示器的所述一个或更多个至少部分透明的区域和/或显示器的所述一个或更多个至少部分不透明的区域；所述显示器包括在所述发光像素之间的一个或更多个间隙；所述发光像素之间的一个或更多个间隙限定所述空间滤波器；所述发光像素之间的一个或更多个间隙限定显示器的所述一个或更多个至少部分透明的区域和/或显示器的所述一个或更多个至少部分不透明的区域。11.根据权利要求1所述的视频用户界面装置，其中，所述图像传感器包括对可见光敏感的可见光图像传感器，例如其中，所述图像传感器包括RGB图像传感器或者其中，所述图像传感器包括对诸如近红外NIR光的红外光敏感的红外图像传感器。12.根据权利要求1所述的视频用户界面装置，其包括多个图像传感器，例如其中，所述视频用户界面装置包括由所述显示器限定或设置在所述显示器后方以用于生成设置在所述显示器前方的场景的深度图像的红外图像传感器，和由所述显示器限定或设置在所述显示器后方以用于捕获设置在所述显示器前方的场景的常规图像的单独的可见光图像传感器。13.根据权利要求12所述的视频用户界面装置，其包括用于用红外光照明所述场景的红外光的光源、发射器、投影仪，其中，所述红外光的光源、发射器、投影仪设置在所述显示器后方。
14.根据权利要求1所述的视频用户界面装置，其中...

【专利技术属性】
技术研发人员：亚历山大，
申请(专利权)人：AMS传感器亚洲私人有限公司，
类型：发明
国别省市：