一种设置多个相机套件基线和会聚距离的光场相机系统和方法采用采样点深度来确定和设置关于三维(3D)场景的值。通过确定表示多个相机套件与多个相机套件的视场内的3D场景中的多个采样点之间的距离的多个采样点深度来设置多个相机套件的基线和会聚距离。会聚距离被设置为多个采样点深度的平均采样点深度。然后将基线设置为多个采样点深度中的最小采样点深度与会聚距离之间的差值的倒数。光场相机系统包括多个相机套件，该多个相机套件包括多个相机。个相机。个相机。
【技术实现步骤摘要】
【国外来华专利技术】设置基线和会聚距离的光场相机系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2021年2月11日提交的美国临时专利申请序列号第63/148,587号的优先权，其全部内容通过引用并入本文。
[0003]关于联邦赞助研究或开发的声明
[0004]不适用
技术介绍
[0005]取决于视角，可以从多个视角观看三维(3D)空间中的场景。另外，当以立体视觉观看时，可以同时感知表示场景的不同视角的多个视图，从而有效地创建可以由观看者感知的深度感。多视图显示器呈现具有多个视图的图像，以表示在3D世界中如何感知场景。多视图显示器同时渲染不同的视图以向用户提供逼真的体验。多视图图像可以由软件动态地生成和处理。捕获多视图图像可以涉及多个相机或相机位置。
附图说明
[0006]参考结合附图进行的以下详细描述，可以更容易地理解根据本文中所描述的原理的示例和实施例的各种特征，其中相同的附图标记表示相同的结构元件，并且在附图中：
[0007]图1A示出了根据与本文中所描述的原理一致的实施例的示例中的多视图显示器的透视图。
[0008]图1B示出了根据与本文中所描述的原理一致的实施例的示例中的使用多视图显示器显示多视图图像。
[0009]图2示出了根据与本文中所描述的原理一致的实施例的示例中的捕获三维(3D)场景的多视图图像。
[0010]图3示出了根据本文中所描述的原理的实施例的示例中的设置多个相机套件的基线和会聚距离的方法的流程图。
[0011]图4示出了根据本文中所描述的原理的实施例的示例中的光线投射。
[0012]图5示出了根据本文中所描述的原理的实施例的示例中的光场相机系统的框图。
[0013]图6A示出了根据与本文中所描述的原理一致的实施例的示例中的多视图显示器的截面图。
[0014]图6B示出了根据与在本文中所描述的原理一致的实施例的另一示例中的多视图显示器的截面图。
[0015]图6C示出了根据与在本文中所描述的原理一致的实施例的示例中的多视图显示器的透视图。
[0016]图7示出了根据与本文中所描述的原理一致的实施例的示例中的客户端设备的框图。
[0017]某些示例和实施例可以具有作为上述附图中所示的特征的补充和替代之一的其他特征。下面参考上述附图详细描述这些和其他特征。
具体实施方式
[0018]根据本文描述的原理的示例和实施例提供了用于设置用于捕获三维(3D)场景的多视图图像的相机套件的基线和会聚距离两者的技术。具体地，根据各种实施例，可以基于由多个相机套件捕获的三维(3D)内容来确定多个相机套件的基线和会聚距离。进而，当3D内容改变时，可以基于对多个相机套件的一个或多个相机可见的3D内容来动态地调整基线和会聚距离。根据各种实施例，设置基线和会聚距离可以采用用于捕获光场图像和视频的物理相机或虚拟相机(诸如在各种渲染引擎(例如，3D建模/动画软件、游戏引擎、视频编辑工具)中的任何一个中找到的那些)。
[0019]如下所述，不是使用预设基线和会聚距离或手动地调整基线和会聚距离，而是实施例涉及根据相机或更具体地多个相机套件的一个或多个相机的视图内的场景的各种深度来修改这些参数。一个或多个相机又可以是虚拟相机或实际或物理相机。当在渲染器中实现时，虚拟相机可以被定位成捕获3D模型的一部分的3D场景。渲染器可以是游戏引擎、3D模型播放器、视频播放器或定位虚拟相机以捕获3D模型的其他软件环境。
[0020]根据各种实施例，相机通常具有特定位置(例如，坐标)和方向以捕获表示3D模型的3D场景的视图。在这方面，在相机与相机视图内的3D场景的各个表面之间存在多个深度(采样点深度)。为了生成多视图图像，多个相机或“多个相机套件”捕获3D场景的变化的重叠视图。在采用虚拟相机的一些实施例中，可以复制(例如，繁衍、拷贝)虚拟相机(例如，参考相机)，以生成从例如3D模型捕获3D场景的变化的重叠视图的多个相机套件。在其他实施例中，多个相机套件包括被配置为捕获表示物理或实际3D场景的不同视图的图像的物理或实际相机。在这些实施例中，深度表示物理3D场景内的实际或物理深度。
[0021]图1A示出了根据与本文中所描述的原理一致的实施例的示例中的多视图显示器100(或多模式显示器的多视图模式)的透视图。如图1A所示，多视图显示器100包括被配置为显示要观看的多视图图像110的屏幕。多视图显示器10在相对于多视图显示器100的屏幕的不同视图方向120上提供多视图图像的不同视图112。视图方向16被示出为在各种不同的主角度方向上从屏幕延伸的箭头；不同的视图112被示出为在箭头的末端处的阴影多边形框(即，描绘视图方向120)；并且仅示出了四个视图112和四个视图方向120，所有这些都是作为示例而非限制。注意，虽然不同的视图112在图1A中被示出为在屏幕上方，但是当多视图图像110被显示在多视图显示器100上时，视图14实际上出现在屏幕上或屏幕附近。图1A中的多视图显示器100的屏幕上方的视图112的描绘仅是为了图示的简单，并且旨在表示从与特定视图112相对应的视图方向120中的相应一个视图方向观看多视图显示器100。如图所示，根据各种实施例，被配置为显示多视图图像110的多视图显示器100可以是或用作电话(例如，移动电话、智能电话等)、平板计算机、膝上型计算机、台式计算机的计算机监视器、相机显示器或基本上任何其他设备的电子显示器的显示器(例如，显示屏)。
[0022]根据本文中的定义，视图方向或等效地具有与多视图显示器的视图方向相对应的方向的光束通常具有由角度分量{θ，φ}给出的主角度方向。角度分量θ在本文中被称为光束的“仰角分量”或“仰角”。角度分量φ被称为光束的“方位角分量”或“方位角”。根据定义，仰角θ是垂直平面(例如，垂直于多视图显示器屏幕的平面)内的角度，而方位角φ是水平平面(例如，与多视图显示器屏幕平面平行)内的角度。
[0023]图1B示出了根据与本文中所描述的原理一致的实施例的示例中的使用多视图显
示器100显示多视图图像110。多视图图像110具有多个视图112。视图112中的每一个对应于场景的不同视图方向120或视角。视图112被渲染以供多视图显示器100显示。这样，每个视图112表示多视图图像110的不同视角。因此，不同的视图112相对于彼此具有一定水平的视差。在一些实施例中，观看者可以用右眼感知一个视图112，同时用左眼感知不同的视图112。这允许观看者同时感知不同的视图并且可以导致立体视觉。换句话说，不同视图112创建三维(3D)效果。
[0024]在一些实施例中，当观看者物理地改变相对于多视图显示器100的视角时，观看者的眼睛可能随着视角改变而在不同时间点遇到多视图图像110的不同视图112。结果，观看者可以通过改变观看角度来与多视图显示器100交互以看到多视图图像110的不同视图112。例如，当观看者向左移动时，观看者可以看到多视图图像110中的对象的更多左侧。根据各种实本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种设置多个相机套件的基线和会聚距离的方法，所述方法包括：确定多个采样点深度，所述多个采样点深度表示所述多个相机套件与所述多个相机套件的视场内的三维场景中的多个采样点之间的距离；将所述会聚距离设置为所述多个采样点深度的平均采样点深度；确定所述多个采样点深度中的最小采样点深度；以及将所述基线设置为所述最小采样点深度与所述会聚距离之间的差值的倒数。2.根据权利要求1所述的设置基线和会聚距离的方法，其中确定所述多个采样点深度包括在所述三维场景内执行光线投射并记录所述多个采样点中的每个采样点的命中距离。3.根据权利要求1所述的设置基线和会聚距离的方法，其中确定所述多个采样点深度包括针对所述多个采样点中的每个采样点从所述三维场景的视差图计算所述采样点深度。4.根据权利要求3所述的设置基线和会聚距离的方法，其中，计算所述多个采样点深度还包括使用由所述多个相机套件的不同相机捕获的图像之间的图像视差，并且根据所述图像视差形成所述三维场景的视差图。5.根据权利要求1所述的设置基线和会聚距离的方法，其中，确定所述多个采样点深度包括使用深度传感器来测量所述多个相机套件与所述三维场景内的对象之间的距离，所述对象对应于所述多个采样点中的采样点。6.根据权利要求5所述的设置基线和会聚距离的方法，其中，所述深度传感器包括激光距离传感器和飞行时间距离传感器中的一个。7.根据权利要求1所述的设置基线和会聚距离的方法，其中，所述平均采样点深度是具有根据距所述三维场景内的焦点的距离的递减函数分配的权重的加权平均值。8.根据权利要求7所述的设置基线和会聚距离的方法，其中，所述加权平均值的所述权重根据以所述焦点为中心的高斯分布来分配。9.根据权利要求1所述的设置基线和会聚距离的方法，其中，所述多个相机套件包括多个虚拟相机，所述三维场景是三维模型。10.根据权利要求1所述的设置基线和会聚距离的方法，其中，所述多个相机套件包括多个物理相机，所述三维场景表示由所述多个物理相机中的相机成像的物理场景。11.根据权利要求1所述的设置基线和会聚距离的方法，其中，所述多个相机套件包括在多个位置之间移动以捕获形成所述三维场景的图像的相机。12.一种光场相机系统，包括：多个相机套件，所述多个相机套件包括多个相机；处理器；以及存储器，所述存储器被配置为存储指令，所述指令在由所述处理器执行时实现：确定多个采样点深度，所述多个采样点深度表示所述多个相机套件与所述多个相机套件的视场内的三维场景中的多个采样点之间的距离；以及设...
【专利技术属性】
技术研发人员：A，
申请(专利权)人：镭亚股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。