具有移动检测的全向相机制造技术

呈现了一种全向相机。所述相机包括：耦合到图像传感器的至少一个镜头、耦合到图像传感器的控制器、以及耦合到控制器的移动检测元件。移动检测元件被配置为检测相机的移动速度和方向，该相机被配置为经由耦合到图像传感器的至少一个镜头来捕捉图像，并且控制器被配置为在捕捉到的图像中选择数字视点。数字视点的中心点基于移动方向来选择，而数字视点的视野则基于移动速度。还提出了一种系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】具有移动检测的全向相机背景覆盖水平窗格中或水平和垂直窗格中的360度图像的全向相机已被用于全景成像和视频记录。此类相机记录的图像和视频可由消费者电子设备回放，并且通常设备用户可以控制360帧的哪个片段被显示。这可通过在回放期间操纵视点来完成。概述下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，且其不标识本专利技术的关键/重要元件或者描述本说明书的范围。其唯一的目的是以简化形式呈现本文中所公开的概念精选，作为稍后呈现的更详细描述的序言。呈现了一种相机、系统和方法。相机捕捉全向图像或视频，并根据相机的移动方向和速度来自动地在这些图像或视频中选择数字视点。该系统包括可被附连到物体(例如汽车或人)的相机；并且该方法用于通过基于移动参数确定视频的中心点和视野来选择相同视频中的数字视点。通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。附图描述根据附图阅读以下详细描述将更好地理解本说明书，在附图中：图1是根据一实施例的相机的主要组件的示意图；图2是根据一实施例的系统的示意图；图3a是根据一实施例的在移动期间的视野调节的示意性俯视图；图3b是根据一实施例的在移动期间的中心点调节的示意性俯视图；图4是一实施例的图形说明；图5是根据一实施例的方法的框图。详细描述下面结合附图提供的详细描述旨在作为各实施例的描述，并不旨在表示可以构建或使用各实施例的唯一形式。本说明书详尽揭示各操作步骤的结构基础、功能和次序。然而，可以通过未在以下列举的不同的实施例来实现相同或等效功能和序列。虽然本专利技术各实施例中的一些示例在本文中可被描述和解说成实现在全向视频相机中，但它们只是设备的示例而非限制。如本领域技术人员将理解的，这些实施例适合应用于结合了数字图像捕捉单元或数字成像系统(例如，单独的数字相机设备，例如紧凑相机、SLR(单镜头反光)相机，无反光镜可换镜头相机或固定相机)的各种不同类型设备，只要该数字成像系统能够捕捉具有比在显示设备上显示的视野更宽的视野的图像。全向视野可能会部分地被相机机身遮挡。全向相机可具有超过180度的视野。相机可具有不同的形状因素；例如，它可以是具有大显示器的扁平设备，球形元件或包括相机元件的棒(baton)。图1示出了全向相机100的一实施例的框图。相机100可以是适合于捕捉全向图像和/或视频的任何相机，或可捕捉至少180度的水平和垂直视野的广角相机。例如，相机100可以是被实现为具有两个镜头的独立数字相机设备的360度相机，或相机100可被实现在例如在智能电话、平板计算机、可穿戴相机或web相机中。相机100可具有任何形状和设计，并通过图1中的结构元件来例示各实施例。全向相机100包括：耦合到图像传感器101的至少一个镜头102、耦合到图像传感器101的控制器103、以及耦合到控制器103的移动检测元件104。移动检测元件104可包括运动传感器、旋转检测器和/或用于检测相机的移动的附加相机。在一实施例中，耦合到图像传感器101的至少一个镜头102可补充被配置为将全景图像反射到镜头102中的至少一个反射镜。在一实施例中，相机100包括耦合到图像传感器101的两个或更多个镜头102，其中这些对还耦合到控制器103。此实施例中的多个光学元件可向控制器103提供图像，当各图像被组合时就创建全向图像。在一实施例中，当使用具有图像传感器101的两个或更多个镜头102时，相机被配置为捕捉水平和垂直的全向全景图像。图像传感器101可包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。移动检测元件104被配置为检测相机100的移动的速度和方向。在一实施例中，相机100可包括图1中未示出的紧固元件，其使得可将相机100固定到正在移动的物体。相机100被配置为经由镜头102将图像捕捉到图像传感器101上并将捕捉到的图像提供给控制器103。如果相机100是照片相机，则帧率可以在每秒1至10个图像之间；如果相机100是视频相机，则帧率可以在每秒10至120个图像之间。例如，如果相机100被设计成用于捕捉适合于慢动作回放的高帧率视频，则更高的帧率也是可能的。控制器103被配置为在捕捉到的图像中选择数字视点。数字视点是所显示的捕捉到的全向图像的一片段。基于移动方向来选择数字视点的中心点，例如使得数字视点“面向”移动方向。基于移动速度来选择数字视点的视野(FoV)。数字视点的视野可被定义为确定所显示的捕捉到的全向图像的片段的宽度的角度。这参考图3a-3b进行解释。在一实施例中，控制器103进一步被配置为在移动方向改变时调节数字视点的中心点，并随着移动速度改变而改变视野：在速度提高时缩小视野，并在速度降低时扩大视野。在一实施例中，控制器103被配置为在捕捉视频或图像序列的同时以实时的方式执行上述操作。控制器103还可被配置成将数字视点选择记录为与捕捉到的视频或图像序列有关的数据的一部分。此数据可被记录为保存在具有捕捉到的图像或视频的存储器中的元数据。元数据例如是包括多个感兴趣区域或数字视点的XML文件，其中时间数据对应于捕捉到的视频。在一个实施例中，图像或视频与数字视点选择的信息组合为单个文件。在播放视频时，数字视点默认被显示在视频流中，并视频的观看者可对根据元数据记录的视点进行跟踪。观看者可选择观看除了全向图像或视频中的数字视点之外的其他方向。在一实施例中，观看者可能受到除了轻微偏移以外的任何视点变化的限制，以避免高速素材的令人不快的观看体验。根据一实施例，相机100还包括被配置为监视相机用户的注视方向的注视检测元件105。控制器103可附加地基于注视方向来选择数字视点的中心点。注视检测元件103可以是眼睛跟踪器或面部检测元件。其用虚线框例示可选特征。在一实施例中，控制器103被配置为仅在达到预定义速度阈值之后才基于移动方向来选择数字视点的中心点。如果相机100包括注视检测元件105，则相机100可跟踪用户正在观看的位置，并维持数字视点的中心点面向相同的方向直到超过预定义的速度阈值。控制器103也可被配置为在短时间内优先考虑用户的注视方向，并然后将中心点返回到移动方向。这可提供相机100的用户对捕捉到的视频的实时编辑。在一实施例中，相机100包括图像稳定元件。此元件被配置为稳定全向视图，例如通过将全向视图保持在水平平面中而不管相机100的定向，或在将数字视点保持朝向特定点的同时吸收相机抖动。图像稳定元件可部分地由相机的操作系统来实现；该操作系统可由硬件或部分地由硬件和嵌入式软件来实现。在一实施例中，相机100包括耦合到控制器103的加速度计。相机100还可包括也连接到控制器103的诸如陀螺仪之类的其他惯性导航系统(INS)。在一实施例中，控制器103被配置为基于所提及的INS的读数来调节数字视点的定向。例如，如果相机100是倾斜的，则读数能提供关于数字视点应该被调节的角度的信息以获得更愉快的观看体验。根据一实施例，相机100被配置为在每一帧中在数字视点内以比数字视点外更高的分辨率记录捕捉到的图像或视频。上述实施例具有提供具有有意义的视点的全向视频或图像的技术效果。例如，在捕捉和编辑安装在高速移动的物体或人上的全向相机捕捉到的视频或图像时本文档来自技高网...

【技术保护点】
一种全向相机，包括：耦合到图像传感器的至少一个镜头，耦合到所述图像传感器的控制器，以及耦合到所述控制器的移动检测元件；其中所述移动检测元件被配置为检测所述相机的移动的速度和方向，所述相机被配置为经由耦合到所述图像传感器的所述至少一个镜头来捕捉图像，所述控制器被配置为在捕捉到的图像中选择数字视点，其中所述数字视点的中心点基于移动的方向，而所述数字视点的视野基于移动的速度。

【技术特征摘要】
【国外来华专利技术】2015.10.15 US 14/884,2991.一种全向相机，包括：耦合到图像传感器的至少一个镜头，耦合到所述图像传感器的控制器，以及耦合到所述控制器的移动检测元件；其中所述移动检测元件被配置为检测所述相机的移动的速度和方向，所述相机被配置为经由耦合到所述图像传感器的所述至少一个镜头来捕捉图像，所述控制器被配置为在捕捉到的图像中选择数字视点，其中所述数字视点的中心点基于移动的方向，而所述数字视点的视野基于移动的速度。2.如权利要求1所述的相机，其特征在于，所述控制器被配置成：基于所述移动的方向选择并调节所述数字视点的所述中心点，当所述移动的速度提高时，缩小所述数字视点的所述视野，以及当所述移动的速度降低时，扩大所述数字视点的所述视野。3.如权利要求1所述的相机，其特征在于，所述相机包括耦合到图像传感器的至少两个镜头，其中所述控制器被耦合到所述图像传感器中的每一个图像传感器。4.如权利要求3所述的相机，其特征在于，所述相机被配置为经由耦合到所述图像传感器的所述至少两个镜头来捕捉水平地和垂直地定向的全向全景图像。5.如权利要求1所述的相机，其特征在于，所述相机被配置为经由耦合到所述图像传感器的所述至少一个镜头来捕捉全向视频素材。6.如权利要求5所述的相机，其特征在于，所述捕捉到的图像中所选的数字视点是用于视频回放的默认数字视点。7.如权利要求1所述的相机，其特征在于，所述相...

【专利技术属性】
技术研发人员：E·坎卡帕，S·索尼，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US