自动全光视频重新聚焦的音频事件检测制造技术

本公开涉及自动全光视频重新聚焦的音频事件检测。提供一种全光相机和相关联的方法。该相机具有用于生成数字图像的传感器阵列。图像具有相关联的音频信号。传感器阵列被配置为捕获与默认的空间坐标相关联的数字图像，并且还被配置为接收来自处理器的控制输入，以基于在新的空间坐标处的事件的发生，将焦点从默认的空间坐标改变到新的空间坐标。

【技术实现步骤摘要】
自动全光视频重新聚焦的音频事件检测
本公开一般涉及记录和广播技术，并且具体涉及使用具有重新聚焦特征的全光相机的广播。
技术介绍
本章节目的在于向读者介绍技术的各个方面，并且帮助更好地理解所展示的各个实施例。因此，应当理解，这些陈述从这个角度来阅读，而不作为对现有技术的承认。具有简单布置的典型的3D图像捕获设备捕获右眼图像和左眼图像。因此，这样的方法需要两个相机来增加最终产品的总体大小和质量。为了克服同时使用两个相机的负担，已经开发了使用单个全光相机、通过视差或者“多视角图像”能力捕获多个图像的技术。全光相机通过使用布置在成像平面处的柱状透镜阵列前面的单个透镜来捕获图像。在全光相机中，主透镜孔径在每个透镜状元件后面成像。从不同的透镜所捕获的多个子图像生成最终图像，其中每个透镜反射其前面的场景。对透镜状阵列后面的图像进行数字化以获得数字全光图像。因此，每个子图像由对进入主孔径的光射线的路径进行编码的局部像素阵列来表示。对于大孔径，每个子图像的各个像素将在子图像中被点亮。对于小孔径，仅一个像素将被点亮。近年来，除了全光相机的发展之外，作为整体的数字相机和数字电影摄像机的性能和功能由于技术的提高而独立地被增强。例如，诸如电荷耦合器件阵列(CCD)或者互补金属氧化物半导体阵列(CMOS)这样的一些固态图像传感器的使用已经极大地增强了使用这些相机的质量和容易性。具体地，在图像传感器中使用的像素结构的大小已经由于半导体器件处理技术的快速发展而进一步减小，从而实现了更大的分辨率。与成像技术的增强相结合的全光相机的发展如今使更大数量的像素和驱动器能够一起集成在图像传感器中，由此提供令人惊讶的结果。这样的发展能够增强观看快感并且提高所展示的图像的分辨率。然而，现有技术仍然缺乏在创建沉浸式观看体验中充分利用这些改进并且因此在整体上提高娱乐价值的设备和技术。
技术实现思路
提供一种全光相机和相关联的方法。在一个实施例中，该相机具有用于生成数字图像的传感器阵列。图像具有相关联的音频信号。传感器阵列被配置为捕获与默认的空间坐标相关联的数字图像，并且还被配置为接收来自处理器的控制输入，以基于在新的空间坐标处的事件的发生，将焦点从默认的空间坐标改变到新的空间坐标。在另一个实施例中，相关联的方法包括：经由处理器接收来自全光相机的多个数字图像；经由处理器接收与图像相关联的多个音频信号；以及由处理器确定事件的发生，并且将焦点从默认的空间坐标改变到与事件的发生相关联的新的空间坐标。附图说明参照附图、借助于下面决不是限制性的实施例和执行示例，将更好地理解和例示本专利技术，附图中：图1图示示出具有多个麦克风的分布式全光成像系统的框图；图2图示根据图1的实施例的另一个框图，例示根据一个实施例的不同的所计算出的兴趣得分；图3是示出如根据一个实施例的所估计的重新聚焦平面的框图；以及图4是图示根据一个实施例的图像和相关联音频信号的传递的流程图。在图1至图3中，所表示的方框仅仅是功能实体，其未必对应于物理上单独的实体。也就是说，它们能够开发为软件、硬件的形式或者实现在包括一个或多个处理器的一个或若干集成电路中。在任何可能的情况下，在附图各处，将使用相同的标号来参考相同或相似的部件。具体实施方式应当理解，为了清楚地理解本专利技术，本专利技术的附图和描述已经简化以例示相关的元件，同时为了清楚的目的，消减了在典型的数字多媒体内容传递方法和系统中存在的许多其他元件。然而，因为这样的元件在本领域中众所周知，所以这里不提供对这些元件的详细讨论。这里，本公开针对所有这样的变型和修改。图1是示出全光成像系统100的一个实施例的例示。能够提供诸如体育场地110这样的允许比赛或音乐会的广播的场地。在该实施例中，如在130处所示，使用一个或多个全光相机进行广播。如所示那样，还能够在跨越场地110的某些期望位置处选择性地布置多个麦克风120。一般地，广播通常涉及音频和/或视频内容经由一个或多个的通信介质(主要是电子通信介质)分发给到分散的观众。来自诸如场地110这样的大型场所的广播在历史上包括经由无线电和电视(TV)节目安排的分发。然而，近年来，广播能够包括由个人和其他实体在因特网上对图像进行流传输。在许多背景下，广播针对大量观众(诸如在因特网上提供的那些)或者针对使用无线电和电视系统的一般大众消费来进行。然而，如图1中所示的本系统不仅针对更大量和更多的公众观众提供广播，还能够被提供使得其被认为适合于更有限的观看。后者能够包括各种场所，诸如百货商店、银行、公寓大楼、餐饮大厅或者甚至是以家庭或学校事件为中心的更小的场所。另外，使用的范围能够多种多样，从诱使购买产品到增强安全性。在一个实施例中，系统100包括一个或多个计算机和/或处理器150，其允许图像和音频的总体管理并且用于将图像和/或音频广播给一个或多个用户设备。在图1中，如所示那样，处理器150是全光相机130的一部分，但是在其他实施例中，处理器可以是单独的实体或者是一个或多个计算机和/或服务器的一部分。虽然图1图示单个场所系统，但是在其他实施例中，可以存在多个场所，其可以位于离开彼此的远程设施内，并且每个具有至少一个全光相机。分开的场所之间的广播将由处理器或计算机监视和控制，并且能够与单个场所系统类似地进行管理。当场地很大或者事件跨越多个设施而分散时，提供沉浸式广播特别具有挑战性。沉浸式视频广播不需要总是在场地中记录以具有重新聚焦需求。能够用全光相机记录或广播的任何事件可能十分庞大并且具有与特别大的事件相似的某些需求。这样的事件的示例包含包括音乐厅、体育场所、诸如歌剧院、剧场、电影院等舞台式和剧场式场所的较大的场地，或者较小的场所，诸如会议厅和结婚礼堂、商店或者能够包括如先前所述的具有安全性需求的旅馆、银行和公寓大楼的多设施场所。在单个设施场所中，如图1中所示，能够在围绕单个设施或场地的选择性的特殊位置处捕获视频和音频。在多设施场所(未示出)中，能够仍然完全保持这样，除了空间定位的相机和音频设备不是分散在单个位置处而是分散在多个位置处之外。在每种情况下，一个或多个计算机和/或处理器(150)能够控制多个设备之间的通信。在一个实施例中，全光相机(130)的使用将允许焦点从场地的一个部分转移到另一个部分。在多设施环境中，能够通过若干全光相机做到这一点。在这样的情况下，将存在默认的视图，并且然后将存在多个其他视图，其中场景由相同的全光相机同时捕获。将存在一个或多个预先选择的事件，其将所广播的事件的焦点从默认的场景移动到替换的场景。为了使得对该概念的理解更容易，能够参照图1的实施例提供示例。这里，场所能够是诸如体育馆这样的单个设施场所，并且事件可以是由仅一个相机所捕获的足球比赛。默认的视图是运动场的视图，并且集中在足球比赛本身上。预先选择的事件具有来自麦克风的音频反馈。例如，在该示例中，体育馆或体育场地110被遍及场所(诸如沿着其周长)而在关键之处布置的N个麦克风120所围绕。在一个实施例中，声音的突然增加或者声音的突然增加超过某个阈值或分贝，将使广播焦点重新移动到该区域，使得将广播在那个特定麦克风的附近和直接周围的场景。在其他实施例中，预先选择的事件可以未必连接到音频反馈或者对特定的音频反馈敏感。例如，突然的讨论或者欢笑声能够触发本文档来自技高网...

【技术保护点】
一种全光相机(130)，具有用于生成数字图像的传感器阵列(140)，所述图像具有相关联的音频信号，包括：所述传感器阵列，被配置为捕获与默认的空间坐标相关联的数字图像(400)；所述传感器阵列，被配置为接收来自处理器的控制输入，以基于在新的空间坐标处事件的发生(440)，将焦点从默认的空间坐标改变到新的空间坐标(460)。

【技术特征摘要】
2015.09.29 EP 15306529.71.一种全光相机(130)，具有用于生成数字图像的传感器阵列(140)，所述图像具有相关联的音频信号，包括：所述传感器阵列，被配置为捕获与默认的空间坐标相关联的数字图像(400)；所述传感器阵列，被配置为接收来自处理器的控制输入，以基于在新的空间坐标处事件的发生(440)，将焦点从默认的空间坐标改变到新的空间坐标(460)。2.根据权利要求1所述的系统，其中，至少一个传感器(140)与处理器通信。3.根据权利要求1或2所述的系统，其中，所述事件与传感器所检测到的至少一个分类器的发生相关联。4.根据权利要求1或2所述的系统，其中，所述音频信号由多个麦克风(120)捕获。5.根据权利要求2或3所述的系统，其中，存在多于一个的分类器(450)，并且重新聚焦的次序基于优先级列表上分类器的所选择的次序。6.根据权利要求5所述的系统，其中，至少一个分类器是音频事件。7.根据权利要求6所述的系统，其中，所述音频事件包括欢笑、鼓掌或者球的声音中的一个。8.根据权利要求5或7所述的系统，其中，所述音频事件是高于预先选择的分贝阈值的任何异常响亮的声音。9.一种使用在默认的空间坐标(400)上聚焦的全光相机(130)来捕获图像的方法，包括：经由处理器接收来自全光相机的多个数字图像；经由处理器接收与数字图像相关联的多个音频信号；由处理器确定事件的发生(440)，并且将焦点从默认的空间...

【专利技术属性】
技术研发人员：P赫利尔，QKN董，V阿利，P莱恩德克，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR