用于视频编码和解码的装置、方法和计算机程序制造方法及图纸

技术编号:19550983 阅读:91 留言:0更新日期:2018-11-24 21:53
本发明专利技术涉及一种用于视频编码和解码的装置、方法和计算机程序。一种用于分析第一空间内的对象的存在的方法,该空间具有包括多个摄像机设备的捕获系统和在空间中再现音频和/或视觉信号的回放系统,包括:获得基于第一和第二摄像机设备的输入流生成的空间内场景的第一3D体积表示,其显示场景内至少一个对象;向处理单元发送探测信号;控制处理单元以基于进入空间内的探测信号,使用回放系统再现一个或多个音频和/或视觉信号;控制处理单元以捕获场景的第二3D体积表示,其包括空间内一个或多个音频和/或视觉信号的再现;分析在第一空间内捕获的一个或多个音频和/或视觉信号的再现是否对应于第一3D体积表示中显示的至少一个对象的假定位置。

Devices, methods and computer programs for video coding and decoding

The invention relates to a device, method and computer program for video coding and decoding. A method for analyzing the existence of objects in a first space with a capture system comprising multiple camera devices and a playback system for reproducing audio and/or visual signals in space, including obtaining a first 3D volume representation of scene in space based on input streams of the first and second camera devices. It displays at least one object in the scene; sends a detection signal to the processing unit; controls the processing unit to reproduce one or more audio and/or visual signals using a playback system based on the detection signal entering the space; and controls the processing unit to capture the second 3D volume representation of the scene, including one or more sounds in the space. Reproduction of frequency and/or visual signals; analysis of whether the reproduction of one or more audio and/or visual signals captured in the first space corresponds to the assumed position of at least one object displayed in the first 3D volume representation.

【技术实现步骤摘要】
用于视频编码和解码的装置、方法和计算机程序
本专利技术涉及用于多摄像机单元的方法、用于多摄像机单元的装置、以及用于多摄像机单元的计算机程序。
技术介绍
多摄像机单元包括能够捕获图像和/或视频的两个或更多个摄像机。这些摄像机可以以不同的方式相对于每个其它摄像机放置。例如,在双摄像机单元中,摄像机彼此的距离可以很短并且可以观看同一方向,从而使得双摄像机单元能够提供环境的立体视图。在另一示例中,多摄像机单元可以包括多于两个的以全向方式定位的摄像机。因此,这种多摄像机单元的视角甚至可以是360°。换句话说,多摄像机单元实际能够观看到多摄像机单元的四周。可以使用一个或多个多摄像机设备(MCD)捕获体积视频(volumetricvideo)。当使用多个MCD时,所捕获的镜头可以被同步,使得MCD提供同一个世界的不同视角。与传统2D/3D视频相比,体积视频描述了世界的3D模型,其中观看者可以自由移动并环视以观察世界的不同部分。场景的体积表示基于所述多个MCD捕获的信息构建。可以预见,各种人工智能(AI)技术很快就能够将3D对象补绘(inpaint)到空间的体积重构中。因此,可以利用AI将不存在的对象补绘到空间的体积重构内以恶意破坏空间。这对通信的完整性造成潜在的问题。
技术实现思路
现在,为了至少缓解上述问题,此处介绍了一种用于分析对象的存在的方法。第一方面包括一种用于分析第一空间内的对象的存在的方法,所述第一空间具有捕获系统和第一回放系统,所述捕获系统包括第一多个摄像机设备,所述第一回放系统用于在所述第一空间中再现音频和/或视觉信号,所述方法包括:获得由与所述捕获系统相关联的处理单元基于至少第一和第二摄像机设备的输入流生成的所述第一空间内的场景的第一三维(3D)体积表示,所述第一3D体积表示包括在所述场景内显示的至少一个对象;向所述处理单元发送一个或多个探测信号;控制所述处理单元以基于进入所述空间内的所述探测信号,使用所述第一回放系统再现一个或多个音频和/或视觉信号;控制所述处理单元以捕获所述场景的第二3D体积表示,所述第二3D体积表示包括所述一个或多个音频和/或视觉信号在所述空间内的再现;以及分析在所述第一空间内捕获的所述一个或多个音频和/或视觉信号的再现是否对应于在所述第一3D体积表示中显示的所述至少一个对象的假定位置。根据一个实施例,所述方法由与第二空间相关联的远程单元执行,所述第二空间具有捕获系统和第二回放系统,所述捕获系统包括第二多个摄像机设备,所述第二回放系统用于在所述第二空间中再现音频和/或视觉信号。根据一个实施例,所述第一空间和所述第二空间的至少一个装置配置为彼此通信,由此,所述第二空间的所述装置知晓与所述通信相关的传输延迟。根据一个实施例,所述一个或多个探测信号使用被发送到所述第二空间的一个或多个扬声器的音频模式来生成。根据一个实施例,所述一个或多个探测信号是在人类听觉系统的频率范围之外的音频束。根据一个实施例,所述一个或多个探测信号包括在所述第二空间中参与视频会议的一个或多个人的语音信号。根据一个实施例,所述第一空间包括被布置为捕获来自所述第一空间的视频数据的至少一个高速摄像机,并且所述方法进一步包括通过使用所述高速摄像机,分析基于所述第一空间中的所述一个或多个探测信号再现的音频信号所引起的物理移动。根据一个实施例,所述第一空间中的至少一个扬声器的音频束聚焦于在所述第一3D体积表示中显示的至少一个对象。根据一个实施例,所述一个或多个探测信号使用被发送到所述第一空间中的屏幕的视觉模式来生成。根据一个实施例,所述一个或多个探测信号包括由所述第二空间的所述摄像机捕获的所述第二空间中的光和/或颜色变化。根据一个实施例,所述空间内的所述一个或多个音频和/或视觉信号的所述再现的分析由神经网络执行。第二和第三方面涉及一种装置和一种其上存储有代码的计算机可读存储介质,它们被布置为执行上述方法和与之相关的一个或多个实施例。附图说明为了更好地理解本专利技术,现在将借助示例参考附图,其中:图1a示出了根据一个实施例的作为简化框图的多摄像机单元的示例;图1b示出了根据一个实施例的多摄像机单元的透视图;图2示出了包括多个多摄像机单元的系统的简化框图;图3a-3c示出了例示体积视频的原理的示例;图4示出了卷积神经网络的示例;图5示出了根据一个实施例的方法的流程图;图6示出了根据一个实施例的系统配置的示例;图7示出了根据另一实施例的系统配置的示例;图8示出了根据一个实施例的神经网络的示例;图9示出了示例性装置或电子设备的示意性框图;图10示出了根据一个示例实施例的装置;图11示出了用于无线通信的包括多个装置、网络和网络单元的布置的示例。具体实施方式以下实施例是示例性的。虽然本说明书可能在多个位置中引用“一”、“一个”或“一些”实施例,但这并不一定意味着每个这样的引用是针对相同的实施例(多个),或者意味着该特征仅适用于单个实施例。不同实施例的单个特征也可以被组合以提供其它实施例。为了阐述空间体积重构(体积视频)的基本思想,首先描述与其相关的各种装置。图1a示出了包括两个或更多个摄像机102的多摄像机单元100的示例。在该示例中,摄像机102的数量是八个,但是也可以少于八个或多于八个。每个摄像机102位于多摄像机单元中的不同位置处,并且可以具有相对于其它摄像机102的不同取向。作为示例,摄像机102可以呈全向星座图布置,使得其在3D空间中具有360°视角。换句话说,这样的多摄像机单元100能够看到场景的每个方向,使得多摄像机单元100周围的场景的每个点能够被至少一个摄像机102看到。不失一般性地,多摄像机单元100中的任意两个摄像机102可被视为一对摄像机102。因此,具有两个摄像机的多摄像机单元仅具有一对摄像机,具有三个摄像机的多摄像机单元具有三对摄像机,具有四个摄像机的多摄像机单元具有六对摄像机等。通常,包括N个摄像机102的多摄像机单元100(其中N是大于1的整数)具有N(N-1)/2对摄像机102。因此,由摄像机102在特定时间捕获的图像可被视为N(N-1)/2对捕获图像。图1a的多摄像机单元100还可以包括用于控制多摄像机单元100的操作的处理器104。还可以具有用于存储要由处理器104执行的数据和计算机代码的存储器106以及用于例如以无线和/或有线的方式与通信网络和/或其它设备通信的收发机108。用户设备100进一步可以包括用于向用户显示信息,用于生成可听信号和/或用于接收用户输入的用户接口(UI)110。然而,多摄像机单元100不需要包括上述每个特征,或者还可以包括其它特征。例如,可以存在用于调整和/或控制摄像机102的光学器件的电子和/或机械单元(未示出)。图1a的多摄像机单元100还可以包括设备128,其用于计算距离信息,即景深。这些传感器使得所述设备能够计算来自多摄像机单元的场景内容的所有相应深度信息。此信息导致创建深度图并且可以用于该应用的后续处理中。深度图图像可以被认为表示与从参考位置(例如观察者的视角)到场景对象表面的距离相关的值。深度图图像是可以包括每像素深度信息或任何类似信息的图像。例如,深度图图像中的每个样本表示各个纹理样本与摄像机所在平面的距离。换句话说,如果z轴沿着摄像机的拍摄轴(因此与摄本文档来自技高网...

【技术保护点】
1.一种用于分析第一空间内的对象的存在的方法,所述第一空间具有捕获系统和第一回放系统,所述捕获系统包括第一多个摄像机设备,所述第一回放系统用于在所述第一空间中再现音频和/或视觉信号,所述方法包括:获得由与所述捕获系统相关联的处理单元基于至少第一和第二摄像机设备的输入流生成的所述第一空间内的场景的第一三维(3D)体积表示,所述第一3D体积表示包括在所述场景内显示的至少一个对象;向所述处理单元发送一个或多个探测信号;控制所述处理单元以基于进入所述空间内的所述探测信号,使用所述第一回放系统再现一个或多个音频和/或视觉信号;控制所述处理单元以捕获所述场景的第二3D体积表示,所述第二3D体积表示包括所述一个或多个音频和/或视觉信号在所述空间内的再现;以及分析在所述第一空间内捕获的所述一个或多个音频和/或视觉信号的再现是否对应于在所述第一3D体积表示中显示的所述至少一个对象的假定位置。

【技术特征摘要】
2017.05.16 GB 1707792.61.一种用于分析第一空间内的对象的存在的方法,所述第一空间具有捕获系统和第一回放系统,所述捕获系统包括第一多个摄像机设备,所述第一回放系统用于在所述第一空间中再现音频和/或视觉信号,所述方法包括:获得由与所述捕获系统相关联的处理单元基于至少第一和第二摄像机设备的输入流生成的所述第一空间内的场景的第一三维(3D)体积表示,所述第一3D体积表示包括在所述场景内显示的至少一个对象;向所述处理单元发送一个或多个探测信号;控制所述处理单元以基于进入所述空间内的所述探测信号,使用所述第一回放系统再现一个或多个音频和/或视觉信号;控制所述处理单元以捕获所述场景的第二3D体积表示,所述第二3D体积表示包括所述一个或多个音频和/或视觉信号在所述空间内的再现;以及分析在所述第一空间内捕获的所述一个或多个音频和/或视觉信号的再现是否对应于在所述第一3D体积表示中显示的所述至少一个对象的假定位置。2.根据权利要求1所述的方法,其中,所述方法由与第二空间相关联的远程单元执行,所述第二空间具有捕获系统和第二回放系统,所述捕获系统包括第二多个摄像机设备,所述第二回放系统用于在所述第二空间中再现音频和/或视觉信号。3.根据权利要求1或2所述的方法,其中,所述第一空间和所述第二空间的至少一个装置配置为彼此通信,由此,所述第二空间的所述装置知晓与所述通信相关的传输延迟。4.根据前述任一权利要求所述的方法,其中,所述一个或多个探测信号使用被发送到所述第二空间的一个或多个扬声器的音频模式来生成。5.根据权利要求4所述的方法,其中,所述一个或多个探测信号是在人类听觉系统的频率范围之外的音频束。6.根据权利要求4所述的方法,其中,所述一个或多个探测信号包括在所述第二空间中参与视频会议的一个或多个人的语音信号。7.根据前述任一权利要求所述的方法,其中,所述第一空间包括被布置为捕获来自所述第一空间的视频数据的至少一个高速摄像机,并且所述方法进一步包括通过使用所述高速摄像机,分析基于所述第一空间中的所述一个或多个探测信号再现的音频信号所引起的物理移动。8.根据权利要求7所述的方法,其中,所述第一空间中的至少一个扬声器的音频束聚焦于在所述第一3D体积表示中显示的至少一个对象。9.根据前述任一权利要求所述的方法,其中,所述一个或多个探测信号使用被发送到所述第一空间中的屏幕的视觉模式来生成。10.根据权利要求9所述的方法,其中,所述一个或多个探测信号包括由所述第二空间的所述摄像机捕获的所述第二空间中的光和/或颜色变化。11.根据前述任一权利要求所述的方法,其中,所述空间内的所述一个或多个音频和/或视觉信号的所述...

【专利技术属性】
技术研发人员:F·克里克里M·图帕拉
申请(专利权)人:诺基亚技术有限公司
类型:发明
国别省市:芬兰,FI

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1