The invention relates to a device, method and computer program for video coding and decoding. A method for analyzing the existence of objects in a first space with a capture system comprising multiple camera devices and a playback system for reproducing audio and/or visual signals in space, including obtaining a first 3D volume representation of scene in space based on input streams of the first and second camera devices. It displays at least one object in the scene; sends a detection signal to the processing unit; controls the processing unit to reproduce one or more audio and/or visual signals using a playback system based on the detection signal entering the space; and controls the processing unit to capture the second 3D volume representation of the scene, including one or more sounds in the space. Reproduction of frequency and/or visual signals; analysis of whether the reproduction of one or more audio and/or visual signals captured in the first space corresponds to the assumed position of at least one object displayed in the first 3D volume representation.
【技术实现步骤摘要】
用于视频编码和解码的装置、方法和计算机程序
本专利技术涉及用于多摄像机单元的方法、用于多摄像机单元的装置、以及用于多摄像机单元的计算机程序。
技术介绍
多摄像机单元包括能够捕获图像和/或视频的两个或更多个摄像机。这些摄像机可以以不同的方式相对于每个其它摄像机放置。例如,在双摄像机单元中,摄像机彼此的距离可以很短并且可以观看同一方向,从而使得双摄像机单元能够提供环境的立体视图。在另一示例中,多摄像机单元可以包括多于两个的以全向方式定位的摄像机。因此,这种多摄像机单元的视角甚至可以是360°。换句话说,多摄像机单元实际能够观看到多摄像机单元的四周。可以使用一个或多个多摄像机设备(MCD)捕获体积视频(volumetricvideo)。当使用多个MCD时,所捕获的镜头可以被同步,使得MCD提供同一个世界的不同视角。与传统2D/3D视频相比,体积视频描述了世界的3D模型,其中观看者可以自由移动并环视以观察世界的不同部分。场景的体积表示基于所述多个MCD捕获的信息构建。可以预见,各种人工智能(AI)技术很快就能够将3D对象补绘(inpaint)到空间的体积重构中。因此,可以利用AI将不存在的对象补绘到空间的体积重构内以恶意破坏空间。这对通信的完整性造成潜在的问题。
技术实现思路
现在,为了至少缓解上述问题,此处介绍了一种用于分析对象的存在的方法。第一方面包括一种用于分析第一空间内的对象的存在的方法,所述第一空间具有捕获系统和第一回放系统,所述捕获系统包括第一多个摄像机设备,所述第一回放系统用于在所述第一空间中再现音频和/或视觉信号,所述方法包括:获得由与所述捕获系统相关 ...
【技术保护点】
1.一种用于分析第一空间内的对象的存在的方法,所述第一空间具有捕获系统和第一回放系统,所述捕获系统包括第一多个摄像机设备,所述第一回放系统用于在所述第一空间中再现音频和/或视觉信号,所述方法包括:获得由与所述捕获系统相关联的处理单元基于至少第一和第二摄像机设备的输入流生成的所述第一空间内的场景的第一三维(3D)体积表示,所述第一3D体积表示包括在所述场景内显示的至少一个对象;向所述处理单元发送一个或多个探测信号;控制所述处理单元以基于进入所述空间内的所述探测信号,使用所述第一回放系统再现一个或多个音频和/或视觉信号;控制所述处理单元以捕获所述场景的第二3D体积表示,所述第二3D体积表示包括所述一个或多个音频和/或视觉信号在所述空间内的再现;以及分析在所述第一空间内捕获的所述一个或多个音频和/或视觉信号的再现是否对应于在所述第一3D体积表示中显示的所述至少一个对象的假定位置。
【技术特征摘要】
2017.05.16 GB 1707792.61.一种用于分析第一空间内的对象的存在的方法,所述第一空间具有捕获系统和第一回放系统,所述捕获系统包括第一多个摄像机设备,所述第一回放系统用于在所述第一空间中再现音频和/或视觉信号,所述方法包括:获得由与所述捕获系统相关联的处理单元基于至少第一和第二摄像机设备的输入流生成的所述第一空间内的场景的第一三维(3D)体积表示,所述第一3D体积表示包括在所述场景内显示的至少一个对象;向所述处理单元发送一个或多个探测信号;控制所述处理单元以基于进入所述空间内的所述探测信号,使用所述第一回放系统再现一个或多个音频和/或视觉信号;控制所述处理单元以捕获所述场景的第二3D体积表示,所述第二3D体积表示包括所述一个或多个音频和/或视觉信号在所述空间内的再现;以及分析在所述第一空间内捕获的所述一个或多个音频和/或视觉信号的再现是否对应于在所述第一3D体积表示中显示的所述至少一个对象的假定位置。2.根据权利要求1所述的方法,其中,所述方法由与第二空间相关联的远程单元执行,所述第二空间具有捕获系统和第二回放系统,所述捕获系统包括第二多个摄像机设备,所述第二回放系统用于在所述第二空间中再现音频和/或视觉信号。3.根据权利要求1或2所述的方法,其中,所述第一空间和所述第二空间的至少一个装置配置为彼此通信,由此,所述第二空间的所述装置知晓与所述通信相关的传输延迟。4.根据前述任一权利要求所述的方法,其中,所述一个或多个探测信号使用被发送到所述第二空间的一个或多个扬声器的音频模式来生成。5.根据权利要求4所述的方法,其中,所述一个或多个探测信号是在人类听觉系统的频率范围之外的音频束。6.根据权利要求4所述的方法,其中,所述一个或多个探测信号包括在所述第二空间中参与视频会议的一个或多个人的语音信号。7.根据前述任一权利要求所述的方法,其中,所述第一空间包括被布置为捕获来自所述第一空间的视频数据的至少一个高速摄像机,并且所述方法进一步包括通过使用所述高速摄像机,分析基于所述第一空间中的所述一个或多个探测信号再现的音频信号所引起的物理移动。8.根据权利要求7所述的方法,其中,所述第一空间中的至少一个扬声器的音频束聚焦于在所述第一3D体积表示中显示的至少一个对象。9.根据前述任一权利要求所述的方法,其中,所述一个或多个探测信号使用被发送到所述第一空间中的屏幕的视觉模式来生成。10.根据权利要求9所述的方法,其中,所述一个或多个探测信号包括由所述第二空间的所述摄像机捕获的所述第二空间中的光和/或颜色变化。11.根据前述任一权利要求所述的方法,其中,所述空间内的所述一个或多个音频和/或视觉信号的所述...
【专利技术属性】
技术研发人员:F·克里克里,M·图帕拉,
申请(专利权)人:诺基亚技术有限公司,
类型:发明
国别省市:芬兰,FI
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。