多视点摄像系统、三维空间重构系统及三维空间识别系统技术方案

多视点摄像系统(1000)具备：多台相机(100)，在规定空间内从相互不同的位置拍摄影像；状况感知部(160)，感知多台相机(100)及其规定空间中的至少一方的状况，将感知到的状况作为摄像状况信息来输出；以及事件检测部(202a)，基于摄像状况信息检测规定事件，在检测到规定事件的情况下判定是否执行相机校正，在执行相机校正的情况下，输出表示被执行的相机校正的相机校正信息。

Multi-view camera system, three-dimensional space reconstruction system and three-dimensional space recognition system

Multi-view camera system (1000) has: multiple cameras (100) to shoot images from different locations in the prescribed space; situation perception unit (160), to perceive the status of multiple cameras (100) and at least one of them in the prescribed space, to output the perceived status as the status information of the camera; and event detection unit (202a), to detect the prescribed events based on the status information of the camera, and to detect the events in the prescribed space. In the case of a specified event, it is determined whether or not camera correction is performed, and in the case of camera correction, the camera correction information indicating the camera correction being performed is output.

【技术实现步骤摘要】
【国外来华专利技术】多视点摄像系统、三维空间重构系统及三维空间识别系统
本专利技术涉及对拍摄用于三维空间重构的影像的多台相机进行校正的技术。
技术介绍
在专利技术文献1中公开了从由多台相机分别拍摄的影像将被摄体的三维形状进行再现的技术。根据专利技术文献1，使用该三维形状生成自由视点影像。现有技术文献专利文献专利文献1：日本特开2015－022510号公报
技术实现思路
专利技术要解决的课题希望有三维空间重构及三维空间识别的精度及可利用性的稳定性更高的多视点摄像系统。本专利技术提供一种通过在三维空间重构的执行中适时地执行多台相机各自的校正，提高了三维空间重构及三维空间识别的精度及可利用性的稳定性的多视点摄像系统。用来解决课题的手段本专利技术的多视点摄像系统具备：多台相机，在规定空间内从相互不同的位置拍摄影像；状况感知部，感知该多台相机的各个相机及上述规定空间中的至少一方的状况，将感知到的上述状况作为摄像状况信息来输出；以及事件检测部，基于上述摄像状况信息，检测规定事件的发生，在检测到上述规定事件的发生的情况下，关于是否执行相机校正进行判定，在判定为执行相机校正的情况下，输出表示被执行的上述相机校正的相机校正信息。专利技术效果本专利技术的多视点摄像系统通过在三维空间重构的执行中适时地执行多台相机各自的校正，提高三维空间重构及三维空间识别的精度及可利用性的稳定性。附图说明图1是表示三维空间识别的概要的图。图2是表示实施方式1的多视点摄像系统的结构的框图。图3是表示实施方式1的多视点摄像系统执行的一系列的动作的顺序图。图4A是表示实施方式1的相机校正信息的数据结构的一例的图。图4B是表示实施方式1的相机校正信息的数据结构的另一例的图。图5是表示实施方式2的多视点摄像系统的结构的框图。图6是表示实施方式2的多视点摄像系统执行的一系列的动作的顺序图。图7是表示实施方式2的相机调整信息的数据结构的另一例的图。图8是表示影像信息处理系统的结构的图。图9是表示在相机启动时显示的通知画面的一例的图。图10是实现内容分发服务的内容供给系统的整体结构图。图11是数字广播用系统的整体结构图。图12是表示智能电话的一例的图。图13是表示智能电话的结构例的框图。具体实施方式(作为本专利技术的基础的认识)在三维空间中的自由视点影像的生成中，利用进行被摄体的三维形状的重构(建模)的三维空间重构装置的三维空间重构结果。三维空间重构装置使用从包括拍摄同一个场面的影像的多台相机的多视点摄像系统提供的影像数据、和通过校正得到的表示各相机的位置及姿势等的相机参数进行建模。因而，如果在校正后相机的位置等变化，则因为相机参数没有反映相机的位置等的实际的状态，所以不能适当地执行三维空间重构，结果，自由视点影像的画质劣化或生成本身失败。所以，可以考虑如下方法等：在校正中及摄像中将相机固定，以使得在校正后相机的位置等不变化，由此适当地执行三维空间重构。但是，根据相机的设置环境，有可能因相机设置场所的振动或风等而相机的位置等移动，所以这样的方法只能在有限的环境中利用。此外，三维空间重构结果也可在下一代监视系统中利用，该下一代监视系统不仅包括自由视点影像的生成功能，还包括三维空间中的场景解析或特定被摄体的跟踪等功能。在没有适当地执行三维空间重构的情况下，这些功能也不能高精度地执行。此外，三维空间中的自由视点影像的生成、场景解析或被摄体的跟踪的功能(以下，将这些功能也统称为三维空间识别)在多视点摄像系统所具备的各相机的相机参数反映了相机的实际的状态时被高精度地执行。鉴于这一点，专利技术者们考虑在各相机的位置等有变化的情况下最好在该变化后能够执行该相机的校正。此外，专利技术者们考虑最好能抑制各相机的校正(以下，也称作相机校正)的执行对三维空间重构的影响的程度及时间。以下，适当参照附图详细地说明实施方式。但是，有将所需以上详细的说明省略的情况。例如，有将已经周知的事项的详细说明及对于实质上相同的结构的重复说明省略的情况。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员的理解变得容易。另外，专利技术者们为了使本领域技术人员充分地理解本专利技术而提供附图及以下的说明，并不意味着由它们限定权利要求书所记载的主题。(实施方式1)以下，使用图1～图4B说明实施方式1。[1.三维空间识别的概要]首先，使用图1对使用有关本实施方式的多视点摄像系统的三维空间识别的概要进行说明。多视点摄像系统具备多台用来拍摄规定空间内的同一个场面的相机。举具体例如下，规定空间是进行体育事件的会场，同一个场面是指在该会场中进行的比赛的场面。作为其他的例子，规定空间是使用监视相机来监视的空间，同一个场面可以举出该监视对象空间内的人或物的样子。多台相机分别在该空间内从相互不同的位置拍摄至少一部分重复的区域的影像。例如，如图1(a)所示，多台相机100被设置在将作为体育的比赛会场的空间包围且相互不同的位置。此外，相机100取相互不同的姿势，将该空间的至少一部分容纳到各自的摄影区域中。使各相机100的摄影区域的至少一部分重复，是因为从多个视点对同一个被摄体进行摄像而生成的影像数据用于三维空间的虚拟的重构(三维空间重构)。另外，关于摄影区域的重复，不需要一个相机100的摄影区域与其他全部的相机100的摄影区域重复，也可以是与其他相机100中的一部分的相机100的摄影区域的重复。这样设置的多台相机100与多视点摄像系统具备的后述的控制装置可通信地连接。如果设置了相机100，则执行相机校正。相机校正是指通过取各相机100的摄影区域内的实际的点与影像上的点的对应(在图1(b)中用曲线连结的白三角所表示的点彼此的对应)、或不同的相机100的各影像间的点的对应(在图1(b)中用曲线连结的白圈所表示的点彼此的对应)，来计算表示各相机100的位置及摄像方向的角度(姿势)等的参数。表示相机100的位置及姿势的参数是在作为三维空间的规定空间中的共通的坐标系上被表示的，是之后用于三维空间重构的相机参数。关于相机参数在后面叙述。这些相机参数被计算出并变为已知，是执行三维空间识别的准备，在三维空间识别的开始前执行。计算出的相机参数被发送至进行三维空间重构的后述的三维空间重构装置。在这样的准备后，各相机100基于来自控制装置的信号，拍摄同步影像，由此执行多视点摄像(图1(c))。通过该摄像生成的影像数据被发送至三维空间重构装置。在三维空间重构装置进行的三维空间重构中，使用上述的影像数据和相机参数，生成处于摄影区域中的各被摄体的三维模型数据(图1(d))。三维模型数据被发送至执行三维空间识别的后述的三维空间识别装置。作为通过由三维空间识别装置使用三维模型数据执行的三维空间识别(图1(e))来提供的功能的例子，可以举出上述的自由视点影像生成、场景解析及跟踪。示出自由视点影像生成的方法的简单的例子。首先，基于三维模型数据，计算用户或系统管理者指定或从自动设定的虚拟视点看到的、摄影区域内的各被摄体的构造及距虚拟视点的距离。接着，从各相机100中的处于与虚拟视点近的距离的相机100的影像数据，优先地取得各被摄体的颜色及纹理的信息。最后，使用该颜色及纹理的信息和在上述中计算出的各被摄体的构造及距离，进行从虚拟视点看到的影像的生成(绘制)。绘制出的影像被分发至用户的影像显示终端。这样的自由视点本文档来自技高网...

【技术保护点】
1.一种多视点摄像系统，其中，具备：多台相机，在规定空间内从相互不同的位置拍摄影像；状况感知部，感知上述多台相机的各个相机及上述规定空间中的至少一方的状况，将感知到的上述状况作为摄像状况信息来输出；以及事件检测部，基于上述摄像状况信息，检测规定事件的发生，在检测到上述规定事件的发生的情况下，关于是否执行相机校正进行判定，在判定为执行相机校正的情况下，输出表示被执行的上述相机校正的相机校正信息。

【技术特征摘要】
【国外来华专利技术】2016.09.01 JP 2016-1713281.一种多视点摄像系统，其中，具备：多台相机，在规定空间内从相互不同的位置拍摄影像；状况感知部，感知上述多台相机的各个相机及上述规定空间中的至少一方的状况，将感知到的上述状况作为摄像状况信息来输出；以及事件检测部，基于上述摄像状况信息，检测规定事件的发生，在检测到上述规定事件的发生的情况下，关于是否执行相机校正进行判定，在判定为执行相机校正的情况下，输出表示被执行的上述相机校正的相机校正信息。2.如权利要求1所述的多视点摄像系统，其中，还包括相机校正指示部，该相机校正指示部使得执行上述多台相机的相机校正；上述相机校正信息表示上述多台相机中的执行上述相机校正的相机；所输出的上述相机校正信息被输入至上述相机校正指示部；上述相机校正指示部使上述相机校正信息所表示的相机执行上述相机校正。3.如权利要求2所述的多视点摄像系统，其中，上述相机校正信息还表示被检测到发生的上述规定事件的内容；在上述相机校正信息所表示的执行上述相机校正的相机是2台以上的情况下，上述相机校正指示部基于上述规定事件的内容，决定执行上述相机校正的相机的顺序，使执行上述相机校正的2台以上的相机的上述相机校正以决定的上述顺序执行。4.如权利要求1～3中任一项所述的多视点摄像系统，其中，上述状况感知部包括上述多台相机分别具备的图像传感器；上述摄像状况信息包含上述图像传感器输出的影像；上述事件检测部提取上述影像中包含的特征点，在所提取的特征点的数量是规定个数以上的情况下，检测出上述规定事件的发生，进而判定为执行上述相机校正。5.如权利要求1～4中任一项所述的多视点摄像系统，其中，上述状况感知部包括上述多台相机分别具备的图像传感器；上述摄像状况信息是上述图像传感器输出的影像；上述事件检测部判定在上述影像中是否包含规定目标的图像，在上述影像中没有包含上述规定目标的图像的情况下，检测出上述规定事件的发生，进而判定为执行上述相机校正。6.如权利要求1～3中任一项所述的多视点摄像系统，其中，上述状况感知部包括以下中的至少1个：上述多台相机分别具备的图像传感器；运动传感器，感知上述多台相机各自的位置的变化及姿势的变化；以及集音器，将上述规定空间内的声音集音；上述摄像状况信息是上述图像传感器、上述运动传感器及上述集音器中的至少1个输出的信息；上述事件检测部在上述摄像状况信息表示超过第1阈值的变化的情况下检测出上述规定事件的发生，在上述摄像状况信息表示超过第2阈值的变化的情况下判定为执行相机校正，上述第2阈值比上述第1阈值大。7.如权利要求6所述的多视点摄像系统，其中，上述摄像状况信息是上述图像传感器、上述运动传感器及...

【专利技术属性】
技术研发人员：小山达也，杉尾敏康，松延徹，吉川哲史，
申请(专利权)人：松下知识产权经营株式会社，
类型：发明
国别省市：日本,JP