控制装置、控制方法和存储介质制造方法及图纸

用于系统的控制装置基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像。所述控制装置包括：接收单元，其被配置为接收用户所发出的用于指定与虚拟视点图像的生成相关联的虚拟视点的指示；获得单元，其被配置为获得限制信息，所述限制信息用于指定基于所述接收单元所接收到的指示的虚拟视点的指定受到限制的限制区域，其中所述限制区域根据与所述图像数据相关联的参数而改变；以及通知单元，其被配置为进行基于所述获得单元所获得的限制信息的通知。

【技术实现步骤摘要】
【国外来华专利技术】控制装置、控制方法和存储介质
本专利技术涉及用于生成虚拟视点图像的系统。
技术介绍
近年来，使用通过利用安装于不同位置的不同照相机从多个视点进行同步摄像所获得的多个视点图像来生成虚拟视点内容的技术已引起关注。根据上述的使用多个视点图像来生成虚拟视点内容的技术，用户可以以与正常图像相比更高的现实感以各种角度观看足球或篮球的精彩场景。基于多视点图像的虚拟视点内容的生成和浏览可以通过在图像处理器中收集多个照相机所拍摄到的图像、使用图像处理器进行包括3D模型生成和绘制的处理、并且将处理后的图像发送至用户终端来实现。此外，专利文献1公开了用于将虚拟照相机设置成不面向并非视点的位置或者未被观看的方向的技术。然而，在专利文献1所公开的技术中，在根据状况而改变的范围内可能无法指定视点。因此，在虚拟视点图像中的视点可设置范围根据照相机操作状态而改变的情况下，如果在可设置范围外指定视点，则可能无法生成期望的虚拟视点图像。引文列表专利文献专利文献1：日本特开2007-195091
技术实现思路
根据本专利技术的实施例，用于系统的控制装置基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像。所述控制装置包括：接收单元，其被配置为接收用户所发出的用于指定与虚拟视点图像的生成相关联的虚拟视点的指示；获得单元，其被配置为获得限制信息，所述限制信息用于指定基于所述接收单元所接收到的指示的虚拟视点的指定受到限制的限制区域，其中所述限制区域根据与所述图像数据相关联的参数而改变；以及通知单元，其被配置为进行基于所述获得单元所获得的限制信息的通知。通过以下参考附图对典型实施例的说明，本专利技术的更多特征将变得明显。附图说明图1是示出图像处理系统的结构的图。图2是示出照相机适配器的功能结构的框图。图3是示出图像处理器的结构的框图。图4是示出前端服务器的功能结构的框图。图5是示出前端服务器中所包括的数据输入控制器的结构的框图。图6是示出数据库的功能结构的框图。图7是示出后端服务器的功能结构的框图。图8是示出虚拟照相机操作UI的功能结构的框图。图9是示出最终用户终端的连接结构的图。图10是示出最终用户终端的功能结构的框图图11是整个工作流程的流程图。图12是机器安装之前的工作流程的流程图。图13是机器安装时的工作流程的流程图。图14是摄像之前的工作流程的流程图。图15是控制站所进行的摄像时进行确认的工作流程的流程图。图16是虚拟照相机操作UI所进行的摄像时的用户工作流程的流程图。图17是示出安装时的校准的整个处理的序列图图18是摄像之前的前端服务器的操作的流程图。图19是摄像之前的数据库的操作的流程图。图20是摄像期间的数据库的操作的流程图。图21是安装时的校准处理的流程图。图22A是示出摄像开始处理的序列图。图22B是示出摄像开始处理的序列图。图23是示出生成3D模型信息的处理的序列图。图24是生成3D模型信息的处理的流程图。图25是生成3D模型信息的处理的流程图。图26是示出注视点组的图。图27是示出旁路传输控制的图。图28是示出旁路控制的图。图29是示出数据传输流程的图。图30是传输数据缩减处理的流程图。图31是文件生成处理的流程图。图32是将文件写入数据库的处理的流程图。图33是从数据库读取文件的处理的流程图。图34A是示出拍摄图像的图。图34B是示出拍摄图像的图。图34C是示出拍摄图像的图。图35A是前景和背景之间的分离的流程图。图35B是前景和背景之间的分离的流程图。图35C是前景和背景之间的分离的流程图。图35D是前景和背景之间的分离的流程图。图35E是前景和背景之间的分离的流程图。图36是示出生成虚拟照相机图像的处理的序列图。图37A是示出虚拟照相机的图。图37B是示出虚拟照相机的图。图38A是生成实时图像的处理的流程图。图38B是生成实时图像的处理的流程图。图39是生成重放图像的处理的流程图。图40是虚拟照相机路径的选择的流程图。图41是示出最终用户终端所显示的画面的图。图42是应用程序管理单元所进行的手动操作的处理的流程图。图43是应用程序管理单元所进行的自动操作的处理的流程图。图44是绘制处理的流程图。图45是生成前景图像的处理的流程图。图46是示出通过在安装之后进行的工作流程所生成的设置列表的图。图47是示出控制站所进行的改变设置信息的处理的序列图。图48是前端服务器所进行的数据接收处理的流程图。图49是示出照相机适配器的硬件结构的框图。具体实施方式将参考图1所示的系统结构的图来说明如下的系统，其中在该系统中，在体育馆和音乐厅中安装多个照相机和多个麦克风以拍摄图像并收集声音。图像处理系统100包括传感器系统110a～110z、图像计算服务器200、控制器300、交换集线器180和最终用户终端190。控制器300包括控制站310和虚拟照相机操作用户界面(UI)330。控制站310经由网络310a～310c、网络180a和180b以及网络170a～170y对图像处理系统100中所包括的块进行操作状态的管理和参数设置的控制等。这里，网络可以是作为以太网(Ethernet，注册商标)的基于IEEE标准的GbE(千兆以太网)或10GbE、或者互连Infiniband和工业以太网等的组合。可选地，网络不限于这些，并且可以采用其它类型的网络。首先，将说明将传感器系统110a～110z的26组图像和声音从传感器系统110z发送至图像计算服务器200的操作。在本实施例的图像处理系统100中，传感器系统110a～110z通过菊花链彼此连接。在本实施例中，除非另外说明，否则传感器系统110a～110z这26组系统彼此不区分并且被描述为传感器系统110。同样，除非另外说明，否则各个传感器系统110中所包括的装置不区分并且被描述为麦克风111、照相机112、照相机平台113、外部传感器114和照相机适配器120。注意，作为传感器系统的数量的26仅仅是示例，并且传感器系统的数量不限于此。此外，例如，多个传感器系统110可以不具有相同的结构，并且可以是不同类型的装置。注意，在本实施例中，除非另外说明，否则术语“图像”包括运动图像和静止图像的概念。具体地，本实施例的图像处理系统100能够处理静止图像和运动图像这两者。此外，尽管在本实施例中主要说明图像处理系统100所提供的虚拟视点内容包括虚拟视点图像和虚拟视点声音的情况，但本专利技术不限于此。例如，虚拟视点内容可以不包括声音。此外，例如，可以利用位于离虚拟视点最近的麦克风来收集虚拟视点内容中所包括的声音。此外，尽管在本实施例中为了简化描述而部分省略了声音的说明，但基本上同时处理图像和声音。传感器系统110a～110z具有各自的照相机112a～112z。具体地，图像处理系统100包括用于从多个方向拍摄被摄体的图像的多个照相机112。尽管利用相同的附图标记来说明多个照相机112，但照相机112的性能和类型可以彼此不同。多个传感器系统110通过菊花链彼此连接。利用该连接形式，在由于拍摄图像的4K或8K所需的高分辨率和高帧频因而图像数据的量增大的情况下，可以实现减少连接线缆的数量和减少布线作业的效果。注意，连接形式不限于此，并且可以采用星型网络结构，在该星型网络结构中，传感器系统110a～110z本文档来自技高网...

【技术保护点】
1.一种用于系统的控制装置，所述系统用于基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像，所述控制装置包括：接收单元，其被配置为接收用户所发出的用于指定与虚拟视点图像的生成相关联的虚拟视点的指示；获得单元，其被配置为获得限制信息，所述限制信息用于指定基于所述接收单元所接收到的指示的虚拟视点的指定受到限制的限制区域，其中所述限制区域根据与所述图像数据相关联的参数而改变；以及通知单元，其被配置为进行基于所述获得单元所获得的限制信息的通知。

【技术特征摘要】
【国外来华专利技术】2016.05.25 JP 2016-1044331.一种用于系统的控制装置，所述系统用于基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像，所述控制装置包括：接收单元，其被配置为接收用户所发出的用于指定与虚拟视点图像的生成相关联的虚拟视点的指示；获得单元，其被配置为获得限制信息，所述限制信息用于指定基于所述接收单元所接收到的指示的虚拟视点的指定受到限制的限制区域，其中所述限制区域根据与所述图像数据相关联的参数而改变；以及通知单元，其被配置为进行基于所述获得单元所获得的限制信息的通知。2.根据权利要求1所述的控制装置，其中，所述通知单元通过使显示单元显示基于所述获得单元所获得的限制信息的图像，来进行所述通知。3.根据权利要求1所述的控制装置，其中，所述通知单元通过自动改变利用所述用户发出的指示所指定的虚拟视点的位置，来进行所述通知。4.根据权利要求1至3中任一项所述的控制装置，其中，所述获得单元获得用于指定根据如下参数而改变的所述限制区域的所述限制信息，其中基于所述系统中所传输的所述图像数据的量的限制来控制该参数。5.根据权利要求1至4中任一项所述的控制装置，其中，所述参数包括所述图像数据的帧频、分辨率、量化步长和摄像范围至少之一。6.根据权利要求2所述的控制装置，其中，所述通知单元响应于所述接收单元所接收到的指示，将表示与所述指示相对应的视点处于所述限制区域内的图像作为基于所述限制信息的图像显示在所述显示单元中。7.根据权利要求2所述的控制装置，其中，所述通知单元将...

【专利技术属性】
技术研发人员：相泽道雄，半田雅大，水野祥吾，田中克昌，松下明弘，森泽圭辅，矢埜智裕，小宫山麻衣，藤井贤一，伊达厚，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP