图像处理设备、图像生成方法和程序技术

本发明专利技术降低了虚拟视点图像的被摄体即特定对象与虚拟对象区域重叠的可能性。本发明专利技术包括：第一识别单元，用于识别多个照相机从不同方向拍摄的特定对象的三维位置；第二识别部件，用于识别与基于所述多个照相机所获取到的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；以及确定部件，用于基于所述第一识别部件所识别的所述特定对象的三维位置和所述第二识别部件所识别的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备、图像生成方法和程序
本专利技术涉及图像处理设备、图像生成方法和程序。
技术介绍
近年来，如下的技术引起关注，其中该技术在不同位置安装多个照相机，利用多个视点进行同步摄像，并且通过使用通过摄像所获得的多个视点图像，不仅生成照相机安装位置处的图像而且还生成来自任意视点的虚拟视点图像。这里，可以通过将多个照相机所拍摄到的图像收集在诸如服务器等的图像处理单元中、在该图像处理单元中基于虚拟视点对所收集到的图像进行诸如绘制等的处理、并且将所获得的虚拟视点图像显示在用户的观看终端上，来实现基于多个视点图像的虚拟视点图像的生成以及所生成的图像的浏览。专利文献1公开了如下的技术：在足球场转播等中在球场的墙面等的预定区域中设置广告框，并且在包括广告框的虚拟视点的视频数据中，将与观看环境相对应的广告信息显示到该广告框。现有技术文献专利文献专利文献1：日本特开2014-41259
技术实现思路
专利技术要解决的问题然而，担心广告区域与诸如足球运动员等的被摄体重叠。例如，在由于被摄体的移动而导致被摄体和广告区域彼此重叠的情况下，担心不显示广告。此外，例如，在由于虚拟视点的移动而导致被摄体和广告区域彼此重叠的情况下，担心不显示广告。在不仅广告显示在虚拟视点图像中而且其它虚拟对象也显示在虚拟视点图像中的情况下，可能出现相同的问题。有鉴于这些问题而完成了本专利技术，并且本专利技术的目的是降低虚拟视点图像的被摄体(特定对象)和虚拟对象区域彼此重叠的可能性。用于解决问题的方案因此，本专利技术的特征在于包括：第一识别单元，其被配置为识别多个照相机从不同方向分别拍摄的特定对象的三维位置；第二识别单元，其被配置为识别与基于所述多个照相机获得的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；以及确定单元，其被配置为基于所述第一识别单元所识别出的所述特定对象的三维位置和所述第二识别单元所识别出的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置。专利技术的效果根据本专利技术，可以降低虚拟视点图像的被摄体(特定对象)和虚拟对象区域彼此重叠的可能性。附图说明图1是用于说明图像处理系统的图。图2是用于说明摄像设备的安装示例的图。图3是用于说明图像生成设备的硬件构成的图。图4是用于说明图像生成设备的功能结构的图。图5是用于说明图像处理的流程图。图6A是广告区域确定处理的说明图。图6B是广告区域确定处理的说明图。图7A是广告区域确定处理的说明图。图7B是广告区域确定处理的说明图。图8A是变形例的说明图。图8B是变形例的说明图。图9是用于说明根据第二实施例的图像生成设备的功能结构的图。图10是用于说明根据第二实施例的图像处理的流程图。图11A是广告区域确定处理的说明图。图11B是广告区域确定处理的说明图。图12是用于说明根据第三实施例的图像生成设备的功能结构的图。图13是用于说明根据第三实施例的图像处理的流程图。图14是用于说明根据第四实施例的图像生成设备的功能结构的图。图15是用于说明根据第四实施例的图像处理的流程图。图16是根据第四实施例的广告区域识别处理的说明图。图17是根据第四实施例的广告区域识别处理的说明图。图18A是根据第四实施例的广告合成虚拟视点图像的生成处理的说明图。图18B是根据第四实施例的广告合成虚拟视点图像的生成处理的说明图。具体实施方式以下将参考附图来说明本专利技术的优选实施例。(第一实施例)图1是用于说明根据本实施例的图像处理系统100的图。图像处理系统100包括多个摄像设备110、作为图像处理设备的示例的图像生成设备120、以及终端设备130。摄像设备110和图像生成设备120各自经由诸如LAN(局域网)线缆等的通信线缆连接。在本实施例中，假定通信线缆是LAN线缆，但是通信线缆不限于本实施例中的通信线缆。作为其它示例，假定通信线缆可以是诸如DisplayPort或HDMITM(高清晰度多媒体接口)等的视频传输线缆。摄像设备110例如是能够拍摄图像(静止图像和运动图像)的数字照相机。各摄像设备110被安装成围绕诸如足球场等的体育场或特定被摄体，并且拍摄图像(视频)。所拍摄到的图像从摄像设备110被发送至图像生成设备120。图2是用于说明摄像设备110的安装示例的图。在本实施例中，假定多个摄像设备110被安装成拍摄足球场的全部或一部分。也就是说，根据本实施例的图像处理系统100包括用于从多个方向分别拍摄被摄体的多个摄像设备110。图像生成设备120累积摄像设备110所获得的拍摄图像，并且在通过用户的操作在终端设备130上输入虚拟视点信息时，基于拍摄图像和虚拟视点来生成虚拟视点图像。这里，虚拟视点信息是表示从拍摄图像构建的虚拟空间中的虚拟设置视点(虚拟视点)的三维位置的信息。假定虚拟视点信息至少包括相对于诸如所拍摄的体育场的中央等的预定位置的相对位置的位置信息(即，相对于预定位置的前后、左右和右左的位置信息)、以及从该预定位置的方向的方向信息(即，以前后、左右和上下为轴的角度的方向信息)。图像生成设备120例如是服务器设备，并且具有数据库功能和图像处理功能。在数据库中，作为背景图像，经由摄像设备110预先保持了通过拍摄由于比赛尚未开始因此预先不存在被摄体的竞赛场地的场景所获得的图像。此外，在诸如竞赛期间的参赛者等的被摄体存在的场景中，作为被摄体的特定对象等的前景通过图像处理而被分离，并被保存作为特定对象图像。顺便提及，特定对象可以不仅是竞赛期间的竞争者，而且是其它特定人物(例如，候补运动员、经理、裁判员等)。此外，特定对象可以是诸如球或球门等的图像图案是预先确定的物体。假定从在数据库中管理的背景图像和特定对象图像生成与虚拟视点信息相对应的虚拟视点图像。例如，使用基于模型的绘制(MBR)作为虚拟视点图像的生成方法。MBR是通过使用基于通过从多个方向拍摄被摄体所获得的多个拍摄图像而生成的三维模型来生成虚拟视点图像的方法。更具体地，MBR是通过使用利用诸如可视外壳(visualhull)或多视点立体(MVS)等的三维形状恢复方法获得的对象场景的三维形状(模型)来生成从虚拟视点的场景的外观作为图像的技术。顺便提及，作为虚拟视点图像的生成方法，可以使用除MBR以外的绘制方法。将所生成的虚拟视点图像经由LAN线缆等发送至终端设备130。终端设备130是例如PC(个人计算机)或平板电脑。控制器131是例如鼠标、键盘、六轴控制器和触摸面板，并且用户通过使用这些组件来进行操作并将静止图像或运动图像显示在画面上。例如，终端设备130将从图像生成设备120接收到的虚拟视点图像显示在显示单元132上。终端设备130还根据用户针对所连接的控制器131的操作来接受用以移动虚拟视点的指示(与移动量和移动方向有关的指示)，并且将表示根据所接受的指示的指示信息的传输信号发送至图像生成设备120。顺便提及，在本实施例中，将主要说明将基于终端设备130所设置的虚拟视点而生成的虚拟视点图像显示在终端设备130上的示例，但本专利技术不限于此。例如，基于终端设备130所设置的虚拟视点而生成的虚拟视点图像可以由其它终端设备130(例如，智能电话)等显示。图3是用于说明图像生成设备120的硬件构成的图。图像生成设备120包括CPU301、ROM3本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：第一识别单元，其被配置为识别多个照相机从不同方向分别拍摄的特定对象的三维位置；第二识别单元，其被配置为识别与基于所述多个照相机获得的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；以及确定单元，其被配置为基于所述第一识别单元所识别出的所述特定对象的三维位置和所述第二识别单元所识别出的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置。

【技术特征摘要】
【国外来华专利技术】2016.09.14 JP 2016-179529;2017.06.26 JP 2017-124111.一种图像处理设备，包括：第一识别单元，其被配置为识别多个照相机从不同方向分别拍摄的特定对象的三维位置；第二识别单元，其被配置为识别与基于所述多个照相机获得的拍摄图像的虚拟视点图像的生成有关的虚拟视点的三维位置；以及确定单元，其被配置为基于所述第一识别单元所识别出的所述特定对象的三维位置和所述第二识别单元所识别出的所述虚拟视点的三维位置，来确定用于布置要显示在所述虚拟视点图像中的虚拟对象的虚拟对象区域的位置。2.根据权利要求1所述的图像处理设备，其中，所述确定单元被配置为基于根据所述第一识别单元所识别出的所述虚拟视点的三维位置和所述第二识别单元所识别出的所述特定对象的三维位置而确定的所述虚拟视点图像中所述特定对象的位置，来确定所述虚拟对象区域的位置。3.根据权利要求1或2所述的图像处理设备，其中，所述确定单元被配置为将所述虚拟视点图像中所述特定对象的图像和所述虚拟对象的图像不重叠的位置确定为所述虚拟对象区域的位置。4.根据权利要求1至3中任一项所述的图像处理设备，其中，所述确定单元被配置为确定所述虚拟对象区域的三维位置，以及所述三维位置由与所述多个照相机所拍摄的空间相对应的三维坐标系来限定。5.根据权利要求4所述的图像处理设备，其中，在所述虚拟视点的三维位置和所述特定对象的三维位置之间的距离是第一距离的情况下，所述确定单元被配置为确定所述虚拟对象区域的三维位置，使得与所述虚拟视点的三维位置和所述特定对象的三维位置之间的距离是长于所述第一距离的第二距离的情况相比，所述虚拟视点的三维位置和所述虚拟对象区域的三维位置之间的距离更远。6.根据权利要求1至5中任一项所述的图像处理设备，还包括：检测单元，其被配置为检测所述特定对象的移动方向；以及改变单元，其被配置为基于所述检测单元所检测到的所述特定对象的移动方向，来改变所述虚拟对象区域的位置和大小至少之一。7.根据权利要求1至6中任一项所述的图像处理设备，还包括形状识别单元，所述形状识别单元被配置为识别所述拍摄图像中所包含的背景的形状，其中，所述确定单元基于所述第一识别单元所识别出的所述虚拟视点的三维位置、所述第二识别单元所识别出的所述特定对象的三维位置和所述形状识别单元所识别出的所述背景的形状，来确定所述虚拟对象区域的位置。8.根据权利要求1至7中任一项所述的图像处理设备，其中，所述确定单元被配置为基于根据所述第一识别单元所识别出的所述虚拟视点的三维位置和所述第二识别单元所识别出的所述特定对象的三维位置而确定的所述虚拟视点图像中所述特定对象的大小，来确定所...

【专利技术属性】
技术研发人员：水野祥吾，伊达厚，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP