被摄体强调装置(20a)(信息处理装置)中的可见光运动图像获取单元(31)(第一获取单元部)获取包括被摄体(92)和背景的运动图像，并且被摄体区域提取单元(33)从运动图像中提取被摄体(92)的区域。然后，背景呈现单元(37)在运动图像中除了被摄体(92)的区域之外的区域中呈现背景信息(94)。效果应用单元(36)基于视频效果作用于被摄体(92)的区域的强度使视频效果作用于被摄体(92)的区域，该强度由效果强度计算单元(35)根据从相机到被摄体(92)的距离(关于运动图像获取环境的信息)确定。视频组合单元(38)将效果应用单元(36)已经使视频效果作用于其上的被摄体(92)的区域与由背景呈现单元(37)呈现的背景信息(94)组合，以生成合成视频(95)。成视频(95)。成视频(95)。
【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、合成视频的生成方法和程序
[0001]本公开内容涉及信息处理装置、合成视频的生成方法和程序。
技术介绍
[0002]已知传统的色度键合成将视频的具有特定颜色分量并且变得透明的部分与另一视频组合。具体地，在安装了绿色背景屏幕的工作室中执行拍摄，并且将具有除了绿色之外的颜色的区域确定为前景(例如，被摄体)并提取该区域。
[0003]然而，难以在音乐会场地的舞台上安装绿色背景屏幕。另外，因为光环境由于用于指引的聚光灯、烟花、激光束等而极大地改变，因此难以在现场场地提取前景。
[0004]针对这样的问题，例如专利文献1提出了使用红外线的前景提取技术。
[0005]引文列表
[0006]专利文献
[0007]专利文献1：JP 2000
‑
23038A
[0008]概要
[0009]技术问题
[0010]然而，在专利文献1中，描述了将提取的前景与任何背景组合，但是没有描述将正在实时地应用效果的前景与背景组合以增加视觉效果。
[0011]本公开内容提出了被配置成实时地将效果应用于具有任何背景的提取的前景的信息处理装置、合成视频的生成方法和程序。
[0012]问题的解决方案
[0013]为了解决上述问题，根据本公开内容的实施方式的信息处理装置包括：第一获取单元，其获取包括被摄体和背景的运动图像；被摄体区域提取单元，其从由第一获取单元获取的运动图像中提取被摄体的区域；背景绘制单元，其在由第一获取单元获取的运动图像中除了被摄体的区域之外的区域中绘制背景信息；效果应用单元，其基于根据关于获取运动图像的环境的信息确定的、应用于被摄体的区域的效果的强度，将效果应用于被摄体的区域；以及视频合成单元，其生成合成视频，在合成视频中，由效果应用单元应用了效果的被摄体的区域与由背景绘制单元绘制的背景信息组合。
附图说明
[0014]图1是示出根据第一实施方式的被摄体强调系统的示意性配置的框图。
[0015]图2是示出被摄体强调系统的硬件配置的示例的硬件框图。
[0016]图3是示出根据第一实施方式的被摄体强调装置的功能配置的示例的功能框图。
[0017]图4是RGB相机、IR相机和IR灯的安装状态的示例性外部视图。
[0018]图5是示出由被摄体区域提取单元执行的被摄体区域提取处理的过程的图。
[0019]图6是示出在生成合成视频的处理中生成的图像的示例的图。
[0020]图7是示出由效果应用单元应用的效果的示例的图。
[0021]图8是示出由RGB相机观察到的被摄体的位置与由IR相机观察到的被摄体的位置之间的差的大小根据拍摄距离的改变的图。
[0022]图9是示出根据第一实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。
[0023]图10是示出根据第一实施方式的修改的被摄体强调装置的功能配置的示例的功能框图。
[0024]图11是示出RGB
‑
IR相机的示意性结构的图。
[0025]图12是示出根据第二实施方式的被摄体强调装置的功能配置的示例的功能框图。
[0026]图13是示出根据第二实施方式的由被摄体区域提取单元执行的被摄体区域提取处理的过程的图。
[0027]图14是示出根据第二实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。
[0028]图15是示出根据第二实施方式的修改的被摄体强调装置的功能配置的示例的功能框图。
[0029]图16是示出根据第二实施方式的修改的由被摄体强调装置执行的处理的过程的示例的流程图。
[0030]图17是示出根据第三实施方式的被摄体强调装置的功能配置的示例的功能框图。
[0031]图18是示出根据第三实施方式的由被摄体强调装置执行的处理的过程的示例的流程图。
具体实施方式
[0032]下面将参照附图详细描述本公开内容的实施方式。注意，在以下实施方式中，相同的部分由相同的附图标记和符号表示，并且将省略其重复描述。
[0033]此外，将按照以下示出的项的顺序来描述本公开内容。
[0034]1.第一实施方式
[0035]1‑
1.被摄体强调系统的配置
[0036]1‑
2.被摄体强调系统的硬件配置
[0037]1‑
3.被摄体强调装置的功能配置
[0038]1‑
4.被摄体区域提取处理的描述
[0039]1‑
5.视觉效果的描述
[0040]1‑
6.效果强度的计算
[0041]1‑
7.由被摄体强调装置执行的处理的过程
[0042]1‑
8.第一实施方式的效果
[0043]1‑
9.第一实施方式的修改
[0044]1‑
10.第一实施方式的修改的效果
[0045]2.第二实施方式
[0046]2‑
1.被摄体强调装置的功能配置
[0047]2‑
2.被摄体区域提取处理的描述
[0048]2‑
3.效果强度的计算
[0049]2‑
4.由被摄体强调装置执行的处理的过程
[0050]2‑
5.第二实施方式的效果
[0051]2‑
6.第二实施方式的修改
[0052]2‑
7.第二实施方式的修改的效果
[0053]3.第三实施方式
[0054]3‑
1.被摄体强调装置的功能配置
[0055]3‑
2.由被摄体强调装置执行的处理的过程
[0056]3‑
3.第三实施方式的效果
[0057](1.第一实施方式)
[0058][1
‑
1.被摄体强调系统的配置][0059]首先，将参照图1描述应用本公开内容的被摄体强调系统10a的概述。图1是示出根据第一实施方式的被摄体强调系统的示意性配置的框图。
[0060]如图1所示，被摄体强调系统10a包括RGB相机12、IR相机13、IR灯14、被摄体强调装置20a和LED面板15。
[0061]被摄体强调系统10a从背景中提取由RGB相机12捕获的被摄体。然后，将视觉效果应用于提取的被摄体的区域，并且然后将提取的被摄体的区域与原始背景或另一背景组合。注意，在本公开内容中，被摄体的区域可以表示整个被摄体或被摄体的一部分。例如，可以将除了被摄体的主体的一部分(例如脚趾和头发)之外的区域定义为被摄体的区域。此外，视觉效果是本公开内容中的效果的示例。
[0062]RGB相机12是捕获舞台90上的被摄体92的相机。RGB相机12对可见光敏感。
[0063]IR相机13是捕获基本上等于RGB相机12的范围的范围并对作为不可见光的红外线(例如，800nm至900nm的波长范围)敏感的红外相机。IR相机本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：第一获取单元，所述第一获取单元获取包括被摄体和背景的运动图像；被摄体区域提取单元，所述被摄体区域提取单元从由所述第一获取单元获取的运动图像中提取所述被摄体的区域；背景绘制单元，所述背景绘制单元在由所述第一获取单元获取的运动图像中除了所述被摄体的区域之外的区域中绘制背景信息；效果应用单元，所述效果应用单元基于根据关于获取所述运动图像的环境的信息确定的、应用于所述被摄体的区域的效果的强度，将所述效果应用于所述被摄体的区域；以及视频合成单元，所述视频合成单元生成合成视频，在所述合成视频中，由所述效果应用单元应用了所述效果的所述被摄体的区域与由所述背景绘制单元绘制的背景信息组合。2.根据权利要求1所述的信息处理装置，其中，所述效果应用单元基于根据到所述被摄体的拍摄距离确定的所述效果的强度，将所述效果应用于所述被摄体的区域。3.根据权利要求2所述的信息处理装置，其中，所述效果应用单元当到所述被摄体的拍摄距离小于预定距离时，增加所述效果的强度并将所述效果应用于所述被摄体的区域。4.根据权利要求1所述的信息处理装置，其中，所述效果应用单元当从由所述第一获取单元获取所述运动图像起的经过时间超过预定时间时，基于取决于所述被摄体区域提取单元是否完成了所述被摄体的区域的提取而确定的所述效果的强度，将所述效果应用于所述被摄体的区域。5.根据权利要求4所述的信息处理装置，其中，所述效果应用单元如果当所述经过时间超过所述预定时间时所述被摄体区域提取单元没有完成所述被摄体的区域的提取，则增加所述效果的强度并将所述效果应用于所述被摄体的区域。6.根据权利要求1所述的信息处理装置，还包括第二获取单元，所述第二获取单元与所述第一获取单元同步地获取从所述第一获取单元在预定相对位置处捕获的、发射至所述被摄体的不可见光的反射光的强度分布，其中，所述被摄体区域提取单元将从由所述第二获取单元获取的反射光的强度分布中提取的所述被摄体的区域变换成预期要由所述第一获取单元获取的形状和位置，将所述区域应用于由所述第一获取单元实际获取的运动图像，并且提取所述被摄体的区域。7.根据权利要求6所述的信息处理装置，其中，所述不可见光是红外光。8.根据权利要求1所述的信息处理装置，还包括视频显示单元，所述视频显示单元显示来自所述视频合成单元的所述合成视频。9....
【专利技术属性】
技术研发人员：菅野尚子，广田洋一，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。