本发明专利技术提供一种合成装置及合成方法。在实拍影像与ＣＧ的合成中，在实拍影像是一边移动摄像机一边摄影的影像的情况下，为了生成匹配于该影像的运动而运动以便没有别扭感的ＣＧ，以往需要预先精确地调节ＣＧ的显示定时和显示位置、装入程序的困难的作业。本发明专利技术对于一边移动摄像机一边摄影的实拍图像，生成ＣＧ以便能够尽量缓和观感上的别扭感，生成真实感较高的合成影像。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及将构成数字流的影像与用计算机图形描绘的影像合成的合成装置。
技术介绍
通过存储媒体的大容量化、图像处理的高速化等，即使是民用设备也能够高速地 描绘CG(CompUter Graphics:计算机图形)。这样的CG在电影等影像作品及游戏中被广泛 使用，提供有将CG合成到实拍影像中的作品等。作为将CG合成到实拍影像中的技术，有如下技术通过使进行CG的描绘的虚拟空 间上的光源的位置与将拍摄实拍影像时的现实空间中的光源的位置等价，生成真实感较高 的合成影像。在专利文献1中，公开了如下图像现实装置通过组合表示现实空间的光源的配 置的数据来描绘CG，在实拍影像与CG中使阴影的附带方式一致，而将真实感较高的CG合成 到实拍影像中。专利文献1 日本特开2005-107968号公报但是，在实拍影像中也有许多一边移动摄像机一边摄影的场景。为了对这样的实 拍影像合成CG以使得没有别扭感，需要预先装入程序、以使得CG在画面上的描绘位置也匹 配于移动摄像机带来的实拍影像中的被摄体的相对于画面的运动而运动。否则，会如尽管 对应于摄像机的运动而实拍影像中的被摄体相对于画面运动，CG却还留在画面上的特定的 位置这样，在实拍影像与CG中在运动中发生偏差、感到观感上的别扭感。但是，为了使CG匹配于实拍影像来运动，而精确地调节CG的显示定时和显示位 置、并装入程序是困难的。
技术实现思路
本专利技术的目的是提供一种合成装置，对于一边使摄像机移动一边摄影的实拍影 像，以尽量缓和观感上的别扭感的方式生成CG，而生成真实感较高的合成影像。为了解决上述问题，本专利技术的合成装置的特征在于，具备取得部，从由多个视频 帧构成的数字流中取得表示各视频帧的视频帧识别码，该视频帧识别码与表示对上述视频 帧进行摄影的摄影状况的参数建立了对应；生成部，基于上述参数生成图形，以将摄影状况 反映到显示形态中；合成部，对于基于上述数字流的各视频帧，将基于与表示该视频帧的视 频帧识别码建立了对应的参数而生成的图形依次合成。根据本专利技术的合成装置，由于按照视频帧，将表示该视频帧被摄影的状况的参数 建立对应，所以在生成应与视频帧合成的CG时，通过基于该参数将摄影状况反映到显示形 态中，能够合成真实感较高的影像。这里，所谓摄影状况，是在摄影实拍影像时，摄像机被放置在哪里、朝向哪个方向 等摄像机配置、以及照明被设置在哪里这样的光源配置。这里，也可以是，上述参数包括摄像机配置信息，该摄像机配置信息表示对由与该4参数建立了对应的视频帧识别码表示的视频帧进行摄影的摄像机的配置。通过作为表示应与视频帧合成的CG的生成所需要的摄影状况的参数而包括摄像 机的配置，能够使CG的运动精确地匹配于因摄像机的配置变化而在画面上运动的实拍影 像，所以能够合成真实感较高的影像。这里，也可以是，上述摄像机配置信息包括表示上述摄像机的摄影位置的摄影位 置信息；由上述生成部进行的上述图形的生成，通过生成当从由上述摄影位置信息表示的 位置对在虚拟空间上形成的对象物进行摄影时应得到的图像来进行。对于视频帧识别码，将表示摄影了该视频帧的摄像机的摄影位置的摄影位置信息 建立了对应，在生成应与该视频帧合成的CG时，通过使虚拟空间上的摄像机的位置与由摄 影位置信息表示的位置一致，能够使实拍影像与CG的视点一致，所以能够合成真实感较高 的影像。摄像机的摄影位置是表示摄像机的配置的最重要的要素。这里，也可以是，上述数字流包括时间信息，该时间信息表示应将由上述多个视频 帧识别码表示的视频帧分别显示的定时；上述多个视频帧识别码与上述摄像机配置信息的 对应建立，通过将上述摄像机配置信息附加到上述时间信息中来进行；上述合成装置具备 将上述数字流解码的解码部；上述解码部从上述数字流中依次取得上述视频帧识别码及上 述时间信息；在由该时间信息表示的定时，对由该视频帧识别码表示的视频帧进行解码； 每当解码时，将上述摄像机配置信息发送给上述生成部。通过将为了生成应与视频帧合成的CG而需要的摄像机配置信息匹配于显示视频 帧的定时发送给生成部，能够使视频帧与CG同步。这里，也可以是，上述数字流还包括表示没有与上述摄像机配置信息建立对应的 视频帧的视频帧识别码；上述解码部在从上述数字流取得的上述时间信息中附加了摄像机 配置信息的情况下，将该摄像机配置信息发送给生成部；在上述时间信息中没有附加摄像 机配置信息的情况下，将之前刚发送给上述生成部的摄像机配置信息再次发送给上述生成 部。摄像机配置信息考虑不易随着再现急剧地变化，所以在对于视频帧没有摄像机配 置信息建立了对应的情况下，可以用与之前的视频帧建立了对应的摄像机配置信息代替。这里，也可以是，上述参数还包括当对由与该参数建立了对应的视频帧识别码表 示的视频帧进行摄影时的光源的配置的光源配置信息。通过作为表示在应与视频帧合成的CG的生成所需要的摄影状况的参数而包括光 源的配置，能够使对CG描绘的阴影成为更有真实感。这里，也可以是，上述光源配置信息包括表示上述光源的照射位置的照射位置信 息；由上述生成部进行的上述图形的生成，通过生成当对在虚拟空间上形成的对象物从由 上述照射位置信息表示的位置照射光时应得到的图像来进行。在应与视频帧合成的CG的生成中，通过在虚拟空间中将光源再现到与摄影该视 频帧时的光源的位置相同的位置，能够使实拍影像与CG的阴影的附带方式一致，所以能够 合成真实感较高的影像。这里，也可以是，上述光源配置信息包括表示上述光源的照射强度的照射强度信 息；由上述生成部进行的上述图形的生成，通过生成当对在虚拟空间上形成的对象物照射由上述照射强度信息表示的强度的光时应得到的图像来进行。在应与视频帧合成的CG的生成中，通过在虚拟空间中再现与摄影该视频帧时的 光源的强度相同强度的光源，能够使实拍影像与CG的阴影的附带方式一致，所以能够合成 真实感较高的影像。这里，也可以是，上述摄像机配置信息包括表示上述摄像机的摄影方向的摄影方 向信息；由上述生成部进行的上述图形的生成，通过生成当将在虚拟空间上形成的对象物 从由上述摄影方向信息表示的方向摄影时应得到的图像来进行。对于视频帧识别码，将表示摄影该视频帧的摄像机的摄影方向的摄影方向信息建 立对应，在生成应与视频帧合成的CG时，通过使虚拟空间上的摄像机的方向与由摄影方向 信息表示的方向一致，能够使实拍影像与CG的视点一致，所以能够合成真实感较高的影 像。这里，也可以是，表示上述光源配置的信息包括表示上述光源的颜色的颜色信息； 由上述生成部进行的上述图形的生成，通过生成当对在虚拟空间上形成的对象物照射由上 述颜色信息表示的颜色的光时应得到的图像来进行。在应与视频帧合成的CG的生成中，通过在虚拟空间中再现与摄影该视频帧时的 光源的颜色相同颜色的光源，能够使实拍影像与CG的色调一致，所以能够合成真实感较高 的影像。这里，也可以是，表示上述光源配置的信息包括表示上述光源的照射方向的照射 方向信息；由上述生成部进行的上述图形的生成，通过生成当对在虚拟空间上形成的对象 物从由上述照射方向信息表示的方向照射光时应得到的图像来进行。在应与视频帧合成的CG的生成中，通过在虚拟空间中再现与摄影该视频帧时的 光源的照射方向相同照射方向的光源，能够使实拍影像与CG的本文档来自技高网...
【技术保护点】
一种合成装置，其特征在于，具备： 取得部，从由多个视频帧构成的数字流中取得表示各视频帧的视频帧识别码，该视频帧识别码与表示对上述视频帧进行摄影的摄影状况的参数建立了对应； 生成部，基于上述参数生成图形，以将摄影状况反映到显示形态中；及合成部，对于基于上述数字流的各视频帧，将基于与表示该视频帧的视频帧识别码建立了对应的参数而生成的图形依次合成。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：杰尔马诺·莱希森林，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。