图像处理装置和图像处理方法制造方法及图纸

技术编号:3036981 阅读:150 留言:0更新日期:2012-04-11 18:40
本发明专利技术提供图像处理装置、图像处理方法、图像处理程序以及程序存储媒体。本发明专利技术涉及一种使得从连续影像中检索需要部分的过程容易化的技术解决方案。本发明专利技术可以从存储编码流的存储设备中读出上述编码流,对读出的编码流进行译码处理,分别生成相对显示画面上的多个影像显示部57进行显示的显示影像数据,并且通过实施控制以便对该生成的多个上述显示影像数据设置时间差并进行显示,能够使得从基于显示影像数据的一连串的影像中检素需要部分影像的过程容易化。

Image processing apparatus and image processing method

The invention provides an image processing apparatus, an image processing method, an image processing program, and a program storage medium. The present invention relates to a technical solution for facilitating the process of retrieving a desired portion from a continuous image. Read the encoding stream storage device of the invention can flow from the storage encoding, decoding processing of readout encoding flow, relative display multiple images on the screen display 57 for displaying the display image data are generated, and through the implementation of control for the generation of a plurality of the display image data set and the time difference for display, can make the display of image data from a series of images in image retrieval based on the need to.

【技术实现步骤摘要】

本专利技术涉及图像处理装置、图像处理方法、图像处理程序以及程序存储媒体,本专利技术适用于比如非线性编辑装置等等。
技术介绍
作为一项在先技术,在电视台等的节目制作现场从通过用摄像机摄像得到的影像声音素材(下面也称作片断(clip))中对其一部分进行剪辑来生成一个新的片断,将通过类似方式生成的多个片断连接起来生成一个节目(比如说可以参考非专利文献1日本特愿平11-95332号)。图41是表示在这样的编辑作业中采用的编辑装置的显示器上显示的GUI(图形用户界面(Graphical User Interface))画面(下面称其为编辑画面)的一个例子的示意图。从该图41中可知,该编辑画面1包括片断一览显示部2、监视器3、情节提要(story board)显示部4、时间进程线(timeline)显示部5以及效果信息表示部6A~6C。对于该场合,在片段一览显示部2中能够从登录在该编辑装置中的各种BIN文件(ビン)和FILE文件(フアイル)中选择出所需要的1个BIN文件或者FILE文件,并能够显示出该BIN文件或者FILE文件中所储存的片段的一览信息。然后操作者可以从在这些片段一览显示部2中一览显示的片段中选择出所需要的片断,通过将其拖拽(drag and drop)到监视器3上,在监视器3内显示出该片断的开始图像。另外操作者在该状态下通过点击在监视器3的下部显示的按钮组7中的对应的按钮,开始对所拖拽过来的片断实施再生,由此在该监视器3上显示出再生影像,而且可以使该显示的再生影像进行快进或者退回等,还可以通过用鼠标操作使显示在按钮组7上方的表示该片断整体中现在的显示图像位置的滚动条游标(scrub cursor)8左右移动,将与此时滚动条游标8的位置相对应的图像显示在监视器3上。操作者可以通过目视确认显示在监视器3上的再生影像的同时,通过操作按钮组7内的再生按钮等或者滚动条游标8寻找需要的帧,通过在将该帧的图像显示在监视器3上的状态下,点击设置在该监视器3下部的切入(in)点按钮9IN或者切出(out)点按钮9OUT,可以分别指定应该从该片断中剪切取出的影像声音部分的开始点(下面也称为切入点)以及结束点(下面也称为切出点)。而且,对于通过这样的方式指定了切入点和切出点的片断,可以将该切入点和切出点之间的影像声音部分作为新的片断,通过拖拽方式粘贴到情节提要部4上。由此,在编辑画面1上通过预先将编辑中使用的片断排列到情节提要部4上,可以让操作者容易地想象编辑结果。另外,此时在情节提要显示4部中,还可以显示出所粘贴的各个片断的开始图像等的代表图像的图标以及详细信息。并且,操作者将以后涉及的粘贴在情节提要部4上的各个片断,分别通过拖拽方式依次粘贴使其排列在时间进程部5的视频轨迹部分(video track)10V上。此时在视频轨迹部分10V上,以时间标尺11为指标,显示出与所粘贴片断的素材长度相应的持续时间长度条12V。对于此时的该片断中有声音信号的场合,还可以在音频轨迹部分(audio track)10A中的时间标尺11上相同的位置处显示出具有相同长度的持续时间长度条12A。这里,在这样的时间进程部5的视频轨迹部分10V和音频轨迹部分10A上的持续时间长度条12V、12A,意味着在编辑影像声音输出的时候,在用时间标尺11表示的时间里对与该持续时间长度条12V、12A相对应的片断的影像进行显示或者声音进行输出。因此,利用这样的操作可以制作出对作为编辑影像而被显示或者作为编辑声音而被输出的片断影像或者声音进行依次指定而得到的编辑列表。而且,在制作出这样的编辑列表之际,比如想要在从第1片断的影像向第2片断的影像进行转换之际实施影像特殊效果处理的时候,可以从在效果信息显示部6A~6C中的效果一览显示部6C中一览显示出的、该编辑装置能够实施的各种影像特殊效果中,将与需要的影像特殊效果对应的图标(下面也称为效果图标)13,通过拖拽方式粘贴到时间进程部5的过渡轨迹10T中的第1以及第2片断的转换部分和时间标尺11上的相同位置。采用这种方式,在编辑影像中的第1片断影像和第2片断影像之间的连接部分上,能够输入要实施如上所述的与粘贴在上述轨迹部分10T中的效果图标13对应的影像特殊效果处理这样意思的指示。
技术实现思路
在使用上述的编辑画面1的编辑作业中,对应作为切入点和切出点的帧的寻找作业是通过使用被称为将如上所述的滚动条游标8进行左右移动的滚动条的鼠标操作,使该片断影像高速再生,并由此寻找出所需要帧的方式来进行的。然而,利用这样的滚动条进行对需要帧的寻找作业(下面称为寻帧作业),如果不熟悉这种操作就需要花费很长的时间。而且作为对象的影像声音素材,对于利用比如为了提高压缩效率而在1个GOP(图像组层Group of Pictures)内具有多帧的方式、即MPEG(运动图像专家组Motion Picture Expert Group)方式的长GOP(Long GOP)格式进行压缩编码的场合,以及同时利用前后GOP的数据进行压缩的开放GOP格式的场合等等,因为有为了对帧进行解码处理而不得不对多个帧以及GOP进行解码处理的情况,难于高速的进行随机再生。其结果在所涉及的情况下,显示影像的响应特性会出现恶化,导致更加难于实施利用滚动条进行的寻帧作业。而且,采用上述那样的将各个片断相互连接即所谓剪辑操作,在过去也是按照将片断粘贴到剪辑画面1内时间进程部5的视频轨迹部分10V和音频轨迹部分10A上的方式来进行的,对位于切入点和切出点前后位置处的影像确认则是利用之后的再生和滚动条操作来实施的。因此为了进行该剪辑,必须经过如上所述的几个步骤,所以存在难于简单实施的问题。而且,通常在编辑作业中,常常需要意识到影像和声音来进行编辑,但是对于声音的编辑来说必须在目视确认影像的同时依赖于从扬声器发出的声音,或者在确认显示在编辑画面1的时间进程部5的音频轨迹部分10A上的声音电平波形(比如参考图中的时间进程部5的“音频3”的音频轨迹部分10A)的同时进行编辑,存在难于容易地进行将影像和声音联系起来的编辑作业。本专利技术是考虑到上述问题而完成的专利技术,本专利技术提出了一种能够使得编辑作业简易化的图像处理装置、图像处理方法、图像处理程序以及存储程序的媒体。为了解决上述问题,作为本专利技术第一方面的图像处理装置,包括从影像数据中生成相对于显示画面上的多个影像显示部进行显示的多个显示影像数据的图像生成单元;在显示顺序上设置了时间差且在运动图像的状态下,将由上述图像数据生成单元生成的多个上述显示影像数据,显示在上述显示画面上的图像处理单元。作为本专利技术第二方面的图像处理装置,是在作为本专利技术第一方面的图像处理装置的基础上,还使上述图像生成单元通过对编码流的译码处理,生成多个上述显示影像数据。作为本专利技术第三方面的图像处理装置,是在作为本专利技术第二方面的图像处理装置的基础上,还包括存储上述编码流的存储单元;从上述存储单元中读出上述编码流的读出单元,上述图像生成单元通过对利用上述读出单元读出的上述编码流进行译码,生成多个上述显示影像数据。作为本专利技术第四方面的图像处理装置,是在作为本专利技术第一方面的图像处理装置的基础上,还使上述图像处理单元上述多个影像显示部作为与显示顺序相关联的影像显示部群,将多个本文档来自技高网
...

【技术保护点】
一种图像处理装置,包括:从影像数据中生成相对于显示画面上的多个影像显示部进行显示的多个显示影像数据的图像生成单元;在显示顺序上设置了时间差且在运动图像的状态下,将由上述图像数据生成单元生成的多个上述显示影像数据,显示在上述显 示画面上的图像处理单元。

【技术特征摘要】
JP 2004-9-15 2004-268939;JP 2005-8-5 2005-2286561.一种图像处理装置,包括从影像数据中生成相对于显示画面上的多个影像显示部进行显示的多个显示影像数据的图像生成单元;在显示顺序上设置了时间差且运动图像的状态下,将由上述图像数据生成单元生成的多个上述显示影像数据,显示在上述显示画面上的图像处理单元。2.根据权利要求1所述的图像处理装置,其特征在于上述图像生成单元通过对时编码流的译码处理,生成多个上述显示影像数据。3.根据权利要求2所述的图像处理装置,其特征在于还包括存储上述编码流的存储单元;从上述存储单元中读出上述编码流的读出单元,上述图像生成单元通过对利用上述读出单元读出的上述编码流进行译码,生成多个上述显示影像数据。4.根据权利要求1所述的图像处理装置,其特征在于上述图像处理单元作为上述多个影像显示部与显示顺序相关联的影像显示部群,将多个上述显示影像数据在上述显示画面上显示。5.根据权利要求1所述的图像处理装置,其特征在于上述图像处理单元获得包括上述多个影像显示部的显示尺寸以及显示位置的显示信息,并利用该获得的显示信息在上述显示画面上显示上述显示影像数据。6.根据权利要求1所述的图像处理装置,其特征在于上述图像处理单元在可变速显示多个上述显示影像数据的状态下,在上述显示画面上显示多个上述显示影像数据。7.根据权利要求6所述的图像处理装置,其特征在于上述图像处理单元在使多个上述显示影像数据的显示速度分别相等的状态下,在上述显示画面上显示多个上述显示影像数据。8.根据权利要求3所述的图像处理装置,其特征在于上述图像处理单元在上述多个影像显示部之间设置等间隔的时间差,同时在上述显示画面上显示多个上述显示影像数据。9.根据权利要求4所述的图像处理装置,其特征在于上述图像处理单元对作为包含于上述影像显示部群中的上述多个影像显示部中的显示基准的基准影像显示部上所显示的基准显示影像数据进行显示,使其在多个上述显示影像数据之中成为最大。10.根据权利要求9所述的图像处理装置,其特征在于上述图像处理单元显示除了上述基准显示影像数据之外的多个上述显示影像数据,使其随着离上述基准影像显示部的距离的增加慢慢减小显示尺寸。11.根据权利要求6所述的图像处理装置,其特征在于上述图像处理单元将上述基准影像显示部显示在上述影像显示部群的中央部上。12.根据权利要求6所述的图像处理装置,其特征在于上述图像处理单元显示除了上述基准显示影像数据之外的多个上述显示影像数据,使其随着离上述基准影像显示部的距离的增加而降低分辨率。13.根据权利要求2所述的图像处理装置,其特征在于上述图像处理单元在将多个上述显示影像数据,在邻接的各个上述影像显示部中重叠的状态下进行显示,并且使各个上述显示影像数据的重叠部分在分别透明的状态下进行显示。14.根据权利要求6所述的图像处理装置,其特征在于上述图像处理单元显示除了上述基准显示影像数据之外的多个上述显示影像数据,使其随着离上述基准影像显示部的距离的增加,缩小各个上述影像显示部的配置间隔。15.根据权利要求2所述的图像处理装置,其特征在于上述图像处理单元依照以时间序列推移上述影像显示部群中的多个上述显示影像数据的速度,改变多个上述影像显示部的显示角度地显示多个上述显示影像数据。16.根据权利要求2所述的图像处理装置,其特征在于上述图像生成单元还生成表示上述影像显示部群中的多个上述显示影像数据以时间序列推移的速度的速度表示数据,上述图像处理单元将上述速度表示数据表示为显示画面上的图标。17.根据权利要求1所述的图像处理装置,其特征在于上述图像处理单元在上述影像显示部上显示与编辑位置对应的上述显示影像数据之际,强调显示与上述编辑位置对应的影像显示部或者与上述编辑位置对应的影像显示数据。18.根据权利要求1所述的图像处理装置,其特征在于上述图像处理单元在上述影像显示部上显示与场景变换对应的上述显示影像数据之际,强调显示与上述场景变换对应的影像显示部或者与上述场景变换对应的影像显示数据。19.根据权利要求1所述的图像处理装置,其特征在于上述图像生成单元依照由上述多个影像显示部以及上述影像显示部群所构成的显示区域的数量,将上述编码流在时间轴上分成多个,生成分割编码流,并且对上述分割编码流进行译码处理,由此在每个上述显示区域中生成多个上述显示影像数据。20.根据权利要求2所述的图像处理装置,其特征在于上述图像生成单元具有对上述编码流进行译码处理的多个译码部;依照上述多个影像显示部的数量,将上述编码流的译码处理分配到上述多个译码部的控制部。21.根据权利要求1所述的图像处理装置,其特征在于还包括获得与编辑操作输入对应的编辑信息的编辑信息获得单元,上述图像处理单元依照由上述编辑信息获得单元获得的上述编辑信息的内容,改变多个上述显示影像数据的显示形态。22.根据权利要求21所述的图像处理装置,其特征在于上述编辑操作输入包括对指定为与多个上述影像显示部对应的上述显示影像数据内的编辑位置的指定显示数据进行设定的编辑位置设定操作,上述图像处理单元在上述编辑位置设定操作被输入时,进行保持与上述编辑位置对应的上述显示影像数据的显示状态那样的显示。23.根据权利要求22所述的图像处理装置,其特征在于上述图像处理单元在上述编辑位置设定操作被输入时,进行与对应于上述编辑位置的上述显示影像数据的显...

【专利技术属性】
技术研发人员:荻窪纯一
申请(专利权)人:索尼株式会社
类型:发明
国别省市:JP[日本]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1