控制立体视图或多视图序列图像的动态深度的方法和装置制造方法及图纸

一种用于控制立体视图或者多视图图像的动态深度的方法和装置。该方法包括：接收立体视图或者多视图图像；通过估算相应于接收的图像的两个图像的偏差并测量所估算偏差的频率，生成偏差直方图；通过卷积所生成的偏差直方图和特征函数，确定立体视图或者多视图图像的偏差控制量；和通过根据偏差控制量控制视差，重排立体视图或者多视图输入图像。

【技术实现步骤摘要】

本专利技术涉及立体视图或者多视图(multi-view)图像的动态深度的控制， 更具体地，涉及动态深度的控制，以便在立体视图或者多视像中获得最 优视差(parallax),用于舒适的动态视图。
技术介绍
由立体视图或者多视图照相机以平行形式捕捉的图像被输入到立体显示 装置，这种图像用于立体显示。在两个预定视点形成的立体视像之间存 在对象的位移(displacement),亦即偏差(disparity)。由于这种偏差，观察 者感到正的或者负的视差，并因此感到动态深度。然而，当观察者长时间观 看具有视差的图像时，观察者可能容易疲劳并可能有副作用，例如恶心。图1是描述通过左右水平移动每一个立体视图或者多视像生成稳态 立体视像的相关技术方法的图。根据该相关技术方法，为了从立体视图或者多视像获得适于三维(3D) 图像显示的图像，利用相关技术的偏差估算方法获得每一帧接收的立体视图 图像的偏差，然后得到偏差直方图(histogram)。为了对每一帧适当地应用正 偏差和负偏差的比率，基于阈值在负方向移动该偏差直方图。通过截弃(crop) 立体视像的两端移动该偏差直方图。图2说明立体照相机的类型的图。在立体视像的通信环境中，导致 低疲劳的稳态立体视像可通过调节接收端的偏差采用在摄像管中的各种 照相机结构来获得，如图2中所示，如同通过控制立体照相机的会聚角获得 的图像一样。通过利用偏差直方图考虑对应的立体视像的特性研发了用于控制动 态深度的相关技术方法和装置。然而，用于控制偏差的阈值是基于主观评价 根据经验获得的，不是基于客观基准。同样，为了制造不引起疲劳的稳态立 体视像，视差应该在适当的范围内，但是该相关技术方法和装置没有考 虑这种范围。此外，在使用立体视图或者多视图照相机捕捉的序列图像情况下，由于 巨大的数据量，该序列图像需要被有效压缩。为了对观察者提供舒适的动态深度，在系统中解码巨大的数据量然后对等(par i ty)估算复原图像是无效率 并且难以实现的。
技术实现思路
本专利技术的示范实施例克服上述缺点及其他以上没有描述的缺点。此外， 本专利技术并不必需克服上述的缺点，并且本专利技术的示范实施例可能不克服任何 上述的问题。本专利技术提供一种用于控制动态深度的方法和装置，其通过处理接收端中 的信号，确定可有效最小化副作用一一例如，眼疲劳一一的最优偏差控制量， 同时转换立体视图或者多视像用于立体显示。该方法和装置使用每一宏 块(macroblock)的偏差矢量，该偏差矢量通过#>据MPEG-2多视图剖面 (multi-view profile, MVP )或者多视图视频编码(咖l t i-view video coding, MVC)解码压缩的立体视图或者多视图立体视像提取。此外，提 供一种控制偏差的方法，其解析该立体视像的偏差直方图并使用偏差直 方图巻积和(disparity histogram convolution sum)技术,以便开j成最优立 体视场。本专利技术还提供一种通过使用用户界面控制动态深度的方法和装置，该用 户界面就显示重排(rearrange)的立体视像而言可设置期望视差。根据本专利技术的 一方面，提供一种控制立体视图或者多视像动态深度 的方法，该方法包括接收立体视图或者多视像；通过估算相应于接收 的图像的两个图像的偏差并测量所估算偏差的频率，生成偏差直方图；通过 巻积所生成的偏差直方图和特征函数，确定该立体视图或者多视像的偏 差控制量；和通过根据该偏差控制量控制视差，重排立体视图或者多视图输 入图像。生成偏差直方图可包括确定所接收的图像根据压缩和传输技术是否需要 解码处理，在该解码处理之后提取偏差矢量，当宏块是跳跃^t式时获取比率， 估算宏块单元中的偏差，并利用估算的偏差的频率准备偏差直方图。确定偏差控制量可包括选择特征函数并经由该特征函数和该偏差直方图 的巻积，确定最优偏差控制量，其中选择在土7。之内的视差，通过转换视差到像素单元所获得的值是该特征函数的范围，并且根据所接收的图像的类型 选择该特征函数。重排立体视图或者多视图输入图像可包括保持立体视图或者多视像 具有输入图像的相同尺寸或者通过以相当于偏差控制量一半的值切除立体视 图或者多视像的每个的边界来调整该立体视图或者多视像为显示形 式。该方法还包括执行移动平均滤波以防由于偏差的急剧改变可能发生的抖 动现象。根据本专利技术的另 一个方面，提供一种用于控制立体视图或者多视像动态深度的装置，该装置包括接收立体视图或者多视像的接收器；通 过估算相应于收到的图像的两个图像的偏差并测量所估算偏差的频率，生成 偏差直方图的偏差估算器；通过巻积所生成的偏差直方图和特征函数，确定 立体视图或者多视像的偏差控制量的偏差控制量确定器；通过根据偏差 控制量控制视差来重排立体视图或者多视图输入图像的图像重排器。该装置还包括可通过经由用户输入信号接收视差范围或者偏差控制量控 制动态深度的用户界面。该装置还包括显示所重排的图像的显示器。附图说明通过参考以下附图详细地描述其示范实施例，本专利技术的上述及其他方面 将更清楚，其中图1是描述通过左右水平移动每一立体视图或者多视像生成稳态立 体视像的相关技术方法的图；图2A、 2B、 2C是描述不同类型的立体照相机的图； 图3A、 3B、 3C是描述不同类型视差的图；图4是根据本专利技术的示范实施例的、用于控制动态深度的装置的方框图； 图5A是根据MPEG-多视图剖面(MVP)的编码器和解码器的方框图； 图5B是描述根据MPEG -2MVP估算运动和偏差的同时提取偏差矢量的处 理的图；图6是描述基于块(block)估算偏差的相关技术方法的图；图7是根据本专利技术的示范实施例估算偏差的方法的流程图，其在偏差估算器中被执行；图8A、 8B、 8C是描述立体视图或者多视像的偏差直方图和合并极限 (fusion limit)的图；图9A和9B是描述相关技术立体视图或者多视像的偏差直方图的图； 图IO是描述获取视差的方法的图；图IIA、 IIB、 IIC、 IID、 IIE、 IIF是描述直方图函数的多种类型的图； 图12A、 12B、 12C是描述偏差直方图和特征函数的巻积处理，和巻积结 果的图；图13A和13B是描述根据确定的偏差控制量移动偏差直方图的方法的图； 图14A和14B是描述根据确定的偏差控制量重排(rearrange)立体视图或 者多视像的方法的图；图15是描述经由各种用户界面控制动态深度的方法的图；和图16是描述根据本专利技术的示范实施例控制动态深度的方法的流程图。具体实施方式在下文中，将参考图示本专利技术示范实施例的附图更完全地描述本专利技术。 然而，本专利技术可以用不同形式体现并且不应该被解释为限制于在此阐述的示 范实施例；相反，提供这些示范实施例使得本公开完全彻底，并将向本领域 普通技术人员完全地表达本专利技术的构思。观察立体视像时视觉疲劳的重要原因是双目会聚点和瞳孔焦点之间 的不一致，即视差。图2A到2C说明用于3D显示的立体照相机的类型的图，它们都是最近正 研发的。图2A中图解的结构是平行设置的，因此没有如同人眼具有的会聚功能。图2B中图解的结构具有会聚功能，但是在立体视像的左右端存在垂 直视差。由于视差导致的立体视像的变形是疲劳的原因。图2C中图解的本文档来自技高网...

【技术保护点】
一种控制立体视图或者多视图图像的动态深度的方法，该方法包括：　　　　接收立体视图或者多视图图像；　　　　通过估算相应于接收的立体视图或者多视图图像的两个图像的偏差并测量所估算偏差的频率，生成偏差直方图；　　　　通过卷积所生成的偏差直方图和特征函数，确定该立体视图或者多视图图像的偏差控制量；和　　　　通过根据该偏差控制量控制视差，重排立体视图或者多视图图像。

【技术特征摘要】
KR 2007-3-29 31142/071.一种控制立体视图或者多视像的动态深度的方法，该方法包括接收立体视图或者多视像；通过估算相应于接收的立体视图或者多视像的两个图像的偏差并测量所估算偏差的频率，生成偏差直方图；通过卷积所生成的偏差直方图和特征函数，确定该立体视图或者多视像的偏差控制量；和通过根据该偏差控制量控制视差，重排立体视图或者多视像。2. 如权利要求1所述的方法，其中，所述生成偏差直方图的操作包括确 定接收的立体视图或者多视像是否被编码。3. 如权利要求2所述的方法，其中，如果确定该立体视图或者多视 像被编码，则所述生成偏差直方图的操作包括通过解码接收的立体视图或者多视像提取宏块的偏差矢量；和 利用偏差矢量的频率生成偏差直方图。4. 如权利要求3所述的方法，其中，所述利用偏差矢量的频率生成偏差 直方图的操作包括将当宏块处于跳跃模式时的情形数量n比宏块的全部数量N与作为经验 值设置的阈值T比较；和如果丑〈r,则利用偏差矢量的频率生成偏差直方图，以及如果^不小于T，则利用宏块的所估算偏差的频率生成偏差直方图。5. 如权利要求2所述的方法，其中，如果确定该立体视图或者多视 像没有被编码，则所述生成偏差直方图的操作包括利用宏块的所估算偏差的 频率生成偏差直方图。6. 如权利要求1所述的方法，其中，所述特征函数包括离散特征函数、 三角形函数、线性函数、二次函数、三次函数、和不对称函数中的一个。7. 如权利要求l所述的方法，其中，所述确定偏差控制量的操作包括 如果所接收的图像是背景图象，则利用在右侧加重的不对称函数作为所述特征函数；当该不对称函数具有输出值的右峰值时，则利用该不对称函数经由巻积获取移动量；和确定通过转换移动量到像素单元所获得的值作为该偏差控制量。8. 如权利要求1所述的方法，其中，所述确定偏差控制量的操作包括 如果该立体视图或者多视像包含对象和背景，则利用对称函数作为该特征函数；如果该对称函数具有输出值的最大值，则利用该对称函数经由巻积获取 移动量；和确定通过转换该移动量到像素单元所获得的值作为该偏差控制量。9. 如权利要求1所述的方法，其中，在所述确定偏差控制量的操作中， 通过转换在± 7°之内的视差到像素单元获得的值是该特征函数的范围。10. 如权利要求l所述的方法，其中，所述重排立体视图或者多视图输入 图像的操作包括通过以相应于该偏差控制量一半的值水平移动该立体视图或 者多视像来控制视差。11. 如权利要求1所述的方法，其中，所述重排立体视图或者多视图输入 图像的操作包括以下步骤之一保持该立体视图或者多视像以便具有输入图像的相同尺寸；和 通过以相应于该偏差控制量一半的值切除该立体视图或者多视像的 每个的边界，调整该立体视图或者多视像为显示形式。12. 如权利要求1所述的方法，还包括执行移动平均滤波，以防止抖动现象...

【专利技术属性】
技术研发人员：具宰必，黄善德，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：KR[韩国]