立体深度调整和焦点调整制造技术

本发明专利技术公开了一种调整立体视频的深度的方法，可以包括：生成立体视频的左眼观看帧。左眼观看帧可以包括多个左眼观看帧要素。该方法还可以包括生成立体视频的右眼观看帧。右眼观看帧可以对应于左眼观看帧，并且可以包括多个右眼观看帧要素。此外，每个右眼观看帧要素可以对应于左眼观看帧要素中的一个。该方法可以另外包括确定每个右眼观看帧要素与其对应的左眼观看帧要素之间的偏移。此外，该方法可以包括对每个偏移应用统一的乘法因子，使得以基本上统一的尺度调整与立体视频相关联的感知深度。

Stereo depth adjustment and focus adjustment

The present invention discloses a method for adjusting the depth of stereoscopic video, which may include: a left eye viewing frame for generating stereoscopic video. The left eye viewing frame may include a plurality of left eye viewing frame elements. The method may also include a right eye viewing frame for generating stereoscopic video. The right eye viewing frame can correspond to the left eye viewing frame and may include a plurality of right eye view frame elements. In addition, each right eye view frame element may correspond to one of the left eye view frame elements. The method may additionally include determining the offset between each right eye viewing frame element and its corresponding left eye viewing frame element. In addition, the method may include a unified multiplication factor for each offset so as to substantially adjust the perceived depth associated with stereoscopic video at substantially uniform scales.

【技术实现步骤摘要】
【国外来华专利技术】立体深度调整和焦点调整
本公开内容涉及立体数据处理，其包括深度调整和焦点调整。
技术介绍
近年来，用于生成三维视频(例如，电视，电影等)的三维(立体)成像已经变得越来越流行。其中一个原因是用于创建三维视频的相机和后期制作技术有了重大的改进。三维视频变得流行的另一个原因是观看娱乐的公众似乎愿意为这种特殊效果支付额外的费用。然而，与使用二维(单视场)技术相比，三维拍摄技术使得使用三维技术来拍摄视频明显更昂贵。此外，存在数百万部已经制作好的但不是使用三维技术拍摄的二维视频。因此，许多人一直试图将二维视频转换为三维视频。然而，用于将二维视频转换为三维观看的这些方法可能是没有效果的、是资源密集的和/或未能产生可接受的结果(例如，产生纸板局部剪裁效果)。本专利技术要求保护的主题不限于解决任何缺点或仅在诸如上述环境中操作的实施方案。相反，此背景仅提供用于阐释可以实践本文所描述的一些实施方案的一个示例性的

技术实现思路
根据实施方案的一个方面，一种调整立体视频中的深度的方法可以包括生成立体视频的左眼观看帧。左眼观看帧可以包括多个左眼观看帧要素。该方法还可以包括生成立体视频的右眼观看帧。右眼观看帧可以对应于左眼观看帧，并且可以包括多个右眼观看帧要素。此外，每个右眼观看帧要素可以对应于左眼观看帧要素中的一个。该方法可以另外包括确定每个右眼观看帧要素与其对应的左眼观看帧要素之间的偏移。此外，该方法可以包括对每个偏移应用统一的乘法因子(multiplyingfactor)，使得以基本上统一的尺度调整与立体视频相关联的感知深度。根据实施例的另一方面，一种调整立体视频中的焦点的方法可以包括生成立体视频的左眼观看帧。左眼观看帧可以包括多个左眼观看帧要素。该方法还可以包括生成立体视频的右眼观看帧。右眼观看帧可以对应于左眼观看帧，并且可以包括多个右眼观看帧要素。此外，每个右眼观看帧要素可以对应于左眼观看帧要素中的一个。该方法可以另外包括确定每个右眼观看帧要素与其对应的左眼观看帧要素之间的偏移。此外，该方法可以包括对每个偏移应用统一的求和因子，使得每个右眼观看帧要素相对于其对应的左眼观看帧要素统一地移位基本上相同的量，以调整与立体视频相关联的感知焦点。实施方案的目的和优点将至少通过权利要求中特别指出的要素，特征和组合来实现和完成。应当理解，前面所述的一般性描述和以下详细描述都是示例性和说明性的，并且不限制所要求保护的本专利技术。附图说明将通过使用附图以额外的特性和细节来描述和解释示例性的实施方案，附图中：图1示出了用于基于单视场(2-D)视频生成立体(3-D)视频的示例性系统；图2示出了描绘基于要素在单视场视频的不同帧之间的移动来生成与单视场视频相关联的修改帧的示例性框图；图3示出了描绘生成与单视场视频相关联的修改帧的示例性框图，其中可以基于单视场视频的一个或多个推断帧来生成一个或多个修改帧；图4示出了描绘基于与单视场视频相关联的右平移效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；图5示出了描绘基于与单视场视频相关联的左平移效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；图6示出了描绘基于与单视场视频相关联的缩小相机效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；图7示出了描绘基于与单视场视频相关联的放大相机效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；图8示出了单视场视频的示例性帧，其中该帧包括最快移动要素、慢速移动要素和主导要素；图9是基于与场景相关联的最快移动要素、慢速移动要素和主导要素中的至少一个来确定场景的前景和/或背景的示例性方法的流程图；图10示出了用于基于与单视场视频相关联的前景和/或背景的移动从单视场视频生成立体视频的左眼观看帧和右眼观看帧的示例性框图；图11是基于相机效果将单视场视频转换为立体视频的示例性方法的流程图；图12A示出了可以被左眼和右眼感知的示例性情景；图12B描绘了示例性网格，其示出了可能存在于与图12A的情景相关联的立体视频的左眼观看帧和右眼观看帧内的要素之间的示例性偏移；图12C描绘了示例性网格，其示出了在将统一的乘法因子应用于图12B的偏移之后，图12B的要素相对于其各自的左眼观看帧和右眼观看帧的偏移；图12D描绘了示例性网格，其示出了在将统一的求和因子应用于图12B的偏移之后，图12B的要素相对于其各自的左眼观看帧和右眼观看帧的偏移；图13是调整立体视频的深度的示例性方法的流程图；以及图14是调整立体视频的焦点的示例性方法的流程图，所有这些都根据本文描述的至少一些实施方案来安排。具体实施方式人类有一个双目视觉系统，该双目视觉系统使用间隔大约两英寸半(大约6.5厘米)的两只眼睛。每只眼睛从一个稍微不同的视角观看世界。大脑使用这些视角的差异来计算或测量距离。这种双目视觉系统部分地具有以相对良好的精度确定物体距离的能力。也可以在双眼视觉的帮助下确定视场中的多个对象的相对距离。也可以在双目视觉的帮助下确定视场中的多个对象的相对距离。三维(立体)成像利用通过向观看者呈现两副图像而由双目视觉感知的深度，其中一副图像呈现给一只眼睛(例如，左眼)，而另一副图像呈现给另一只眼睛(例如，右眼)。呈现给两只眼睛的图像可以包括基本上相同的要素，但是两副图像中的要素可以彼此偏移，以模仿可由观看者的眼睛在日常生活中感知的偏移视角。因此，观看者可以感知由图像描绘的要素的深度。传统上，使用并排安装的间隔大约三到八英寸的两个视频源(例如，相机)来制作三维视频，以捕获可能由两只不同的眼睛感知到的情景。该距离通常被称为“轴间”或“两眼间”距离。因此，两个视频源创建两个视频；一个用于左眼，一个用于右眼。两个视频可以被放在一起作为立体(或“3-D”)视频，其中右眼视频呈现给观看者的右眼，而左眼视频呈现给观看者的左眼，使得观看者在三维中感知视频。相反，根据本公开内容的一些实施方案，立体视频可以从通过使用单个(单视场)视频源获得的视频得到立体视频。从单视场视频源得到的这些视频可以被称为“2-D”或“单视场视频”。术语“视频”可以指任何移动类型的影像，并且可以包括例如，但不限于电影、电视节目、记录的事件(例如，体育赛事、音乐会等)、家庭电影、互联网视频等。视频由一系列“帧”(称为“帧”或“视频帧”)组成，每一帧均显示可以包括要素或对象(统称为“要素”)的情景的图像。要素可以是移动的或可以是静止的。例如，帧可以是可以包括诸如山、丘陵、树木、动物、建筑物、飞机、火车、汽车等要素的风景的图像。根据一些实施方案，要素在单视场视频的第一帧相对于单视场视频的第二帧(例如，第一帧的后续帧或先前帧)之间的移动可以用于生成一个或多个修改的第一帧，其对应于第一帧并且可以用于生成立体视频。在一些实施方案中，第一帧和第二帧可以是连续的帧，并且在其他实施方案中，可以在第一帧和第二帧之间包括一个或多个中间帧。第一帧和修改的第一帧可以包括基本上相同的要素，且基于要素在第一帧和第二帧之间的移动，第一帧和修改的第一帧中的一个或多个要素彼此偏移。另外，要素的移动可以用于分析相对于第一帧和第二帧的相机效果(例如，缩放效果、平移效果、旋转效果和/或静止效果(stationaryeffect))。在一些实施方案中，可以基于分析的相机效果来生成修本文档来自技高网...

【技术保护点】
一种调整立体视频中的深度的方法，所述方法包括：生成立体视频的左眼观看帧，所述左眼观看帧包括多个左眼观看帧要素；生成所述立体视频的右眼观看帧，所述右眼观看帧对应于所述左眼观看帧并且包括多个右眼观看帧要素，每个右眼观看帧要素对应于所述左眼观看帧要素中的一个；确定每个右眼观看帧要素与其对应的左眼观看帧要素之间的偏移；以及对每个偏移应用统一的乘法因子，使得以基本上统一的尺度调整与所述立体视频相关联的感知深度。

【技术特征摘要】
【国外来华专利技术】2014.06.10 US 14/301,132;2014.06.10 US 14/301,1401.一种调整立体视频中的深度的方法，所述方法包括：生成立体视频的左眼观看帧，所述左眼观看帧包括多个左眼观看帧要素；生成所述立体视频的右眼观看帧，所述右眼观看帧对应于所述左眼观看帧并且包括多个右眼观看帧要素，每个右眼观看帧要素对应于所述左眼观看帧要素中的一个；确定每个右眼观看帧要素与其对应的左眼观看帧要素之间的偏移；以及对每个偏移应用统一的乘法因子，使得以基本上统一的尺度调整与所述立体视频相关联的感知深度。2.如权利要求1所述的方法，其特征在于：所述多个左眼观看帧要素基本上布满所有的所述左眼观看帧；且所述多个右眼观看帧要素基本上布满所有的所述右眼观看帧。3.如权利要求2所述的方法，其特征在于：所述多个左眼观看帧要素包括左眼观看帧像素；以及所述多个右眼观看帧要素包括右眼观看帧像素。4.如权利要求1所述的方法，其特征在于：所述统一的乘法因子小于1以减小与所述立体视频相关联的感知深度。5.如权利要求1所述的方法，其特征在于：所述统一的乘法因子大于1以增加与所述立体视频相关联的感知深度。6.如权利要求1所述的方法，还包括：确定单视场视频的第一帧和所述单视场视频的第二帧之间的移动；基于所述移动确定相机效果；以及基于所述相机效果生成所述左眼观看帧和所述右眼观看帧。7.如权利要求6所述的方法，其特征在于：所述相机效果包括平移效果、缩放效果、旋转效果以及静止效果中的至少一种。8.如权利要求6所述的方法，还包括：基于所述第一帧和所述第二帧确定前景和背景中的至少一个；确定所述第一帧和所述第二帧之间的、与所述前景和所述背景中的至少一个相关联的移动；以及基于与所述前景和所述背景中的至少一个相关联的运动生成所述左眼观看帧和所述右眼观看帧。9.如权利要求8所述的方法，还包括：确定与所述第一帧和所述第二帧相关联的最快移动要素、慢速移动要素和主导要素中的至少一个；以及基于与所述第一帧和所述第二帧相关联的所述最快移动要素、所述慢速移动要素和所述主导要素中的至少一个来确定所述前景和所述背景中的至少一个。10.如权利要求6所述的方法，其特征在于：所述第二帧是相对于所述第一帧的后续帧。11.如权利要求6所述的方法，其特征在于：所述第二帧是相对于所述第一帧的先前帧。12.如权利要求11所述的方法，还包括：检测所述单视场视频中的、从与所述第一帧和所述第二帧相关联的场景到另一场景的场景变化；响应于检测到的所述场景变化并且基于所述第一帧和所述第二帧之间的移动，推断与所述第一帧和所述第二帧相关联的所述场景的后续帧；以及基于所推断的后续帧生成所述左眼观看帧和所述右眼观看帧中的至少一个。13.一种计算机可读存储介质，包括被配置为使系统执行操作以调整立体视频的深度的计算机可执行指令，所述操作包括：生成立体视频的左眼观看帧，所述左眼观看帧包括多个左眼观看帧要素；生成所述立体视频的右眼观看帧，所述右眼观看帧对应于所述左眼观看帧并且包括多个右眼观看帧要素，每个右眼观看帧要素对应于所述左眼观看帧要素中的一个；确定每个右眼观看帧要素与其对应的左眼观看帧要素之间的偏移；以及对每个偏移应用统一的乘法因子，使得以基本上统一的尺度调整与立体视频相关联的感知深度。14.一种...

【专利技术属性】
技术研发人员：贝赫鲁兹·A·马利基，萨尔文纳兹·萨克霍什，
申请(专利权)人：比特安尼梅特有限公司，
类型：发明
国别省市：美国,US