缩放相关的方法和装置制造方法及图纸

描述了在例如3D的立体呈现期间实现用户控制的缩放操作的方法和装置。当观看场景环境的3D呈现时，用户可以切换到缩放模式，从而允许用户放大正在显示的环境的特定部分。为了保持实际存在于事件中的效果，并且还降低使得用户由于环境视图中的突然的非现实世界的变化而感到不舒服的风险，响应于启动缩放操作模式，用户被呈现与通过一副双目观看所期望的相同或相似的视图。在一些实施例中，通过将掩蔽应用于要显示的左眼和右眼视图的放大版本来实现观看的约束。

【技术实现步骤摘要】
【国外来华专利技术】缩放相关的方法和装置
本申请涉及立体回放方法和装置，更具体地，涉及与缩放操作相关的方法和装置。
技术介绍
立体回放设备，例如允许向用户提供3D体验的左眼图像和右眼图像的回放的设备越来越受欢迎。期望这样的设备将用于显示对应于体育赛事、时装秀、音乐会和/或其它场景的图像，并且可以向用户提供存在于所显示的场景/环境中的感觉。在立体场景的回放或呈现期间，用户可能希望放大正在呈现的场景的一部分，例如正在踢球的运动员或者时装表演中的特定模特。从浸入模拟3D环境的用户的角度来看，可能不希望突然放大场景的一部分，因为这可能被认为是用户观看位置的突然不自然的变化。切换回正常观看可能会导致用户视角类似的不希望的突然变化，从而打破可能在真实事件中存在的期望感觉。此外，这种突然的变化可能会使用户不安、不舒服甚至生病，例如晕眩，因为视角的这种变化通常不会在现实环境中发生。鉴于上述讨论，应当理解，需要一种方法和装置，其允许在不采取一些其它行动来最小化或减少在视角上可能被认为是不自然的变化的情况下使得用户实现相对于立体图像的用户可控制的缩放操作，而没有至少一些缩放突然变化而产生的效果。
技术实现思路
描述了在例如3D的立体呈现期间实现用户控制的缩放操作的方法和装置。在各种实施例中，在观看例如运动事件、音乐会、其它事件或模拟环境的3D呈现的同时，向用户提供切换到缩放操作模式的机会，从而允许用户放大所显示的事件或环境的特定部分。为了保持实际存在于事件中的效果，并且还降低使得用户由于环境视图中的突然的非现实世界的变化而感到不舒服的风险，响应于启动缩放操作模式，用户被呈现与通过一副双目观看所期望的相同或相似的视图。在缩放操作模式期间，用户的视图被限制到用户可能期望就像是通过双目观看一样的所显示的场景的部分。在这种情况下，可观察到的场景的场减小，但是图像被视为按照缩放因子(例如2x，5x，10x，20x或其它一些量)被放大。在一些实施例中，通过将掩蔽应用于要显示的视图的放大版本来实现视图中的限制，例如，在显示之前生成并掩蔽放大的左眼视图和右眼视图。在正常和缩放操作模式期间，监视头部位置。检测头部位置的变化，例如用户头部的旋转或用户头部的倾斜，并且正在显示的事件或环境的部分根据头部位置的变化而改变。显示的图像的变化模拟如果用户在真实环境中移动他/她的头部时对用户可见的区域的变化。在缩放操作模式期间，就向用户偏移多少所呈现的场景的视角而言，考虑缩放因子。例如，在5倍缩放模式下，头部位置的变化会触发反映5倍观看因子的所显示的环境部分的5x偏移。因此，当使用具有高缩放率的双目时，视角的小的变化可能导致可见场景的显著变化，在操作的缩放模式期间模拟该相同的效果。监视用户输入，并根据用户输入在缩放模式操作期间调整缩放因子。响应于改变操作模式的用户输入，也将监视并检测用户将模式从缩放模式转换到正常模式。响应于检测到从缩放模式到正常模式的操作变化，停止放大和掩蔽操作，并且以正常尺寸放出图像。本专利技术的方法和装置非常适用于流传输内容以及存储的图像内容。在运动事件或其它事件的情况下，方法和装置允许用户通过启用缩放获得事件中的感觉和/或视角，并且切换回正常观看类似于用户在他/她的眼睛放置一对双目以在事件期间聚焦在感兴趣的区域可能看到的，例如，发生行动，然后将其移除以恢复正常的视场，以享受整体事件。模拟双目影响的掩蔽的使用降低了缩放操作可能破坏在事件或真实世界环境中的用户的效果或错觉的风险，同时还降低了缩放操作将导致用户由于在环境中的视角或位置可能会有相当不自然的变化导致的不舒服或者不安。本专利技术的方法和装置可以与能够向用户呈现立体图像(例如，旨在提供3D效果的左眼图像和左眼图像的对)的各种设备一起使用。例如，这些方法可以与头戴式显示器一起使用，其中图像的处理(例如缩放，掩蔽等)在安装在用户头部上的一个或多个组件内和/或用能够呈现立体图像的游戏系统或其它系统执行，该立体图像然后经由外围设备(例如以头戴式显示器的形式)显示给用户。其中回放设备被实现为完全头戴式系统的实施例的示例包括三星GearVR，其中头戴式系统包括蜂窝电话，该蜂窝电话负责在用户输入的控制下处理和显示立体图像对，其可以是通过头戴式输入设备输入，例如触摸板。游戏系统实施例的示例包括通过有线或无线方式耦合到诸如能够向用户的左眼和右眼显示不同图像的一对显示眼镜的显示外围装置的诸如PS3或PS4或XBOX之类的游戏系统。在这样的实施例中，根据本专利技术来控制回放设备以实现缩放操作，其模拟就像使用双目可能会遇到的体验。本专利技术的方法和装置可以用于各种输入图像分辨率。在诸如左眼图像和右眼图像对之类的输入图像比所使用的显示设备的分辨率高的情况下，如通常使用电话显示器作为头戴式显示设备的情况，缩放方法可以在很少或者没有由于缩放而导致的感知的图像质量损失的情况下被实现，因为缩放操作可以利用否则未使用的图像分辨率。将在下面的详细描述中讨论许多附加方面、益处和实施例。附图说明图1示出了根据本专利技术的一些实施例实现的示例性系统，其可以用于捕获和流传输由一个或多个用户设备连同环境的一个或多个合成部分一起进行后续显示的内容。图2示出了根据本专利技术的一个示例性实施例实现的示例性呈现和回放系统，例如3D呈现和回放系统。图3示出了根据本专利技术的一些其它实施例实现的另一示例性3D呈现和回放系统。图4示出了例如由立体相机对的左眼相机捕获的、场景的示例性左眼图像。图5示出了例如由立体相机对的右眼相机捕获的、场景的示例性右眼图像。图6示出了根据本专利技术的一些实施例的使用图4-5的左眼图像对和右眼图像对生成的示例性显示的立体场景。图7示出了根据本专利技术的一些实施例的、图示了图6的示例性显示的立体场景的图，其中所显示的立体场景的中心部分被示出为矩形，以指示响应于指示缩放操作模式的用户输入而被缩放(例如放大)的场景部分。图8示出了在应用了缩放和掩蔽操作之后向观看者显示的立体场景的被掩蔽的缩放部分，立体场景的显示部分通过双目呈现对场景的该部分的模拟观看。图9A是示出根据示例性实施例的操作交互式系统的示例性方法的步骤的流程图的第一部分。图9B是示出根据本专利技术的操作交互式系统的示例性方法的步骤的流程图的第二部分，图9包括图9A和图9B的组合。图10示出了根据本专利技术的一些实施例的作为执行缩放和掩蔽操作的一部分而执行的示例性处理。图11示出了根据本专利技术的特征的可以用于编码和流传输内容的示例性内容传送系统。图12示出了可用于接收、解码和显示由图11的系统流传输的内容的示例性呈现和回放系统。具体实施方式图1示出了根据本专利技术的一些实施例实现的示例性系统100。系统100支持将内容(例如成像内容)传送到一个或多个客户设备，例如位于客户端的具有3D功能的回放设备。系统100包括示例性图像捕获系统102、内容传送系统104、通信网络105和多个客户端106，...，110。图像捕获系统102支持例如使用立体相机对来捕获立体图像，以及捕获正常的非立体图像。图像捕获系统102根据本专利技术的特征捕获和处理成像内容，并且可以包括一个或多个相机/立体相机对。通信网络105可以是例如混合光纤同轴(FIFC)网络、卫星网络和/或因特网。内容传送系统104包括编码装置112和内容流传输设备/服务器本文档来自技高网...

【技术保护点】
一种操作交互式系统的方法，所述方法包括：在显示器上显示场景；检测指示缩放操作模式的用户输入；响应于检测到的指示缩放操作的用户输入，模拟通过双目观看所述场景的一部分。

【技术特征摘要】
【国外来华专利技术】2015.01.28 US 62/108,9621.一种操作交互式系统的方法，所述方法包括：在显示器上显示场景；检测指示缩放操作模式的用户输入；响应于检测到的指示缩放操作的用户输入，模拟通过双目观看所述场景的一部分。2.根据权利要求1所述的方法，其中在所述显示器上显示场景包括：在所述显示器上输出立体图像对以提供所述场景的3D呈现，所述场景对应于事件，每个立体图像对包括左眼视图和右眼视图。3.根据权利要求1所述的方法，其中模拟观看所述场景的一部分包括：对第一左眼图像执行缩放操作；将掩蔽应用于缩放的第一左眼图像，以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放左眼图像。4.根据权利要求3所述的方法，还包括：显示所述掩蔽的缩放左眼图像。5.根据权利要求4所述的方法，其中模拟观看所述场景的一部分还包括：对与所述第一左眼图像相对应的第一右眼图像执行缩放操作；将掩蔽应用于缩放的右眼图像，以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放右眼图像；在显示所述掩蔽的缩放左眼图像的同时显示掩蔽的缩放右眼图像。6.根据权利要求5所述的方法，在使得附加的左眼图像和右眼图像显示达所述交互式系统处于所述缩放操作模式的时间段之前，对所述附加的左眼图像和右眼图像应用缩放和掩蔽操作。7.根据权利要求6所述的方法，还包括：检测指示从所述缩放操作模式到正常操作模式的切换的用户输入；以及响应于检测到指示从所述缩放操作模式到所述正常操作模式的切换的输入，在显示左眼图像和右眼图像之前停止所述缩放和掩蔽操作。8.根据权利要求1所述的方法，还包括：监视用户头位置；检测用户头部位置的变化；以及将所显示的场景的中心部分改变作为所检测到的头部位置的变化和在所述缩放操作模式期间使用的缩放因子的函数的量。9.根据权利要求8所述的方法，还包括：接收指示在所述缩放操作模式期间要使用的缩放因子的用户输入；并且其中将所显示的场景的中心部分改变作为所检测到的头部位置的变化和所述缩放因子的函数的量包括将所显示的场景的中心移动如下的量，该量是缩放因子乘以如果在正常模式操作期间检测到头部位置的变化而响应于检测到的位置变化所显示的图像将会移动的量。10.一种交互式系统，包括：显示设备，被配置为显示与场景相对应的图像；用户输入接口，被配置为检测指示缩放操作模式的用户输入；模拟器，被配置为响应于检测到的指示缩放操作的用户输入来模拟通过双目观看所述场景的一部分。11.根据权利要求10所述的系统，其中作为为被配置为显示与场景相对应的图像的一部分，所...

【专利技术属性】
技术研发人员：D·科勒，A·M·莫斯，
申请(专利权)人：奈克斯特VR股份有限公司，
类型：发明
国别省市：美国,US