运动模糊的快速自适应估计以用于相干渲染制造技术

公开了用于自适应地执行一个或多个运动模糊估计方法来估计与由增强现实应用产生的增强现实环境中的图像目标帧相关联的运动模糊的方法和装置。在一个实施例中，实现的功能包括：应用第一运动模糊估计方法来估计运动模糊；确定计算资源是否可用于第二运动模糊估计方法；响应于确定计算资源可用于第二运动模糊估计方法，应用第二运动模糊估计方法来估计运动模糊。

Fast adaptive estimation of motion blur for coherent rendering

A method and apparatus for adaptively performing one or more motion blur estimation methods to estimate motion blur associated with an image target frame in an augmented reality environment generated by augmented reality applications are disclosed. In one embodiment, functions include: the application of the first motion blur estimation method to estimate motion blur; determine the computing resources can be used to fuzzy estimation method of second movement; in response to a determination of computing resources can be used for fuzzy estimation method of the second movement, second motion blur estimation method to estimate motion blur.

【技术实现步骤摘要】
【国外来华专利技术】运动模糊的快速自适应估计以用于相干渲染相关申请的交叉引用本申请要求享受于2015年2月27日提交的、标题为“FASTADAPTIVEESTIMATIONOFMOTIONBLURFORCOHERENTRENDERING”的美国专利申请No.14/633,737的优先权，故以引用方式将其明确地并入本文。
概括地说，本文所公开的主题涉及电子设备，更具体地说，涉及用于与由电子设备实现的增强现实环境一起使用的方法和装置。
技术介绍
利用增强现实技术，可视虚拟对象可以叠加在现实世界场景的视频馈给上，使得在输出视频馈给中，虚拟对象看起来是现实世界场景的一部分。可以使用多种已知技术使虚拟对象逼真地呈现为现实场景的一部分。例如，相机姿态可以利用已知技术从视频馈给的一帧跟踪到另一帧，使得可以相应地调整虚拟对象的姿态，以使虚拟对象呈现为现实世界场景的一部分。在描绘现实世界场景的视频馈给由于相机的快速移动而变得模糊的情形下，如果虚拟对象不是同样地模糊，则虚拟对象的现实性可能会减弱。因此，用于测量描绘虚拟对象所叠加的现实世界场景的视频馈给的运动模糊的方法，以及用于调整虚拟对象以模拟相应的模糊的方法是有用的。
技术实现思路
本文公开的一个实施例可以包括一种用于自适应地应用一个或多个运动模糊估计方法来估计与图像目标帧相关联的运动模糊的方法，该方法包括：应用第一运动模糊估计方法来估计运动模糊；确定计算资源是否可用于第二运动模糊估计方法；响应于确定计算资源可用于第二运动模糊估计方法，应用第二运动模糊估计方法来估计运动模糊。本文公开的另一个实施例可以包括一种用于自适应地应用一个或多个运动模糊估计方法来估计与图像目标帧相关联的运动模糊的装置，该装置包括：存储器；以及处理器，该处理器被配置为：应用第一运动模糊估计方法来估计运动模糊；确定计算资源是否可用于第二运动模糊估计方法；响应于确定计算资源可用于第二运动模糊估计方法，应用第二运动模糊估计方法来估计运动模糊。本文公开的另外实施例可以包括一种用于自适应地应用一个或多个运动模糊估计方法来估计与图像目标帧相关联的运动模糊的装置，该装置包括：用于应用第一运动模糊估计方法来估计运动模糊的单元；用于确定计算资源是否可用于第二运动模糊估计方法的单元；用于响应于确定计算资源可用于第二运动模糊估计方法，应用第二运动模糊估计方法来估计运动模糊的单元。本文公开的另外实施例可以包括一种包括代码的非暂时性计算机可读介质，所述代码在由处理器执行时使得所述处理器进行包括以下操作的方法：应用第一运动模糊估计方法来估计与图像目标帧相关联的运动模糊；确定计算资源是否可用于第二运动模糊估计方法；响应于确定计算资源可用于第二运动模糊估计方法，应用第二运动模糊估计方法来估计运动模糊。附图说明图1示出了适于增强现实应用的设备的实施例。图2A和图2B示出了示例性增强现实应用的输出。图3是示出用于自适应地应用对图像目标的运动模糊进行估计的一个或多个方法的示例性方法的流程图。图4是示出用于估计图像目标的运动模糊的示例性第一运动模糊估计方法的流程图。图5是示出用于估计图像目标的运动模糊的示例性第二运动模糊估计方法的流程图。图6是用于估计图像目标的运动模糊的示例性第二运动模糊估计方法的示例性说明。图7是示出用于估计图像目标的运动模糊的示例性第三运动模糊估计方法的流程图。图8是用于估计图像目标的运动模糊的示例性第三运动模糊估计方法的示例性说明。具体实施方式在图1中示出了适于增强现实应用的示例性设备100。如本文所使用的设备(例如，设备100)可以是：移动设备、无线设备、蜂窝电话、个人数字助理、移动计算机、可穿戴设备(例如，手表、头戴式显示器、虚拟现实眼镜等等)、平板设备、个人计算机、膝上型计算机、或者具有处理能力的任何类型的设备。如本文所使用的，移动设备可以是任何便携式或者可移动设备或机器，其可以被配置为获取从一个或多个无线通信设备或网络发送的无线信号，以及向一个或多个无线通信设备或网络发送无线信号。因此，通过举例而非限制的方式，设备100可以包括无线电设备、蜂窝电话设备、计算设备、个人通信系统设备、或者其它类似的有可移动无线通信功能的设备、器具或机器。设备100示出为包括经由总线105进行电耦合的硬件单元(或者可以根据需要进行通信)。这些硬件单元可以包括一个或多个处理器110，其包括但不限于：一个或多个通用处理器和/或一个或多个特殊用途处理器(例如，数字信号处理芯片、图形加速处理器等等)；一个或多个输入设备115，其包括但不限于相机116、鼠标、键盘、小键盘、触摸屏、麦克风等等；以及一个或多个输出设备120，其包括但不限于显示设备121、扬声器、打印机等等。设备100还可以包括一个或多个非暂时性存储设备125(和/或与其进行通信)，其中该一个或多个非暂时性存储设备125可以包括但不限于本地和/或网络可访问存储设备，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)之类的固态存储设备，其可以是可编程、可闪速更新的等等。这些存储设备可以配置为实现任何适当的数据存储，其包括但不限于：各种文件系统、数据库结构等等。该设备还可以包括通信子系统130，通信子系统130可以包括但不限于：调制解调器、网络卡(无线或有线)、红外通信设备、无线通信设备和/或芯片集(例如，蓝牙设备、802.11设备、Wi-Fi设备、WiMax设备、蜂窝通信设施等)等等。通信子系统130可以容许与网络、其它设备和/或本文所描述的任何其它设备交换数据。在一个实施例中，设备100还可以包括存储器135，存储器135可以包括RAM或ROM设备，如上所述。应当理解的是，设备100可以是移动设备或者非移动设备，并且可以具有无线和/或有线连接。设备100还可以包括软件单元，软件单元示出为当前位于工作存储器135之内，其中这些软件单元包括操作系统140、设备驱动、可执行库和/或其它代码(例如，一个或多个应用程序145)，其中应用程序145可以包括或者可以被设计为实现实施例所提供的方法和/或配置系统，如本文所将描述的。仅通过举例的方式，参照下面所讨论的方法描述的一个或多个过程可以实现成可由设备100(和/或设备100内的处理器110)执行的代码和/或指令；在一个方面中，随后，这些代码和/或指令可以用于配置和/或调整通用计算机(或者其它设备)以根据所描述的方法来执行一个或多个操作。可以将这些指令和/或代码集存储在非暂时性计算机可读存储介质(例如，上面所描述的存储设备125)上。在一些情况下，可以将存储介质并入到诸如设备100之类的设备中。在其它实施例中，存储介质可以与设备相分离(例如，诸如压缩盘之类的可移除介质)，和/或利用安装包来提供，使得该存储介质可以用于利用其上存储的指令/代码对通用计算机进行编程、配置和/或调整。这些指令可以采用可执行代码(其可由计算机化的设备100执行)的形式，和/或采用源代码和/或可安装代码的形式，其中在该代码在设备100上进行编译和/或安装(例如，使用多种通常可用的编译器、安装程序、压缩/解压缩工具等等中的任何一种)之后，采用可执行代码的形式。应用程序145可以包括一个或多个增强现实应用。一本文档来自技高网...

【技术保护点】
一种用于自适应地应用一个或多个运动模糊估计方法来估计与图像目标帧相关联的运动模糊的方法，包括：应用第一运动模糊估计方法来估计所述运动模糊；确定计算资源是否可用于第二运动模糊估计方法；以及响应于确定计算资源可用于所述第二运动模糊估计方法，应用所述第二运动模糊估计方法来估计所述运动模糊。

【技术特征摘要】
【国外来华专利技术】2015.02.27 US 14/633,7371.一种用于自适应地应用一个或多个运动模糊估计方法来估计与图像目标帧相关联的运动模糊的方法，包括：应用第一运动模糊估计方法来估计所述运动模糊；确定计算资源是否可用于第二运动模糊估计方法；以及响应于确定计算资源可用于所述第二运动模糊估计方法，应用所述第二运动模糊估计方法来估计所述运动模糊。2.根据权利要求1所述的方法，其中，所述第一运动模糊估计方法包括：通过测量所考虑的图像目标帧的姿态并将所考虑的所述图像目标帧的所述姿态投影到屏幕空间，确定第一投影的姿态；通过测量直接在所考虑的所述图像目标帧之前的图像目标帧的姿态并将直接在所考虑的所述图像目标帧之前的图像目标帧的所述姿态投影到屏幕空间，确定第二投影的姿态；以及通过从所述第一投影的姿态中减去所述第二投影的姿态，估计所考虑的所述图像目标帧的运动模糊矢量。3.根据权利要求1所述的方法，其中，所述第二运动模糊估计方法包括：通过将多个模糊矢量应用于未模糊的图像目标，根据所述未模糊的图像目标来生成多个可能的运动模糊的图像目标；将所考虑的图像目标帧与所述多个可能的运动模糊的图像目标进行比较，以找到最接近地类似于所考虑的所述图像目标帧的单个可能的运动模糊的图像目标；以及将所考虑的所述图像目标帧的运动模糊矢量估计成与最接近地类似于所考虑的所述图像目标帧的所述单个可能的运动模糊的图像目标相关联的模糊矢量。4.根据权利要求3所述的方法，其中，将所考虑的所述图像目标帧与所述多个可能的运动模糊的图像目标进行比较包括：计算多个归一化互相关(NCC)值。5.根据权利要求1所述的方法，还包括：确定计算资源是否可用于第三运动模糊估计方法；以及响应于确定计算资源可用于所述第三运动模糊估计方法，应用所述第三运动模糊估计方法来估计所述运动模糊。6.根据权利要求5所述的方法，其中，所述第三运动模糊估计方法包括：确定要搜索的多个模糊量；针对要搜索的每个模糊量，确定一个或多个运动模糊步骤的数量；在所考虑的图像目标帧的姿态和直接在所考虑的所述图像目标帧之前的图像目标帧的姿态之间，插入一个或多个中间姿态，其中，中间姿态的数量与运动模糊步骤的数量相对应；构造多个未模糊的假设的图像目标帧，其中，针对每个中间姿态、以及所考虑的所述图像目标帧的姿态和直接在所考虑的所述图像目标帧之前的图像目标帧的姿态，构造一个假设的图像目标帧；针对每个中间姿态和直接在所考虑的所述图像目标帧之前的图像目标帧的姿态，构造多个模糊的模板，其中，每个模糊的模板与临界姿态相对应，其中所述临界姿态是针对其构造所述模糊的模板的姿态；将所考虑的所述图像目标帧与所有所述模糊的模板进行比较，以找到最接近地类似于所考虑的所述图像目标帧的单个模糊的模板；以及将所考虑的所述图像目标帧的运动模糊估计成所述模糊量和找到的最接近地类似于所考虑的所述图像目标帧的所述单个模糊的模板的临界姿态的组合。7.根据权利要求6所述的方法，其中，将所考虑的所述图像目标帧与所有所述模糊的模板进行比较包括：计算多个归一化互相关(NCC)值。8.根据权利要求1所述的方法，其中，在应用所述第二运动模糊估计方法时，使用所述第一运动模糊估计方法的结果。9.一种用于自适应地应用一个或多个运动模糊估计方法来估计与图像目标帧相关联的运动模糊的装置，包括：存储器；以及处理器，其被配置为：应用第一运动模糊估计方法来估计所述运动模糊，确定计算资源是否可用于第二运动模糊估计方法，以及响应于确定计算资源可用于所述第二运动模糊估计方法，应用所述第二运动模糊估计方法来估计所述运动模糊。10.根据权利要求9所述的装置，其中，被配置为应用所述第一运动模糊估计方法的所述处理器被配置为：通过测量所考虑的图像目标帧的姿态并将所考虑的所述图像目标帧的所述姿态投影到屏幕空间，确定第一投影的姿态，通过测量直接在所考虑的所述图像目标帧之前的图像目标帧的姿态并将直接在所考虑的所述图像目标帧之前的图像目标帧的所述姿态投影到屏幕空间，确定第二投影的姿态，以及通过从所述第一投影的姿态中减去所述第二投影的姿态，估计所考虑的所述图像目标帧的运动模糊矢量。11.根据权利要求9所述的装置，其中，被配置为应用所述第二运动模糊估计方法的所述处理器被配置为：通过将多个模糊矢量应用于未模糊的图像目标，根据所述未模糊的图像目标来生成多个可能的运动模糊的图像目标，将所考虑的图像目标帧与所述多个可能的运动模糊的图像目标进行比较，以找到最接近地类似于所考虑的所述图像目标帧的单个可能的运动模糊的图像目标，以及将所考虑的所述图像目标帧的运动模糊矢量估计成与最接近地类似于所考虑的所述图像目标帧的所述单个可能的运动模糊的图像目标相关联的模糊矢量。12.根据权利要求11所述的装置，其中，被配置为将所考虑的所述图像目标帧与所述多个可能的运动模糊的图像目标进行比较的所述处理器被配置为：计算多个归一化互相关(NCC)值。13.根据权利要求9所述的装置，其中，所述处理器还被配置为：确定计算资源是否可用于第三运动模糊估计方法，以及响应于确定计算资源可用于所述第三运动模糊估计方法，应用所述第三运动模糊估计方法来估计所述运动模糊。14.根据权利要求13所述的装置，其中，被配置为应用所述第三运动模糊估计方法的所述处理器被配置为：确定要搜索的多个模糊量，针对要搜索的每个模糊量，确定一个或多个运动模糊步骤的数量，在所考虑的图像目标帧的姿态和直接在所考虑的所述图像目标帧之前的图像目标帧的姿态之间，插入一个或多个中间姿态，其中，中间姿态的数量与运动模糊步骤的数量相对应，构造多个未模糊的假设的图像目标帧，其中，针对每个中间姿态、以及所考虑的所述图像目标帧的姿态和直接在所考虑的所述图像目标帧之前的图像目标帧的姿态，构造一个假设的图像目标帧，针对每个中间姿态和直接在所考虑的所述图像目标帧之前的图像目标帧的姿态，构造多个模糊的模板，其中，每个模糊的模板与临界姿态相对应，其中所述临界姿态是针对其构造所述模糊的模板的姿态，将所考虑的所述图像目标帧与所有模糊模板进行比较，以找到最接近地类似于所考虑的所述图像目标帧的单个模糊的模板，以及将所考虑的所述图像目标帧的运动模糊估计成所述模糊量和找到的最接近地类似于所考虑的所述图像目标帧的所述单个模糊的模板的临界姿态的组合。15.根据权利要求14所述的装置，其中，被配置为将所考虑的所述图像目标帧与所有模糊模板进行比较的所述处理器被配置为：计算多个归一化互相关(NCC)值。16.根据权利要求9所述的装置，其中，在应用所述第二运动模糊估计方法时，使用所述第一运动模糊估计方法的结果。17.一种用于自适应地应用一个或多个运动模...

【专利技术属性】
技术研发人员：E·门德斯门德斯，K·金，朴荣敏，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US