基线图像的两阶段解码制造技术

图像解码器包括处理器和存储器。存储器包括被配置成使处理器执行操作的指令。所述操作接收编码图像，执行编码图像的第一解码以生成第一解码图像，将第一解码图像存储在存储器中，处理第一解码图像以用于显示，执行第一解码图像的第二解码并生成第二解码图像以及处理第二解码图像以用于显示。

【技术实现步骤摘要】
【国外来华专利技术】基线图像的两阶段解码相关申请的交叉引用本申请要求于2018年1月19日提交的标题为“TWO-PASSDECODINGOFIMAGES”的美国专利申请No.15/875,738的优先权，并且是该专利申请的继续，该专利申请的公开内容通过引用整体合并在此。
本申请通常涉及对图像进行解码。
技术介绍
在加载包含图像的网页期间，图像的解码耗费时间并且消耗大量的处理资源。例如，当浏览器正在加载图像时，浏览器可能在等待图像的解码完成的同时阻止图像加载。这可能会导致较慢的加载时间。数个机制可用于使解码过程加速。但是，这样的机制可能导致浏览器的显示区域中的大的白色区域，或者可能在浏览器中的绘制期间导致闪动(flicker)。这会负面地影响用户体验。
技术实现思路
在一个方面，图像解码器包括处理器和存储器。存储器包括被配置成使处理器执行操作的指令。操作包括在设备处接收编码图像，该编码图像是包括多个编码块的基线编码图像，在设备处执行编码图像的第一解码，该第一解码生成第一解码图像和相关联的直接电流(DC)和交流(AC)系数，DC和AC系数针对多个编码块中的每个编码块被生成，并且第一解码图像基于DC系数来解码，在设备上的存储器中存储第一解码图像和相关联的DC系数和AC系数，由设备上的应用处理第一解码图像以用于使用该应用来显示，在设备处执行第一解码图像的第二解码并生成第二解码图像，第二解码基于存储在存储器中的DC和AC系数，第二解码在条件被满足时并且在对第一解码图像的至少部分的处理正在进行的同时被执行，以及由设备处的应用处理第二解码图像以用于由该应用显示。在另一方面，一种方法包括：在设备处接收编码图像，该编码图像是包括多个编码块的基线编码图像，在该设备处执行该编码图像的第一解码，该第一解码生成第一解码图像和相关联的直流(DC)和交流(AC)系数，DC和AC系数针对多个编码块中的每个编码块被生成，并且第一解码图像基于DC系数来解码，在设备的存储器中存储第一解码图像以及相关联的DC和AC系数，由设备上的应用处理第一解码图像以用于使用该应用来显示，在设备处执行第一解码图像的第二解码并且生成第二解码图像，该第二解码基于存储在存储器中的DC和AC系数，第二解码在条件被满足时并且在对第一解码图像的至少部分的处理正在进行的同时被执行，以及由设备处的应用处理第二解码图像以用于由应用显示。在又一附加方面，一种具有存储在其上的计算机可执行程序代码的非暂时性计算机可读存储介质，该计算机可执行程序代码在计算机系统上执行时使计算机系统执行操作。操作包括在设备处接收编码图像，该编码图像是包括多个编码块的基线编码图像，在设备处执行编码图像的第一解码，该第一解码生成第一解码图像和相关联的直接电流(DC)和交流(AC)系数，DC和AC系数针对多个编码块中的每个编码块被生成，并且第一解码图像基于DC系数来解码，在设备上的存储器中存储第一解码图像和相关联的AC系数和AC系数，由设备上的应用处理第一解码图像以用于使用该应用来显示，在设备处执行第一解码图像的第二解码并生成第二解码图像，第二解码基于存储在存储器中的DC和AC系数，第二解码在条件被满足时并且在对第一解码图像的至少部分的处理正在进行的同时被执行，以及由设备处的应用处理第二解码图像以用于由该应用显示。在又一方面，一种方法包括：在设备处接收编码图像，该编码图像是包括多个编码块的基线编码图像，在该设备处执行编码图像的第一解码，该第一解码生成第一解码图像以及相关联的直流(DC)和交流(AC)系数，DC和AC系数针对多个编码块中的每个编码块被生成，并且第一解码图像基于DC系数来解码，将第一解码图像以及所生成的DC系数和AC系数存储在设备上的存储器中，并由设备上的应用处理第一解码图像以用于使用应用来显示，确定用于执行第二解码的条件是否被满足；以及响应于确定条件未被满足而跳过第二解码。附图说明通过在下文中给出的详细描述和附图，示例实施方式将变得更加充分地理解，其中，相似的元件由相似的附图标记表示，其仅以说明的方式给出，并且因此不是示例实施方式和附图的限制，并且其中：图1图示根据至少一个示例实施方式的图像处理系统的框图。图2图示根据至少另一示例实施方式的图像处理系统的框图。图3图示根据至少一个示例实施方式的用于执行图像的两阶段(two-pass)解码的方法的流程图。图4图示根据至少一个示例实施方式的用于在节省资源的同时执行图像的解码的方法的流程图。图5示出根据至少一个示例实施方式的计算机设备和移动计算机设备的示例。应该注意的是，这些附图旨在图示在某些示例性实施方式中使用的方法、结构或材料的一般特性，并补充以下提供的书面描述。但是，这些附图未缩放，并且可能无法准确反映任何给定实施方式的精确结构或性能特性，并且不应解释为定义或限制示例实施方式所包含的值或属性的范围。在各个附图中使用相似或相同的附图标记旨在指示相似或相同的元件或特征的存在。具体实施方式在此描述示例性两阶段解码机制。在一个实施方式中，解码器可以接收编码图像(例如，多个编码块或编码比特流)，并且可以对图像执行两阶段解码(例如，第一解码和第二解码)以对编码图像完全解码。可以仅使用编码块的直流(DC)系数来执行图像(例如，编码图像)的第一解码。第一解码可以生成第一解码图像，该第一解码图像可以被(例如，临时地)存储在存储器中，以稍后由第二解码使用。仅使用DC系数会大大减少第一解码所需的时间和资源量，因为在典型的联合图像专家组(JPEG)解码过程期间使用交流(AC)系数的逆离散余弦变换(IDCT)演算可能会消耗大部分的解码时间(例如，80％的计算时间)。DC系数(例如，每个块一个DC系数)和AC系数(例如，每个块63个AC系数)可以在编码图像的去量化期间生成，并且可以(临时)存储在存储器中以在第二解码中被使用。因为只有DC系数被用于解码，所以由第一解码生成的图像具有低分辨率(例如，低质量)。在一个实施方式中，第一解码图像的分辨率可以是完全解码图像(例如，第二解码图像)的1/8分辨率。然后可以由应用(例如，浏览应用)来处理第一解码图像，以生成中间图像以用于在该应用(例如，浏览器)中显示。在一些实施方式中，该处理可以包括由浏览应用进行的绘制。可以在处理第一解码图像以在应用中进行显示的同时发起第二解码。第二解码可以由与正在处理第一解码图像以用于显示的线程(例如，主线程)不同的线程(例如，辅线程)执行，以使整个解码过程加速。当从存储器中检索第一解码图像、DC系数和AC系数时，可以对第一解码图像执行第二解码。第二解码可以生成第二解码图像，该第二解码图像在被处理(例如，绘制)时可以显示具有与通过标准JPEG解码生成的图像(例如，最终图像)的分辨率近似相等的分辨率的图像。一旦最终图像可用，用于显示的中间图像就被更新。这样最小化或消除空白和闪动，并增强用户体验。所提出的两阶段解码机制更快地并且以逐步方式(例如，先低分辨率后高分辨率)输出图像像素值，而不需本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在设备处接收编码图像，所述编码图像是包括多个编码块的基线编码图像；/n在所述设备处执行所述编码图像的第一解码，所述第一解码生成第一解码图像以及相关联的直流DC系数和交流AC系数，所述DC系数和所述AC系数针对所述多个编码块中的每个编码块被生成，并且所述第一解码图像基于所述DC系数来解码；/n将所述第一解码图像以及所述相关联的DC系数和AC系数存储在所述设备处的存储器中；/n由所述设备上的应用处理所述第一解码图像以用于使用所述应用来显示；/n在所述设备处执行所述第一解码图像的第二解码并且生成第二解码图像，所述第二解码基于存储在所述存储器中的所述DC系数和所述AC系数，所述第二解码在条件被满足时并且在对所述第一解码图像的至少部分的所述处理正在进行的同时被执行，；以及/n由所述设备处的所述应用处理所述第二解码图像以用于使用所述应用来显示。/n

【技术特征摘要】
【国外来华专利技术】20180119 US 15/875,7381.一种方法，包括：
在设备处接收编码图像，所述编码图像是包括多个编码块的基线编码图像；
在所述设备处执行所述编码图像的第一解码，所述第一解码生成第一解码图像以及相关联的直流DC系数和交流AC系数，所述DC系数和所述AC系数针对所述多个编码块中的每个编码块被生成，并且所述第一解码图像基于所述DC系数来解码；
将所述第一解码图像以及所述相关联的DC系数和AC系数存储在所述设备处的存储器中；
由所述设备上的应用处理所述第一解码图像以用于使用所述应用来显示；
在所述设备处执行所述第一解码图像的第二解码并且生成第二解码图像，所述第二解码基于存储在所述存储器中的所述DC系数和所述AC系数，所述第二解码在条件被满足时并且在对所述第一解码图像的至少部分的所述处理正在进行的同时被执行，；以及
由所述设备处的所述应用处理所述第二解码图像以用于使用所述应用来显示。


2.根据权利要求1所述的方法，其中，所述第一解码图像是低分辨率图像，并且所述第二解码图像是高分辨率图像。


3.根据权利要求2所述的方法，其中，所述低分辨率图像是所述高分辨率图像的八分之一分辨率。


4.根据权利要求1、权利要求2或权利要求3所述的方法，其中，所述第一解码图像的生成包括由所述设备的图形处理单元GPU执行从YCbCr到RGB的颜色转换，并且所述第二解码图像的生成包括由所述设备的所述GPU执行从YCbCr到RGB的所述颜色转换。


5.根据任一项前述权利要求所述的方法，其中，所述应用是web浏览器应用。


6.根据任一项前述权利要求所述的方法，其中，对所述第一解码图像和所述第二解码图像的处理由所述设备上的应用执行，并且其中所述第一解码和所述第二解码分别由第一线程和第二线程执行，两个线程都与所述应用相关联。


7.根据任一项前述权利要求所述的方法，
其中，所述条件包括：
识别所述设备是否是移动设备；和
响应于识别所述设备是移动设备，确定所述设备是否正以高于阈值电力水平的电池电力水平操作，以及
响应于确定所述移动设备未正以高于所述阈值电力水平的电池电力水平操作而跳过所述第二解码。


8.根据任一项前述权利要求所述的方法，其中，所述条件包括：确定所述第一解码图像是否未被缩小以用于在所述设备处显示，以及
响应于确定所述第一解码图像被缩小以用于在所述设备处显示而跳过所述第二解码。


9.根据任一项前述权利要求所述的方法，其中，所述条件包括：确定在所述第二解码的发起之前所述设备的用户是否还未导览离开所述第一解码图像，以及
响应于确定在所述第二解码的发起之前所述用户导览离开所述第一解码图像而跳过所述第二解码。


10.根据任一项前述权利要求所述的方法，其中，所述应用是浏览应用，并且当第一图像的位置在所述浏览应用的显示区域之外时，所述第一解码图像被生成并且被处理以用于使用所述应用来显示。


11.一种包括指令的计算机程序，所述指令在设备上执行时使所述设备执行根据权利要求1至10中的任意一项所述的方法步骤。

【专利技术属性】
技术研发人员：亚历克斯·达尼洛，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US