生成经编码帧的方法和装置制造方法及图纸

这里所描述的技术涉及一种生成用于传输到电子显示器的经编码输出视频帧的方法，其中，经编码源视频帧被解码以获得经解码源视频帧(200a)，经解码源视频帧(200a)被处理以获得输入视频帧(200c)，并且输入视频帧(200c)被编码以获得用于传输的经编码输出视频帧。方法包括以下步骤：将输入视频帧(200c)的区域与从其获得输入视频帧的经解码源视频帧的经解码源视频帧(200a)的区域进行比较，以确定经解码源视频帧(200a)的区域是否类似于输入视频帧(200c)的区域；以及当确定经解码源视频帧(200a)的区域类似于输入视频帧(200c)的区域时，使用经编码源视频帧的与经解码源视频帧的区域对应的区域作为要传输的经编码输出视频帧的与输入视频帧的区域对应的区域。

Method and apparatus for generating encoded frames

The techniques described here relates to a generation for transmission to the output video frame encoding method, the electronic display, encoded source video frames are decoded to obtain the decoded video frame source (200a), by decoding the source video frames (200a) are processed to obtain the input video frame (200C), and input the video frame (200C) encoding is to obtain the output encoding video frames for transmission. The method comprises the following steps: the input video frame (200C) of the region and from the input video frames by decoding the source video frames by decoding the source video frames (200a) were compared to determine the source region, decoded video frame (200a) is similar to an input video frame region (200C) region when it is determined; and decoding the source video frame (200a) of the region is similar to the input video frame (200C) of the region, corresponding to the region coded source video frames and the decoded video frames as the source region of the corresponding output by encoding video frames and the input region of a video frame to transfer area.

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
这里所描述的技术涉及用于生成经编码输出帧的方法和装置。具体地，这里所描述的技术涉及从源视频帧生成要传输到电子显示器以进行显示的经编码输出帧的方法和装置。随着便携式电子装置的处理功率和速度提高，这些装置处理多媒体的能力相应地提高。已经变得可以从便携式电子装置向电子显示器无线“串流输送”多媒体内容，并且对于这一点的需求在增长。这里，便携式电子装置例如可以包括移动电话(例如，智能电话)、平板电脑以及膝上型计算机。“串流输送”指的是一种传送媒体内容的方法，在该方法中，内容在从源(诸如便携式电子装置)发送的同时由电子显示器连续接收并同时在电子显示器上显示。在这种结构中，源材料(诸如源视频内容和/或源图形内容)将通常在无线传输到显示器(例如，屏幕)之前在便携式电子装置内处理。例如，可以由视频解码器对源视频帧进行解码以获得经解码源视频帧。然后可以处理经解码源视频帧，此外，经解码源视频帧可以与其他内容(诸如图形帧)合成以获得输入视频帧，该输入视频帧将由视频编码器来编码以获得用于传输到电子显示器的输出视频帧。传统上，无线显示协议规定了在根据适当压缩标准(例如，MPEG H 264)编码之前，将源材料转换成可兼容色空间格式和所支持分辨率范围(例如，从640x480直到1920x1200)内的预定分辨率。经编码数据被封包，然后经编码数据例如通过Wi-Fi自组织网络无线传输。常见色度格式包括用于视频源的抽取YUV格式(例如，YUV4：2：0格式)和用于图形和合成源的RGB格式。源内容到用于无线传输到显示器的编码数据的这种处理会需要大量计算资源和带宽。附图说明现在将参照附图仅用示例的方式描述实施方式，附图中：图1是用于实现根据实施方式的方法的示例性数据处理系统的示意图；图2是示出了生成经编码视频帧的示例性处理的示意图；图3是示出了示例性视频帧分组的示意图；图4是例示了不同视频压缩帧类型的示例的示意图；图5是示出了分割帧的方法的示例的示意图；图6是例示了基于帧区域的比较处理的示例的示意图；图7是例示了基于帧区域的比较处理的另一个示例的示意图；以及图8是例示了实施方式中生成经编码视频帧的示例性方法的流程图。类似的附图标记贯穿附图在适当的情况下用于类似的特征。具体实施方式实施方式包括一种用于生成用于传输到电子显示器的经编码输出视频帧的方法，其中，经编码源视频帧被解码以获得经解码源视频帧，经解码源视频帧被处理以获得输入视频帧，并且输入视频帧被编码以获得用于传输的经编码输出视频帧。方法包括以下步骤：将从经解码源视频帧获得的输入视频帧的区域与经解码源视频帧的区域进行比较，以确定经解码源视频帧的区域是否类似于输入视频帧的区域；以及如果确定经解码源视频帧的区域类似于输入视频帧的区域，则使用经编码源视频帧的与经解码源视频帧的区域对应的区域作为经编码输出视频帧的与用于传输的输入视频帧的区域的对应的区域。另一个实施方式包括一种用于生成用于传输到电子显示器的经编码输出视频帧的系统。系统包括：视频解码器，该视频解码器被构造为对经编码源视频帧进行解码以获得经解码源视频帧；处理引擎，该处理引擎被构造为处理经解码源视频帧以获得输入视频帧；以及视频编码器，该视频编码器被构造为对输入视频帧进行编码以获得用于传输的经编码输出视频帧。系统还包括处理电路，该处理电路被构造为将从经解码源视频帧获得的输入视频帧的区域与经解码源视频帧的区域进行比较，以确定经解码源视频帧的区域是否类似于输入视频帧的区域，并且如果确定经解码源视频帧的区域类似于输入视频帧的区域，则使用经编码源视频帧的与经解码源视频帧的区域对应的区域作为用于传输的经编码输出视频帧的与输入视频帧的区域对应的区域。这里所描述的技术涉及一种系统，在系统中，例如，便携式电子装置可以从外部源(例如，片外存储器)获得源视频内容，然后处理源视频内容，以例如无线传输到电子显示器(该电子显示器例如可以为远程和/或无线显示器)。源视频内容可以为由使用预定编码方案编码(压缩)的多个视频帧形成的视频内容。首先例如由视频引擎(视频解码器)解码(解压)各源经编码视频帧。然后可以例如由合成引擎处理经解码源视频帧以(可选地)修改经解码源视频帧，例如通过将经解码视频帧与另外数据(诸如从图形处理单元(GPU)接收的图形帧)合并，以提供用于例如由视频编码器编码以提供(传输)给显示器的输入视频帧。在这里所描述的技术中，将要被编码以传输到显示器的输入视频帧的帧区域与从其生成输入视频帧的(例如，由视频解码器输出的)经解码源视频帧的帧区域进行比较。如果确定经解码源视频帧的帧区域类似于输入视频帧的帧区域，则针对要传输到电子显示器的经编码输出视频帧的与输入视频帧的帧区域对应的帧区域，使用经编码源视频帧(该经编码源视频帧在被解码之前为初始源视频内容)的与经解码源视频帧的帧区域对应的帧区域。这然后可以避免例如且如下面将进一步讨论的对用于传输到电子显示器的输入视频帧的对应区域进行编码的需要(因为相反地可以使用原始经编码源视频帧区域)。在这点上，申请人已经认识到，在源视频内容被解码、处理然后重新编码以传输来显示的系统中，情况可以是这样的：给定视频帧中的一些或全部可能未被它的处理改变。例如，在一些情况下，可以的是经解码源视频帧中的仅一部分或一些部分(但不是全部)将由合成处理(合成引擎)修改。例如，如果经解码源视频帧与图形帧合成以将一行字幕添加到图像中，那么将修改经解码源视频帧仅底部的一小部分，而将不修改经解码源视频帧的剩余部分。申请人还已经认识到，对于经解码源视频帧未被例如合成处理修改的那些部分，则将可以重新使用来自原始经编码源视频帧的视频帧的那些部分的经编码版本，从而避免“重新编码”经解码且处理源视频帧的那些部分的需要。这然后减少了对于生成用于传输到显示器的经编码输出视频帧所需的处理，并且例如还允许针对关注中的输出视频帧区域，使用初始源视频帧编码(该初始编码会更有效，从而提供例如带宽和资源的进一步节省)。实施方式通过确定要被编码以传输的输入视频帧区域是否类似于经编码源帧区域的经解码版本来促进这一点。该类似性测试有效地确定源帧区域是否已经被处理修改为形成要被编码以传输的输入视频帧区域。如果确定要被编码的输入视频帧区域类似于经解码源帧区域，那么可以推断出源帧区域尚未被对源视频帧进行的处理修改，因此源视频帧区域的经编码版本可以直接用作用于传输到显示器以显示的该视频帧区域的经编码版本。实施方式中所考虑的视频帧的区域可以为视频帧的任意适当且期望的区域。在实施方式中，各帧区域代表关注中的帧的不同部分(区)。各区域应理想地代表帧的适当部分(区域)(诸如帧内的多个数据位置)。适当区域尺寸可以为例如视频帧中的8x8、16x16、32x32个数据位置。帧区域可以为规则的尺寸和形状(例如，为矩形(包括正方形)的形式)。然而，这不是必须的，并且可以使用其他结构(如果期望)。在各视频帧已经为了视频编码和处理的目的而被细分为区域(例如，被划分为“宏块”)的情况下，那么在实施方式中，以这里所描述的技术的方式考虑的视频帧的各区域对应于视频帧为了编码和处理目的而被划分为的区域。由此，在实施方式中，以这里所描述的技术的方式考虑的视频帧的各区域对应于帧的一个或更多个宏块。在实施方本文档来自技高网...

【技术保护点】
一种生成用于传输到电子显示器的经编码输出视频帧的方法，其中，经编码源视频帧被解码以获得经解码源视频帧，所述经解码源视频帧被处理以获得输入视频帧，并且所述输入视频帧被编码以获得用于传输到电子显示器的输出视频帧，所述方法包括以下步骤：将从经解码源视频帧获得的输入视频帧的区域与所述经解码源视频帧的区域进行比较，以确定所述经解码源视频帧的所述区域是否类似于所述输入视频帧的所述区域；以及当确定所述经解码源视频帧的所述区域类似于所述输入视频帧的所述区域时，使用经编码源视频帧的与所述经解码源视频帧的所述区域对应的区域作为用于传输的所述经编码输出视频帧的与所述输入视频帧的所述区域对应的区域。

【技术特征摘要】
【国外来华专利技术】2014.04.15 GB 1406795.31.一种生成用于传输到电子显示器的经编码输出视频帧的方法，其中，经编码源视频帧被解码以获得经解码源视频帧，所述经解码源视频帧被处理以获得输入视频帧，并且所述输入视频帧被编码以获得用于传输到电子显示器的输出视频帧，所述方法包括以下步骤：将从经解码源视频帧获得的输入视频帧的区域与所述经解码源视频帧的区域进行比较，以确定所述经解码源视频帧的所述区域是否类似于所述输入视频帧的所述区域；以及当确定所述经解码源视频帧的所述区域类似于所述输入视频帧的所述区域时，使用经编码源视频帧的与所述经解码源视频帧的所述区域对应的区域作为用于传输的所述经编码输出视频帧的与所述输入视频帧的所述区域对应的区域。2.根据权利要求1所述的方法，其中，所述经解码源视频帧要基于另一个经解码源视频帧来解码；并且所述方法还包括以下步骤：在使用所述经编码源视频帧的所述区域作为所述第一输出视频帧的所述区域之前，将与所述输入视频帧的所述区域对应的另一个输入视频帧的区域和与所述经解码源视频帧的所述区域对应的所述另一个经解码源视频帧的区域进行比较，以确定所述另一个输入视频帧的所述区域和所述另一个经解码源视频帧的所述区域是否彼此类似，所述另一个输入视频帧从所述另一个经解码源视频帧获得；以及当确定所述另一个输入视频帧的所述区域和所述另一个经解码源视频帧的所述区域彼此类似时，仅使用所述经编码源视频帧的所述区域作为所述第一输出视频帧的所述区域。3.根据权利要求1或2所述的方法，所述方法还包括以下步骤：当确定所述输入视频帧的所述区域不类似于所述经解码源视频帧的区域，和/或另一个输入视频帧的所述区域不类似于对应的另一个经解码源视频帧的所述区域时，对所述输入视频帧的所述区域进行编码以用作要传输到所述电子显示器的所述经编码输出视频帧的与所述输入视频帧的所述区域对应的区域。4.根据前述权利要求中任一项所述的方法，其中，所述视频帧区域包括视频帧宏块。5.根据前述权利要求中任一项所述的方法，其中，所述源视频帧、所述经解码源视频帧、所述输入视频帧以及所述输出视频帧中的每个被划分为多个帧区域，并且所述比较的步骤包括将输入视频帧的多个帧区域中的每一个帧区域与经解码源视频帧的一个或更多个帧区域进行比较。6.根据前述权利要求中任一项所述的方法，其中，所述源视频帧、所述经解码源视频帧、所述输入视频帧以及所述输出视频帧中的每个被划分为多个帧区域；并且所述方法还包括以下步骤：将所述输入视频帧的第一帧区域与在该帧中具有不同于所述第一帧区域的位置的所述输入视频帧的第二帧区域进行比较，以及当确定所述第一帧区域类似于所述第二帧区域时，针对所述经编码输出视频帧中与所述输入视频帧的所述第一帧区域对应的帧区域，使用所述第二帧区域的经编码版本。7.根据前述权利要求中任一项所述的方法，其中，所述源视频帧、所述经解码源视频帧、所述输入视频帧以及所述输出视频帧中的每个被划分为多个帧区域；并且所述方法还包括以下步骤：将所述输入视频帧的帧区域与先前输入视频帧的一个或更多个帧区域进行比较，以及当确定所述输入视频帧的所述帧区域类似于所述先前输入视频帧的所述一个或更多个帧区域中的任一个帧区域时，针对所述经编码输出视频帧中与所述输入视频帧的所述帧区域对应的帧区域，使用所述先前输入视频帧的该帧区域的经编码版本。8.一种生成用于传输到电子显示器的经编码输出视频帧的方法，其中，经编码源视频帧被解码以获得经解码源视频帧，所述经解码源视频帧被处理以获得输入视频帧，并且所述输入视频帧被编码以获得用于传输到电子显示器的输出视频帧，其中，至少所述输入视频帧和所述输出视频帧被划分为多个帧区域，所述方法包括以下步骤：将所述输入视频帧的第一帧区域与在该帧中具有不同于所述第一帧区域的位置的所述输入视频帧的第二帧区域进行比较；以及当确定所述第一帧区域类似于所述第二帧区域时，使用所述第二帧区域的经编码版本作为所述经编码输出视频帧中与所述输入视频帧的所述第一帧区域对应的帧区域。9.一种生成用于传输到电子显示器的经编码输出视频帧的方法，其中，经编码源视频帧被解码以获得经解码源视频帧，所述经解码源视频帧被处理以获得输入视频帧，并且所述输入视频帧被编码以获得用于传输到电子显示器的输出视频帧，其中，至少所述输入视频帧和所述输出视频帧被划分为多个帧区域，所述方法包括以下步骤：将所述输入视频帧的帧区域与先前输入视频帧的一个或更多个帧区域进行比较；以及当确定所述输入视频帧的所述帧区域类似于所述先前输入视频帧的所述一个或更多个帧区域中的任一个帧区域时，使用所述先前输入视频帧的该帧区域的经编码版本作为所述经编码输出视频帧中与所述输入视频帧的所述帧区域对应的帧区域。10.根据前述权利要求中任一项所述的方法，其中，所述比较的步骤包括将代表所关注的帧区域的内容的一个或更多个签名与代表要与所关注的帧区域比较的所述帧区域的内容的一个或更多个签名进行比较。11.根据权利要求10所述的方法，其中，各签名代表所关注的帧区域的子区域的内容。12.根据前述权利要求中任一项所述的方法，其中，通过将所述经解码源视频帧与一个或更多个其他源帧合成来处理所述经解码源视频帧。13.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：确定电子显示器是否支持所述源视频帧的编码格式，以及当确定所述电子显示器不支持所述编码格式时，对所述输入视频帧的所述区域进行编码，以用作用于传输到所述电子显示器的所述经编码输出视频帧的与所述输入视频帧的所述区域对应的区域。14.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：确定所述源视频帧的所述区域和所述输出视频帧的所述区域是否具有相同的分辨率和色彩深度，以及当确定所述分辨率和色彩深度不同时，对所述输入视频帧的所述区域进行编码，以用作用于传输到所述电子显示器的所述经编码输出视频帧的与所述输入视频帧的所述区域对应的区域。15.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：确定关于先前和随后输出视频帧是否要以与所述源视频帧相同的顺序对所述输出视频帧进行排序；以及当确定所述顺序不同时，对所述输入视频帧的所述区域进行编码，以用作用于传输到所述电子显示器的所述经编码输出视频帧的与所述输入视频帧的所述区域对应的区域。16.一种用于生成用于传输到电子显示器的经编码输出视频帧的系统，该系统包括：视频解码器，该视频解码器能够对经编码源视频帧进行解码以获得经解码源视频帧；处理引擎，该处理引擎能够处理所述经解码源视频帧以获得输入视频帧；以及视频编码器，该视频编码器能够对所述输入视频帧进行编码以获得用于传输到电子显示器的输出视频帧；并且该系统还包括处理电路，该处理电路能够在所述系统从经编码源视频帧生成用于传输到电子显示器的经编码输出视频帧时：将从经解码源视频帧获得的输入视频帧的区域与所述经解码源视频帧的区域进行比较，以确定所述经解码源视频帧的所述区域是否类似于所述输入视频帧的所述区域；并且当确定所述经解码源视频帧的所述区域类似于所述输入视频帧的所述区域时，使用经编码源视频帧的与所述经解码源视频帧的所述区域对应的区域作为用于传输的所述经编码输出视频帧的与所述输入视频帧的所述区域对应的区域。17.根据权利要求16所述的系统，其中，所述经解码源视频帧要基于另一个经解码源视频帧来解码；并且所述处理电路还能够：在使用所述经编码源视频帧的所述区域作为所述第一输出视频帧的所述区域之前，将另一个输入视频帧的与所述输入视频帧的所述区域对应的区域和所述另一个经解...

【专利技术属性】
技术研发人员：D·克罗克斯福德，T·库克西，D·曼塞尔，
申请(专利权)人：ARM有限公司，
类型：发明
国别省市：英国;GB