使用关键帧库的高级视频代码化制造技术

一种方法包括：基于包括至少一个视频帧的接收到的视频流生成关键帧和帧间预测帧中的至少一个，帧间预测帧是使用来自关键帧的信息生成的；确定关键帧是否被存储在接收设备处；基于关键帧是否被存储在接收设备处，选择视频数据作为关键帧或表示关键帧的关键帧标识符中的一个；以及传送视频数据和帧间预测帧中的至少一个。至少一个。至少一个。

【技术实现步骤摘要】
【国外来华专利技术】使用关键帧库的高级视频代码化


[0001]实施例涉及压缩和解压缩视频。

技术介绍

[0002]编码器能够被用于压缩视频(例如，视频帧)和/或图像。与原始图像或帧相比，压缩视频帧和/或图像具有减少的比特数。解码器能够被用于对压缩帧和/或图像进行解压缩，以重建原始视频帧和/或图像。一些编码器能够使用编码器/解码器标准(例如，AVC、H.264、MPEG
‑
4等)。

技术实现思路

[0003]在一般方面，设备、系统、非暂时性计算机可读介质(其上存储有能够在计算机系统上执行的计算机可执行程序代码)和/或方法能够利用包括以下步骤的方法来执行过程：基于包括至少一个视频帧的接收到的视频流生成关键帧和帧间预测帧中的至少一个，该帧间预测帧是使用来自关键帧的信息生成的，确定关键帧是否被存储在接收设备处，基于关键帧是否被存储在接收设备处，选择视频数据作为关键帧或表示关键帧的关键帧标识符中的一个，并且传送视频数据和帧间预测帧中的至少一个。
[0004]在一般方面，流式传输设备包括：控制器，其被配置成确定关键帧是否被存储在接收设备处；选择电路，其被配置成基于确定关键帧是否被存储在接收设备处来选择视频数据作为关键帧或表示关键帧的关键帧标识符中的一个；以及发射器，其被配置成传送视频数据和帧间预测帧中的至少一个。
[0005]在一般方面，编码器包括：压缩帧生成器，其被配置成基于包括至少一个帧的接收到的视频流生成关键帧和帧间预测帧中的至少一个，该帧间预测帧是使用来自关键帧的信息生成的；控制器，其被配置成确定关键帧是否被存储在接收设备处，选择电路，其被配置成基于关键帧是否被存储在接收设备处而选择视频数据作为关键帧或表示关键帧的关键帧标识符中的一个；以及发射器，其被配置成传送视频数据和帧间预测帧中的至少一个。
[0006]实施方式能够包括一个或多个以下特征。例如，帧间预测帧能够是前向预测帧或双向预测帧中的一个。该方法能够进一步包括存储与至少一个关键帧相关联的信息。确定关键帧是否被存储在接收设备处能够包括确定视频输入包括关键帧标识符。确定关键帧是否被存储在接收设备处能够包括确定关键帧是用户界面的图形元素，并且关键帧标识符与用户界面的图形元素相关联。确定关键帧是否被存储在接收设备处能够包括比较与关键帧相关联的至少一个像素颜色，并且确定关键帧存储在接收设备处中的一项基于颜色差值标准或者基于至少一个像素颜色的比较的均方误差计算。确定关键帧是否被存储在接收设备处能够包括基于关键帧生成直方图，并将生成的直方图与存储的直方图进行比较。
[0007]确定关键帧是否被存储在接收设备处能够包括基于关键帧生成签名，并将所生成的签名与存储的签名进行比较。确定关键帧是否被存储在接收设备处能够包括使用经训练的机器学习模型基于关键帧生成至少一个对象分类和对象位置，并且将该至少一个对象分
类和对象位置与跟存储在接收设备处的关键帧相关联的存储的对象分类和对象位置进行比较。如果关键帧没有被存储在接收设备中，则该方法能够进一步包括生成对应于关键帧的关键帧标识符，并且使得关键帧和关键帧标识符被传送到接收设备。
[0008]该流式传输设备能够接收包括至少一个帧的视频流，并且能够进一步包括编码器，该编码器被配置成基于该至少一个帧生成关键帧和帧间预测帧中的至少一个，该帧间预测帧是使用来自关键帧的信息生成的。该流式传输设备能够进一步包括被配置成存储与至少一个关键帧相关联的信息的存储器。
[0009]在一般方面，设备、系统、非暂时性计算机可读介质(其上存储有能够在计算机系统上执行的计算机可执行程序代码)和/或方法能够利用包括以下步骤的方法来执行过程：接收包括视频数据和帧间预测帧中的至少一个的视频流，视频数据是关键帧和表示关键帧的关键帧标识符中的至少一个，基于该视频数据选择关键帧或存储的关键帧中的一个，并且基于关键帧、存储的关键帧和帧间预测帧中的至少一个生成用于在回放设备的显示器上显示的视频帧。
[0010]在一般方面，回放设备包括：接收器，其被配置成接收包括视频数据和帧间预测帧中的至少一个的视频流，该视频数据是关键帧和表示关键帧的关键帧标识符中的至少一个；以及选择电路，其被配置成基于该视频数据选择关键帧或存储的关键帧中的一个。
[0011]在一般方面，回放设备包括：接收器，其被配置成接收包括视频数据和帧间预测帧中的至少一个的视频流，该视频数据是关键帧和表示关键帧的关键帧标识符中的至少一个；以及解码器，其包括选择电路和解压缩模块，该选择电路被配置成基于视频数据选择关键帧或存储的关键帧中的一个，并且该解压缩模块被配置成基于关键帧、存储的关键帧和帧间预测帧中的至少一个生成用于在回放设备的显示器上显示的视频帧。
[0012]实施方式能够包括一个或多个以下特征。例如，该方法能够进一步包括从包括至少一个存储的关键帧的库中选择存储的关键帧。该方法能够进一步包括确定视频数据是否包括关键帧和关键帧标识符，并且响应于确定视频数据包括关键帧和关键帧标识符，将与关键帧标识符相关的关键帧存储在关键帧库中。该方法能够进一步包括确定视频数据是否包括关键帧而没有关键帧标识符，并且响应于确定视频数据包括关键帧而没有关键帧标识符，生成关键帧标识符，并且将与关键帧标识符相关的关键帧存储在关键帧库中。
[0013]该方法能够进一步包括确定视频数据是否包括关键帧标识符而没有关键帧，并且响应于确定视频数据包括关键帧而没有关键帧标识符，基于关键帧标识符从关键帧库中读取关键帧。该方法能够进一步包括：响应于确定视频数据包括关键帧标识符而没有关键帧，确定视频数据是否包括关键帧标识符或关键帧中的一个；基于关键帧标识符从关键帧库中读取关键帧；并且使得选择从关键帧库中读取的关键帧；以及响应于确定视频数据包括关键帧而没有关键帧标识符，使得选择视频数据中包括的关键帧。
[0014]回放设备能够进一步包括解码器，该解码器被配置成基于关键帧、存储的关键帧和帧间预测帧中的至少一个生成用于在回放设备的显示器上显示的视频帧。该回放设备能够进一步包括控制器，该控制器被配置成使得选择电路基于视频数据和包括至少一个存储的关键帧的库来选择关键帧或存储的关键帧中的一个。
[0015]在一般方面，设备、系统、非暂时性计算机可读介质(其上存储有能够在计算机系统上执行的计算机可执行程序代码)和/或方法能够利用包括以下步骤的方法来执行过程：
基于包括至少一个视频帧的接收到的视频流生成关键帧和帧间预测帧中的至少一个，该帧间预测帧是使用来自关键帧的信息生成的，确定关键帧是否被存储在接收设备处，基于关键帧是否被存储在接收设备处，选择视频数据作为关键帧或表示关键帧的关键帧标识符中的一个，传送视频数据和帧间预测帧中的至少一个，接收包括视频数据和帧间预测帧中的至少一个的视频流，基于该视频数据选择关键帧或存储的关键帧中的一个，并且基于关键帧、存储的关键帧和帧间预测帧中的至少一个生成用于在回放设备的显示器上显示的视频帧。
附图说明
[0016]从下面给出的详细描述和附图中，示例实本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种流式传输设备，包括：控制器，所述控制器被配置成确定关键帧是否被存储在接收设备处；选择电路，所述选择电路被配置成基于确定所述关键帧是否被存储在所述接收设备处来选择视频数据作为所述关键帧或表示所述关键帧的关键帧标识符中的一个；以及发射器，所述发射器被配置成传送所述视频数据和帧间预测帧中的至少一个。2.根据权利要求1所述的流式传输设备，进一步包括：接收包括至少一个帧的视频流；以及编码器，所述编码器被配置成基于所述至少一个帧生成所述关键帧和所述帧间预测帧中的至少一个，所述帧间预测帧是使用来自所述关键帧的信息生成的。3.根据权利要求1或权利要求2所述的流式传输设备，其中，所述帧间预测帧是前向预测帧或双向预测帧中的一个。4.根据权利要求1至权利要求3中的任一项所述的流式传输设备，进一步包括存储器，所述存储器被配置成存储与至少一个关键帧相关联的信息。5.根据权利要求1至权利要求4中的任一项所述的流式传输设备，其中，确定所述关键帧是否被存储在所述接收设备处包括：确定到所述编码器的视频输入包括所述关键帧标识符。6.根据权利要求1至权利要求4中的任一项所述的流式传输设备，其中，确定所述关键帧是否被存储在所述接收设备处包括：确定所述关键帧是用户界面的图形元素，并且所述关键帧标识符与所述用户界面的所述图形元素相关联。7.根据权利要求1至权利要求4中的任一项所述的流式传输设备，其中，确定所述关键帧是否被存储在所述接收设备处包括：比较与所述关键帧相关联的至少一个像素颜色，并且确定所述关键帧被存储在所述接收设备处之一是基于颜色差值标准或者基于所述至少一个像素颜色的所述比较的均方误差计算。8.根据权利要求1至权利要求4中的任一项所述的流式传输设备，其中，确定所述关键帧是否被存储在所述接收设备处包括：基于所述关键帧生成直方图，并将所生成的直方图与存储的直方图进行比较。9.根据权利要求1至权利要求4中的任一项所述的流式传输设备，其中，确定所述关键帧是否被存储在所述接收设备处包括：基于所述关键帧生成签名，并将所生成的签名与存储的签名进行比较。10.根据权利要求1至权利要求4中的任一项所述的流式传输设备，其中，确定所述关键帧是否被存储在所述接收设备处包括：使用经训练的机器学习模型，基于所述关键帧生成至少一个对象分类和对象位置，以及将所述至少一个对象分类和对象位置与和存储在所述接收设备处的关键帧相关联的存储的对象分类和对象位置进行比较。11.根据权利要求1至权利要求4中的任一项所述的流式传输设备，其中，如果所述关键帧没有被存储在所述接收设备处，则所述控制器进一步被配置成生成对应于所述关键帧的关键帧标识符，并且使得所述关键帧和所述关键帧标识符被传送到所述接收设备。
12.一种编码器，包括：压缩帧生成器，所述压缩帧生成器被配置成基于包括至少一个帧的接收的视频流来生成关键帧和帧间预测帧中的至少一个，所述帧间预测帧是使用来自所述关键帧的信息生成的；控制器，所述控制器被配置成确定所述关键帧是否被存储在接收设备处；选择电路，所述选择电路被配置成基于所述关键帧是否被存储在所述接收设备处，选择视频数据作为所述关键帧或表示所述关键帧的关键帧标识符中的一个；以及发射器，所述发射器被配置成传送所述视频数据和所述帧间预测帧中的至少一个。13.根据权利要求12所述的编码器，其中，所述帧间预测帧是前向预测帧或双向预测帧中的一个。14.根据权利要求12或权利要求13所述的编码器，进一步包括：存储器，所述存储器被配置成存储与至少一个关键帧相关联的信息。15.根据权利要求12至权利要求14中的任一项所述的编码器，其中，确定所述关键帧是否被存储在所述接收设备处包括：确定到所述编码器的视频输入包括所述关键帧标识符。16.根据权利要求12至权利要求14中的任一项所述的编码器，其中，确定所述关键帧是否被存储在所述接收设备处包括：确定所述关键帧是用户界面的图形元素，并且所述关键帧标识符与所述用户界面的所述图形元素相关联。17.根据权利要求12至权利要求14中的任一项所述的编码器，其中，确定所述关键帧是否被存储在所述接收设备处是比较与所述关键帧相关联的至少一个像素颜色，并且确定所述关键帧被存储在所述接收设备处之一是基于颜色差值标准或者基于所述至少一个像素颜色的所述比较的均方误差计算。18.根据权利要求12至权利要求14中的任一项所述的编码器，其中，确定所述关键帧是否被存储在所述接收设备处包括：基于所述关键帧生成直方图，并将所生成的直方图与存储的直方图进行比较。19.根据权利要求12至权利要求14中的任一项所述的编码器，其中，确定所述关键帧是否被存储在所述接收设备处包括：基于所述关键帧生成签名，并将所生成的签名与存储的签名进行比较。20.根据权利要求12至权利要求14中的任一项所述的编码器，其中，确定所述关键帧是否被存储在所述接收设备处包括：使用经训练的机器学习模型，基于所述关键帧生成至少一个对象分类和对象位置，以及将所述至少一个对象分类和对象位置与和存储在所述接收设备处的关键帧相关联的存储的对象分类和对象位置进行比较。21.根据权利要求12至权利要求14中的任一项所述的编码器，其中，如果所述关键帧没有被存储在所述接收设备处，则所述控制器进一步被配置成生成对应于所述关键帧的关键帧标识符，并且使得所述关键帧和所述关键帧标识符被传送到所述接收设备。22.一种方法，包括：基于包括至少一个视频帧的接收的视频流来生成关键帧和帧间预测帧中的至少一个，
所述帧间预测帧是使用来自所述关键帧的信息生成的；确定所述关键帧是否被存储在接收设备处；基于所述关键帧是否被存储在所述接收设备处，选择视频数据作为所述关键帧或表示所述关键帧的关键帧标识符中的一个；以及传送所述视频数据和所述帧间预测帧中的至少一个。23.根据权利要求22所述的方法，其中，所述帧间预测帧是前向预测帧或双向预测帧中的一个。24.根据权利要求22或权利要求23所述的方法，进一步包括：存储与至少一个关键帧相关联的信息。25.根据权利要求22至权利要求24中的任一项所述的方法，其中，确定所述关键帧是否被存储在所述接收设备处包括：确定视频输入包括所述关键帧标识符。26.根据权利要求22至权利要求24中的任一项所述的方法，其中，确定所述关键帧是否被存储在所述接收设备处包括：确定所述关键帧是用户界面的图形元素，并且所述关键帧标识符与所述用户界面的所述图形元素相关联。27.根据权利要求22至权利要求24中的任一项所述的方法，其中，确定所述关键帧是否被存储在所述接收设备处包括：比较与所述关键帧相关联的至少一个像素颜色，并且确定所述关键帧被存储在所述接收设备处之一是基于颜色差值标准或基于所述至少一个像素颜色的所述比较的均方误差计算。28.根据权利要求22至权利要求24中的任一项所述的方法，其中，确定所述关键帧是否被存储在所述接收设备处包括：基于所述关键帧生成直方图，并将所生成的直方图与存储的直方图进行比较。29.根据权利要求22至权利要求24中的任一项所述的方法，其中，确定所述关键帧是否被存储在所述接收设备处包括：基于所述关键帧生成签名，并将所生成的签名与存储的签名进行比较。30.根据权利要求22至权利要求24中的任一项所述的方法，其中，确定所述关键帧是否被存储在所述接收设备处包括：使用经训练的机器学习模型，基于所述关键帧生成至少一个对象分类和对象位置，以及将所述至少一个对象分类和对象位置与和存储在所述接收设备处的关键帧相关联的存储的对象分类和对象位置进行比较。31.根据权利要求22至权利要求24中的任一项所述的方法，其中，如果所述关键帧没有被存储在所述接收设备处，则所述方法包括：生成对应于所述关键帧的所述关键帧标识符；以及使得所述关键帧和所述关键帧标识符被传送到所述接收设备。32.一种包括存储在其上的指令的非暂时性计算机可读存储介质，当由至少一个处理器执行时，所述指令被配置成使...

【专利技术属性】
技术研发人员：杰罗尔德，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：