【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于p、b帧的视频压缩方法、装置及可读存储介质。
技术介绍
1、视频压缩，又称视频编码，其目的在于消除视频信号之间的冗余信息，从而实现视频内容的高效存储和传输。近年来，超高清视频内容呈现爆炸式增长，而存储以及带宽的提升则较为有限，因而实现更高效的视频压缩算法有着重要意义。
2、目前，视频压缩算法仍然以传统的视频压缩算法如h.264、h.265等为主，其编码框架及编码工具的局部优化已经遇到研究瓶颈，难以满足更高压缩率的要求。基于深度学习的视频压缩方法成为编码领域的研究热点，其能够在率失真损失函数的指导下以端到端的方式对编码框架中的各个模块及工具进行整体优化，从而实现更优的压缩性能。目前所采用的深度学习视频压缩方法，主要针对单一帧类型进行设计，如p帧压缩或b帧压缩，在编码帧类型上灵活性不足，难以满足不同场景的应用需求。
3、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供一种基于p、b帧的视频压缩方法、装置及可读存储介质，旨在解决目前的深度学习视频压缩针对单一帧类型进行压缩而难以适用于不同场景的技术问题。
2、为实现上述目的，本专利技术提供一种基于p、b帧的视频压缩方法，所述基于p、b帧的视频压缩方法包括以下步骤：
3、基于各个训练样本中的非关键帧，确定各个训练样本对应的帧间预测帧；
4、在训练阶段获取各个训练样本对
5、获取待压缩视频中各个图像组，基于各个图像组对应的运动信息，确定各个图像组对应的目标帧类型，其中，所述目标帧类型包括p帧以及b帧；
6、基于所述目标帧类型对应的预测结构，分别通过所述目标编码框架对各个图像组进行p帧编码和/或b帧编码，以获得目标压缩视频。
7、进一步地，所述基于各个训练样本中的非关键帧，确定各个训练样本对应的帧间预测帧的步骤包括：
8、若当前非关键帧为p帧，则将所述当前非关键帧对应的前向相邻的两个解码帧作为两个参考帧；
9、若当前非关键帧为b帧，则将所述当前非关键帧对应的双向分层结构下邻近的两个解码帧作为两个参考帧；
10、基于所述参考帧，确定各个训练样本对应的帧间预测帧。
11、进一步地，所述基于所述参考帧，确定各个训练样本对应的帧间预测帧的步骤包括：
12、对当前非关键帧和两个参考帧进行运动估计获得两组运动信息，并进行运动补偿得到两个预测帧；
13、将所述前非关键帧、两组运动信息以及两个预测帧输入运动编码器，获得编码信息；
14、将所述编码信息输入解码端，通过解码端对编码信息进行熵解码及反变换，获得解码运动信息和加权权重；
15、基于所述加权权重对两个预测帧进行加权，获得所述帧间预测帧。
16、进一步地，所述训练阶段包括单帧阶段，所述在训练阶段获取各个训练样本对应的p帧以及b帧，并基于各个训练样本对应的帧间预测帧、p帧以及b帧更新编码框架的参数，以获得目标编码框架的步骤包括：
17、在每个训练样本中抽取3帧，将3帧中第1帧和第3帧作为两个第一参考帧、第2帧作为第一b帧，基于第一参考帧以及帧间预测帧，通过编码框架对第一b帧进行编码，获得编码后的第一b帧；
18、将3帧中第1帧和第2帧作为两个第二参考帧，将第3帧作为第一p帧，基于第二参考帧以及帧间预测帧，通过编码框架对第一p帧进行编码，获得编码后的第一p帧；
19、获取编码后的第一b帧以及编码后的第一p帧对应的第一损失函数，基于所述第一损失函数更新所述编码框架的参数，以获得目标编码框架。
20、进一步地，所述训练阶段包括多帧阶段，所述基于所述第一损失函数更新所述编码框架的参数，以获得目标编码框架的步骤包括：
21、基于所述第一损失函数更新所述编码框架的参数，以获得更新后的编码框架；
22、在每个训练样本中抽取7帧，将7帧中第1帧和第5帧作为两个第三参考帧，第2、3、4帧作为第二b帧，基于第三参考帧以及帧间预测帧，通过更新后的编码框架对第二b帧进行编码，获得编码后的第二b帧；
23、将7帧中第3帧和第4帧作为两个第四参考帧，第5、6、7帧作为第二p帧，基于第四参考帧以及帧间预测帧，通过更新后的编码框架对第二p帧进行编码，获得编码后的第二p帧；
24、获取编码后的第二b帧以及编码后的第二p帧对应的第二损失函数，基于所述第二损失函数更新所述更新后的编码框架的参数，以获得目标编码框架。
25、进一步地，所述基于各个图像组对应的运动信息，确定各个图像组对应的目标帧类型，其中，所述目标帧类型包括p帧以及b帧的步骤包括：
26、对于每一个图像组，获取所述图像组中目标帧对应的运动信息，基于所述运动信息确定所述目标帧中各个像素点对应的平均绝对水平偏移量以及平均绝对垂直偏移量；
27、基于所述目标帧中水平方向像素点的第一数量、垂直方向像素点的第二数量、平均绝对水平偏移量以及平均绝对垂直偏移量，确定所述图像组对应的运动复杂度因子；
28、基于所述运动复杂度因子，确定所述图像组对应的目标帧类型。
29、进一步地，所述基于所述运动复杂度因子，确定所述图像组对应的目标帧类型的步骤包括：
30、若所述运动复杂度因子大于预设阈值，则确定所述图像组对应的目标帧类型为p帧；
31、若所述运动复杂度因子小于或等于预设阈值，则确定所述图像组对应的目标帧类型为b帧。
32、进一步地，所述基于所述目标帧类型对应的预测结构，分别通过所述目标编码框架对各个图像组进行p帧编码和/或b帧编码的步骤包括：
33、对于目标帧类型为p帧的图像组，通过所述目标编码框架基于串行前向预测结构对所述图像组进行p帧编码；
34、对于目标帧类型为b帧的图像组，通过所述目标编码框架基于分层双向预测结构对所述图像组进行b帧编码。
35、此外，为实现上述目的，本专利技术还提供一种基于p、b帧的视频压缩装置，所述基于p、b帧的视频压缩装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于p、b帧的视频压缩程序，所述基于p、b帧的视频压缩程序被所述处理器执行时实现前述的基于p、b帧的视频压缩方法的步骤。
36、此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有的视频压缩程序，所述基于p、b帧的视频压缩程序被处理器执行时实现前述的基于p、b帧的视频压缩方法的步骤。
37、本专利技术通过基于各个训练样本中的非关键帧，确定各个训练样本对应的帧间预测帧；接着，在训练阶段获取各个训练样本对应的p帧以及b帧，并基于各个训练样本对本文档来自技高网...
【技术保护点】
1.一种基于P、B帧的视频压缩方法，其特征在于，所述基于P、B帧的视频压缩方法包括以下步骤：
2.如权利要求1所述的基于P、B帧的视频压缩方法，其特征在于，所述基于各个训练样本中的非关键帧，确定各个训练样本对应的帧间预测帧的步骤包括：
3.如权利要求2所述的基于P、B帧的视频压缩方法，其特征在于，所述基于所述参考帧，确定各个训练样本对应的帧间预测帧的步骤包括：
4.如权利要求1所述的基于P、B帧的视频压缩方法，其特征在于，所述训练阶段包括单帧阶段，所述在训练阶段获取各个训练样本对应的P帧以及B帧，并基于各个训练样本对应的帧间预测帧、P帧以及B帧更新编码框架的参数，以获得目标编码框架的步骤包括：
5.如权利要求4所述的基于P、B帧的视频压缩方法，其特征在于，所述训练阶段包括多帧阶段，所述基于所述第一损失函数更新所述编码框架的参数，以获得目标编码框架的步骤包括：
6.如权利要求1所述的基于P、B帧的视频压缩方法，其特征在于，所述基于各个图像组对应的运动信息，确定各个图像组对应的目标帧类型，其中，所述目标帧类型包括P帧以及B帧
7.如权利要求6所述的基于P、B帧的视频压缩方法，其特征在于，所述基于所述运动复杂度因子，确定所述图像组对应的目标帧类型的步骤包括：
8.如权利要求1至7任一项所述的基于P、B帧的视频压缩方法，其特征在于，所述基于所述目标帧类型对应的预测结构，分别通过所述目标编码框架对各个图像组进行P帧编码和/或B帧编码的步骤包括：
9.一种基于P、B帧的视频压缩装置，其特征在于，所述基于P、B帧的视频压缩装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于P、B帧的视频压缩程序，所述基于P、B帧的视频压缩程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于P、B帧的视频压缩方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有的视频压缩程序，所述基于P、B帧的视频压缩程序被处理器执行时实现如权利要求1至8中任一项所述的基于P、B帧的视频压缩方法的步骤。
...【技术特征摘要】
1.一种基于p、b帧的视频压缩方法，其特征在于，所述基于p、b帧的视频压缩方法包括以下步骤：
2.如权利要求1所述的基于p、b帧的视频压缩方法，其特征在于，所述基于各个训练样本中的非关键帧，确定各个训练样本对应的帧间预测帧的步骤包括：
3.如权利要求2所述的基于p、b帧的视频压缩方法，其特征在于，所述基于所述参考帧，确定各个训练样本对应的帧间预测帧的步骤包括：
4.如权利要求1所述的基于p、b帧的视频压缩方法，其特征在于，所述训练阶段包括单帧阶段，所述在训练阶段获取各个训练样本对应的p帧以及b帧，并基于各个训练样本对应的帧间预测帧、p帧以及b帧更新编码框架的参数，以获得目标编码框架的步骤包括：
5.如权利要求4所述的基于p、b帧的视频压缩方法，其特征在于，所述训练阶段包括多帧阶段，所述基于所述第一损失函数更新所述编码框架的参数，以获得目标编码框架的步骤包括：
6.如权利要求1所述的基于p、b帧的视频压缩方法，其特征在于，所述基于各个图像组对应的运动信息，确定各...
【专利技术属性】
技术研发人员：王荣刚，杨佳宇，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。