【技术实现步骤摘要】
基于语义信息的可分层视频编码方法、装置及产品
[0001]本专利技术实施例涉及视频编解码
，尤其涉及一种基于语义信息的可分层视频编码方法、装置及产品。
技术介绍
[0002]可分层视频编码是一种将视频流分割为多层不同分辨率、质量或帧率的码流的技术，旨在实现用户在不同网络条件、不同终端算力条件下的差异化视频编码。
[0003]利用可分层视频编码方法可以通过一次编码产生不同帧率、分辨率或图像质量的多层码流，在解码端进行自适应的调整得到对应分层的重建视频。可分层视频编码方法在视频监控、视频通信等领域广泛应用。现有的可分层视频编码方法通常分为三类：时域分层、空间分层和质量分层。
[0004]其中，时域可分层视频编码方法具体为：对于不同的视频层使用不同的帧率，在带宽受限情况下只传输基本层帧，帧率较低；在带宽增加情况下，可传输基本层帧+增强层帧，帧率较高。
[0005]空域可分层编码方法具体为：对原始视频帧进行多空间分辨率分解，在带宽有限情况下传输空域基本层，分辨率低；随着带宽增加，可传输空域增强层，分辨率...
【技术保护点】
【技术特征摘要】
1.一种基于语义信息的可分层视频编码方法，其特征在于，应用于编码端，所述方法包括：获取目标码率和视频流图像数据；将所述目标码率和所述视频流图像数据输入预先训练的语义分层网络的编码器，所述编码器基于所述目标码率对所述视频流图像数据进行分层编码，得到所述视频流图像数据包括的每一帧视频图像对应的语义单元层数据、背景层数据和语义增强层数据，所述语义增强层数据用于对语义单元层数据针对的前景目标区域进行增强；将所述语义单元层数据、背景层数据、和语义增强层数据基于熵编码传输至解码端；所述解码端用于接收所述语义单元层数据、背景层数据和语义增强层数据，并基于预先训练的语义分层网络的解码器对所述语义单元层数据和背景层数据进行重建、或者基于预先训练的语义分层网络的解码器对所述语义单元层、背景层、和语义增强层进行重建，得到所述视频流图像数据。2.根据权利要求1所述的基于语义信息的可分层视频编码方法，其特征在于，所述方法还包括：判断当前帧视频图像数据对应的背景层数据和上一帧视频图像数据对应的背景层数据的相似度；将所述语义单元层数据、背景层数据和语义增强层数据基于熵编码传输至解码端，包括：在所述相似度小于预设阈值的情况下，将当前帧视频图像数据对应的背景层数据、语义单元层数据和语义增强层数据基于熵编码传输至解码端；在相似度不小于预设阈值的情况下，将当前帧视频图像数据对应的语义单元层数据和语义增强层数据基于熵编码传输至解码端。3.根据权利要求1所述的基于语义信息的可分层视频编码方法，其特征在于，所述预先训练的语义分层网络，是以样本原始图像数据和样本目标码率为输入、样本重建图像数据为输出对预设网络进行训练得到的；所述预设网络包括：编码器和解码器，所述编码器用于基于样本原始图像数据和样本目标码率输出样本背景层数据、样本语义单元层数据和样本语义增强层数据，所述解码器用于基于编码器输出的样本背景层数据、样本语义单元层数据和样本语义增强层数据得到样本重建图像、或者基于背景层数据、样本语义单元层数据得到样本重建图像。4.根据权利要求3所述的基于语义信息的可分层视频编码方法，其特征在于，在所述预设网络的训练过程中，损失函数采用下式：；；；)
‑
b；其中，表示输入编码器的样本原始图像数据，表示解码器输出的样本重建图像数据；
表示输入编码器的样本原始图像数据的前景目标区域，表示解码器输出的样本重建图像数据的前景目标区域，表示编码器输出的样本语义增强层数据，表示编码器输出的语义单元层数据，分别表示语义单元层数据和语义增强层数据所占权重，b表示样本目标码率。5.根据权利要求1所述的基于语义信息的可分层视频编码方法，其特征在于，所述编码器中包括码率早停单元，所述编码器基于所述目标码率对所述视频流图像数据进行分层编码，包括：所述编码器基于码率早停单元根据所述目标码率和当前特征层判断是否跳过下一个卷积模块，以对所述视频流图像数据进行分层编码。6...
【专利技术属性】
技术研发人员：程宝平，陶晓明，汤成，谢小燕，付涛，
申请(专利权)人：中移杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。