自适应视频语义通信的方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种自适应视频语义通信的方法、装置、电子设备及存储介质。自适应视频语义通信方法包括步骤：S1、视频数据预处理，以生成初始比特率的原始视频块；S2、视频帧提取，将提取的视频帧与初始比特率，输入语义编码器进行语义提取和编码；S3、视频语义提取与编码，采用基于Swin Transformer的多比特率语义编码器分析视频，提取语义信息进行编码，输出编码信息；S4、通信网络传输，基于Actor‑Critic的ABR算法依据网络状态动态调整传输速率，定义视频语义通信体验质量QoE判断传播质量，指导网络优化；S5、采用多比特率视频语义解码，保留语义信息同时减少帧质量损失；将重建的帧组合成视频。依据本发明专利技术的自适应比特率视频语义通信方法能保证低传输延迟和高准确性语义。

【技术实现步骤摘要】

本专利技术涉及通信，具体而言，涉及一种自适应视频语义通信的方法、装置、电子设备及存储介质。

技术介绍

1、未来无线网络需要支持万物互联(ioe)，通过无处不在的连接和传感技术提供终极的用户体验。在智能家居、自动驾驶等实际场景中，无线设备必须传输海量数据(文本、音频、视频)以实现无所不在的感知。然而，由于视频数据量巨大，对于频谱资源有限的通信网络来说，支持普适视频传输是很大的开销，传统通信方式，诸如基于tcp、udp协议的视频传输、流媒体视频传输、对等网络(p2p)视频传输面临着巨大挑战。因此，促进视频语义通信技术的实现是十分必要的，该技术可以通过传输小尺寸视频语义信息来减少传输的数据量。

2、现有技术中，语义通信技术被应用至文本、音频传输，通过用与传输文本、音频相关的语义信息代替原始数据传输，减少对带宽的占用，目前此类方式也在逐渐被视频传输方案使用。中国专利：cn112839382a，一种车联网中视频语义驱动的通信和计算资源联合分配方法，优化了车辆端到边缘服务器端的频谱分配和边缘服务器计算资源分配，但并未联合考虑通信资源限制下的资源分配；中国专本文档来自技高网...

【技术保护点】

1.一种自适应视频语义通信的方法，包括如下步骤：

2.如权利要求1所述的自适应视频语义通信的方法，其中，S3步骤中包括如下步骤：

3.如权利要求1所述的自适应视频语义通信的方法，其中，步骤S4中包括如下步骤：

4.如权利要求1所述的自适应视频语义通信的方法，其中，步骤S44和S46使用作为状态值函数，表示所有动作的平均值；然后，Vπ(Sn)通过以加权的神经网络来近似，其由下式给出：

5.如权利要求1所述的自适应视频语义通信的方法，其中，步骤S5中采用基于卷积神经网络多比特率语义解码器，接收器从传输的表示中重建语义特征，实现原始帧的最大语义信...

【技术特征摘要】

1.一种自适应视频语义通信的方法，包括如下步骤：

2.如权利要求1所述的自适应视频语义通信的方法，其中，s3步骤中包括如下步骤：

3.如权利要求1所述的自适应视频语义通信的方法，其中，步骤s4中包括如下步骤：

4.如权利要求1所述的自适应视频语义通信的方法，其中，步骤s44和s46使用作为状态值函数，表示所有动作的平均值；然后，vπ(sn)通过以加权的神经网络来近似，其由下式给出：

5.如权利要求1所述的自适应视频语义通信的方法，其中，步骤s5中采用基于卷积神经网络多比特率语义解码器，接收器从传输的表示中重建语义特征，实现原始帧的最大语义信息恢复；然后，使用解码的语义特征重建分割帧，在保留语义信息的同时最大限度地减少帧质量损失。

6.一...

【专利技术属性】
技术研发人员：李畅，陈美，马钰璐，倪俊峰，张新，王光宇，
申请(专利权)人：号百信息服务有限公司，
类型：发明
国别省市：