【技术实现步骤摘要】
本专利技术涉及一种基于多模态知识图谱的图像认知语义通信系统和方法，属于图像通信。
技术介绍
1、随着4k/8k流媒体、虚拟现实(vr)和智能监控等高分辨率视觉应用的蓬勃发展，视频与图像流量占当今ip流量的75％。然而，巨大的多媒体流量遇到了诸如延迟和网络拥塞等传输挑战，而这些挑战是传统通信技术难以解决的。实际上，视觉模态比文本模态更具信息性，因此，建立高压缩率下语义高精确传输技术尤为重要，它可以显著减少要传输的数据量，而不牺牲图像的语义保真度。如何获得高效的图像与视频压缩方法是一个关键性问题。
2、区别于更加注重符号传输的传统通信系统范式，语义通信是面向达意的语义传输，被认为是后香农时代突破传统通信系统技术瓶颈的关键。图像语义通信实际上并不追求对图像进行像素级别的恢复，其目的是在极高的压缩率下也要保证重建图像的语义保真度。
3、最近，很多研究工作开始考虑图像的语义通信，由于图像数据具有更丰富的语义，多媒体语义通信系统的设计至关重要。目前图像语义通信范式可分为三类：基于联合信源信道编码的语义通信、基于深度强化学习的...
【技术保护点】
1.一种基于多模态知识图谱的图像认知语义通信系统，其特征在于，所述系统包括图像语义提取模块、语编码模块、解码模块、图像重建模块和共享多模态知识图谱模块；
2.根据权利要求1所述的一种基于多模态知识图谱的图像认知语义通信系统，其特征在于，所述系统在发送端利用深度卷积神经网络提取目标图像的语义信息，并进一步将语义信息与多模态知识图谱中的实体节点匹配，通过仅传输图像语义信息，可大幅减少传输的码元，并且在接收端使用共享多模态知识图谱以及生成对抗网络从语义层面恢复原图像，所述系统通过将多模态知识图谱与语义通信相结合，使图像传输效率大幅提高，可靠性明显提升，并且具有良
【技术特征摘要】
1.一种基于多模态知识图谱的图像认知语义通信系统，其特征在于，所述系统包括图像语义提取模块、语编码模块、解码模块、图像重建模块和共享多模态知识图谱模块；
2.根据权利要求1所述的一种基于多模态知识图谱的图像认知语义通信系统，其特征在于，所述系统在发送端利用深度卷积神经网络提取目标图像的语义信息，并进一步将语义信息与多模态知识图谱中的实体节点匹配，通过仅传输图像语义信息，可大幅减少传输的码元，并且在接收端使用共享多模态知识图谱以及生成对抗网络从语义层面恢复原图像，所述系统通过将多模态知识图谱与语义通信相结合，使图像传输效率大幅提高，可靠性明显提升，并且具有良好的可解释性。
3.一种基于多模态知识图谱的图像认知语义通信系统的实现方法，其特征在于，所述方法包括...
【专利技术属性】
技术研发人员：吴伟，毛航涛，周福辉，吴启晖，王保云，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。