一种多模态信源联合编码方法技术

一种多模态信源联合编码方法，先将多个模态信源经过相应第一编码器提取特征去除每个模态信号内部冗余，得到对应的特征图；然后将多组特征图连接起来输入第二编码器，解耦为共性特征图和个性特征图；共性特征图表示不同模态信源之间的共同部分，个性特征图表示每个模态信源所独有的特征；最后将多个模态信源的个性特征图和共性特征图经过相应解码器解码并重建相应的模态信源，即分别经过熵编码，转换为二进制码流进行存储或者传输；在解码端二进制码流进行熵解码后分别经过相应的解码器恢复得到相应的模态信源；本发明专利技术利用不同信源之间的相关性，减少相关信息的重复传输降低传输带宽，降低存储空间；解码端恢复出不同模态信源，具有模态可伸缩性。具有模态可伸缩性。具有模态可伸缩性。

【技术实现步骤摘要】
一种多模态信源联合编码方法


[0001]本专利技术涉及信源编码
，具体涉及一种多模态信源联合编码方法。

技术介绍

[0002]信源编码作为一种基础技术，被广泛应用于各个领域。信源编码是信息时代多媒体技术和互联网技术结合的产物，旨在允许一定失真或者不允许失真前提下，用最少的比特表示信源。高效率的信源编码技术可以在有限带宽下大大提升解码后的信源质量，降低存储空间。例如，根据输入的不同目前有文本压缩、图像压缩(如PNG，BMP，JPEG，BPG，WEBP等压缩标准)、视频压缩(如H.264/AVC， H.265/HEVC，H.266/VVC，VP9，AV1，AVS1，AVS2，AVS3等)、音频编码(如AAC等)等等，这些标准有一个共同的特点，只针对单一种类的输入，例如文本压缩只针对文本输入，图像压缩只针对图像，视频压缩针对图像或者视频，音频编码只针对音频输入，无法对其他形式的进行处理，即便处理也需要经过前处理，而且效率低下。例如，视频压缩编码标准无法直观对文本进行压缩，尽管可以通过预处理将文本组织成视频形式，但是其内容与正常的视频差异大，无实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态信源联合编码方法，其特征在于，包括以下步骤：1)将多个模态信源经过相应第一编码器以提取特征去除每个模态信号内部冗余，得到对应的特征图；2)为了去除不同模态信号之间的相关性，将多组特征图连接起来输入第二编码器，解耦为共性特征图和个性特征图；共性特征图表示不同模态信源之间的共同部分，个性特征图表示每个模态信源所独有的特征；3)将多个模态信源的个性特征图和共性特征图经过相应解码器解码并重建相应的模态信源，即分别经过熵编码，转换为二进制码流进行存储或者传输；在解码端二进制码流进行熵解码后分别经过相...

【专利技术属性】
技术研发人员：宋晓丹，李甫，高大化，谢雪梅，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：