【技术实现步骤摘要】
本申请涉及通信，尤其涉及一种视频传输方法、视频重建方法及相关设备。
技术介绍
1、随着通信技术、多媒体处理技术的不断进步以及相互融合，视频数据量增加近千倍，远超过通信带宽增长速度而且多路高清视频的传输也需占用大量带宽资源，因此需要对视频数据进行高倍数压缩后传输。但是，高倍数压缩会导致图像和视频的质量降低，传输效果较差。
技术实现思路
1、本申请提供一种视频传输方法、视频重建方法及相关设备，以解决视频传输效果较差的问题。
2、第一方面，本申请实施例提供了一种视频传输方法，包括：
3、发送设备确定待压缩视频；
4、所述发送设备使用编码器提取所述待压缩视频的时空素描图，所述时空素描图用于表征视频的轮廓信息，视频中视频帧的像素的类别，以及所述视频帧的像素之间的关系；
5、所述发送设备对所述时空素描图进行压缩，以得到压缩特征图；
6、所述发送设备将所述压缩特征图发送至接收设备，所述压缩特征图用于所述接收设备使用解码器解码以重建所述待压缩视频。
7、第二方面，本申请实施例还提供一种视频重建方法，包括：
8、接收设备接收发送设备发送的压缩特征图，其中，所述压缩特征图由所述发送设备对时空素描图进行压缩得到，所述时空素描图由所述发送设备使用编码器对待压缩视频进行时空素描图提取得到，所述时空素描图用于表征视频的轮廓信息，视频中视频帧的像素的类别，以及所述视频帧的像素之间的关系；
9、所述接收设备使用解码器对
10、第三方面，本申请还提供一种视频传输装置，应用于发送设备，包括：
11、确定模块，用于确定待压缩视频；
12、提取模块，用于使用编码器提取所述待压缩视频的时空素描图，所述时空素描图用于表征视频的轮廓信息，视频中视频帧的像素的类别，以及所述视频帧的像素之间的关系；
13、压缩模块，用于对所述时空素描图进行压缩，以得到压缩特征图；
14、发送模块，用于将所述压缩特征图发送至接收设备，所述压缩特征图用于所述接收设备使用解码器解码以重建所述待压缩视频。
15、第四方面，本申请还提供一种视频重建装置，应用于接收设备，包括：
16、接收模块，用于接收发送设备发送的压缩特征图，其中，所述压缩特征图由所述发送设备对时空素描图进行压缩得到，所述时空素描图由所述发送设备使用编码器对待压缩视频进行时空素描图提取得到，所述时空素描图用于表征视频的轮廓信息，视频中视频帧的像素的类别，以及所述视频帧的像素之间的关系；
17、解码模块，用于使用解码器对所述压缩特征图进行解码，以重建所述待压缩视频。
18、第五方面，本申请实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤。
19、第六方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤。
20、本申请实施例中，所述发送设备通过提取待压缩视频的时空素描图，并将所述时空素描图进行压缩后传输至所述接收设备，所述接收设备可以使用解码器将所述压缩特征图进行解码，以重建所述待压缩视频，实现所述发送设备与所述接收设备之间的视频传输。并且，所述压缩特征图由所述时空素描图压缩得到，所述时空素描图用于表征视频的轮廓信息，视频中视频帧的像素的类别，以及所述视频帧的像素之间的关系，从而所述待压缩视频可以以所述时空素描图的压缩特征图的形式从所述发送设备传输至所述接收设备，实现视频压缩的同时，提升视频的传输效果。
本文档来自技高网...【技术保护点】
1.一种视频传输方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述编码器包括第一模型、第二模型和第三模型，所述时空素描图包括素描图、语义分割图和关系图；
3.如权利要求2所述的方法，其特征在于，所述发送设备对所述时空素描图进行压缩，以得到压缩特征图，包括：
4.如权利要求1至3中任一项所述的方法，其特征在于，所述编码器和所述解码器组成神经网络模型，且所述神经网络模型通过如下方式训练得到：
5.如权利要求4所述的方法，其特征在于，所述确定所述样本视频与所述重建视频的损失值，包括如下至少一项：
6.一种视频重建方法，其特征在于，包括：
7.如权利要求6所述的方法，其特征在于，所述编码器包括第一模型、第二模型和第三模型，所述时空素描图包括素描图、语义分割图和关系图；
8.如权利要求6所述的方法，其特征在于，所述接收设备使用解码器对所述压缩特征图进行解码，以重建所述待压缩视频，包括：
9.如权利要求6至8中任一项所述的方法，其特征在于，所述编码器和所述解码器组成神经网络模型
10.如权利要求9所述的方法，其特征在于，所述确定所述样本视频与所述重建视频的损失值，包括如下至少一项：
11.一种视频传输装置，应用于发送设备，其特征在于，包括：
12.一种视频重建装置，应用于接收设备，其特征在于，包括：
13.一种电子设备，其特征在于，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，
14.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法中的步骤，或实现如权利要求6至10中任一项所述的方法中的步骤。
...【技术特征摘要】
1.一种视频传输方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述编码器包括第一模型、第二模型和第三模型，所述时空素描图包括素描图、语义分割图和关系图；
3.如权利要求2所述的方法，其特征在于，所述发送设备对所述时空素描图进行压缩，以得到压缩特征图，包括：
4.如权利要求1至3中任一项所述的方法，其特征在于，所述编码器和所述解码器组成神经网络模型，且所述神经网络模型通过如下方式训练得到：
5.如权利要求4所述的方法，其特征在于，所述确定所述样本视频与所述重建视频的损失值，包括如下至少一项：
6.一种视频重建方法，其特征在于，包括：
7.如权利要求6所述的方法，其特征在于，所述编码器包括第一模型、第二模型和第三模型，所述时空素描图包括素描图、语义分割图和关系图；
8.如权利要求6所述的方法，其特征在于，所述接收...
【专利技术属性】
技术研发人员：段一平，陶晓明，刘帅，杜冰，徐芙蓉，丁海煜，张龙，程锦霞，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。