基于超分辨率重建技术的视频传输系统及传输方法技术方案

本发明专利技术涉及视频传输技术领域，具体为一种基于超分辨率重建技术的视频传输系统及对应的视频传输方法，该系统包括网关设备，用于连接客户端与视频服务器，网关设备能够接收视频并将接收到的视频进行超分辨率重建并将超分辨率重建后的视频传输给客户端。该方法包括以下步骤：视频接收步骤，网关设备接收视频服务器发送的视频数据；超分辨率重建步骤，网关设备对视频数据进行超分辨率重建；视频发送步骤，网关设备将超分辨率重建后的视频传输给客户端。本发明专利技术提供的基于超分辨率重建技术的视频传输系统及传输方法，能够解决现有的视频传输方式和传输系统由于公网带宽、流量以及费用的限制而带来的高质量视频传输成本高，用户体验差等问题。

Video transmission system and transmission method based on super resolution reconstruction technology

The invention relates to the field of video transmission technology, in particular to a video transmission system based on super-resolution reconstruction technology and a corresponding video transmission method. The system comprises a gateway device for connecting a client with a video server, and a gateway device capable of receiving video and super-resolution reconstruction of the received video. The video after super resolution reconstruction is transmitted to the client. The method includes the following steps: video receiving step, gateway device receives video data sent by video server; super-resolution reconstruction step, gateway device reconstructs video data super-resolution; video transmitting step, gateway device transmits super-resolution reconstructed video to client. The video transmission system and transmission method based on super-resolution reconstruction technology can solve the problems of high-quality video transmission cost and poor user experience caused by the limitation of bandwidth, traffic and cost of the public network in the existing video transmission mode and transmission system.

【技术实现步骤摘要】
基于超分辨率重建技术的视频传输系统及传输方法
本专利技术涉及视频传输
，具体而言，涉及一种基于超分辨率重建技术的视频传输系统及传输方法。
技术介绍
随着科学技术与社会经济的发展，显示技术和显示设备得到了长足的进步，以手机为例，短短几年的时间里，智能手机屏幕的分辨率实现了从720P到1080P，再从1080P到2K的飞跃，而且最新款的智能手机甚至已经开始使用4K分辨率的屏幕，高分辨率的屏幕理论上可以带给用户更加细腻的画质，给用户更好的体验，然而真实使用时，其效果却往往受其播放内容的分辨率的约束。很多人都有过以下体验：在商场看到的4K电视画面极佳，细节展现非常完美，但是买回家后看电视时却发现播放效果一般，这是因为商场播放的都是与电视分辨率匹配的高分辨率视频，而电台的画面分辨率通常较低，高分辨率的屏幕的优势和意义在播放低分辨率的视频时无法得到充分的体现。上述的问题可以通过两种方式进行解决，一种就是视频内容的提供商对外输出高分辨率的视频内容，从根源上解决问题；另一种就是客户端通过一些算法对视频的画质进行调节，以改善显示效果。受限于现有的技术条件，上述两种解决方案在具体实施会存在诸多的问题，首先更高质量的视频内容就意味着需要传输更多的数据内容，从内容提供商的角度来讲，他们的视频服务器不仅要消耗更多的带宽和流量，而且也要具备更强的处理能力，这毫无疑问会增加内容提供商的成本；从用户的角度来讲，即使提供商提供了高质量的视频内容，但是受现有公网的传输速度以及流量和费用等问题的限制，用户也只能接受低分辨率版本的视频内容；其次，现有的硬件设备尤其是移动设备以及智能电视设备的计算能力有限，客户端对视频画质的调节也仅限于采用简单的插值算法对低分辨视频内容进行采样以匹配显示设备的分辨率，效果较差，无法令人满意。
技术实现思路
本专利技术的目的之一是提供一种基于超分辨率重建技术的视频传输系统，能够解决现有的视频传输方式和传输系统受限于公网带宽和费用而存在的高质量视频传输成本高，进而影响用户体验的问题。为了解决上述技术问题，本专利提供如下技术方案：基于超分辨率重建技术的视频传输系统，包括：网关设备，所述网关设备用于连接客户端与视频服务器，所述网关设备用于接收视频服务器传输的视频并将接收到的视频进行超分辨率重建，所述网关设备还用于将超分辨率重建后的视频传输给客户端。本专利技术技术方案中，通过在视频服务器与客户端之间设置网关设备，并使用网关设备作为传递数据的中间部件，并且在转发视频服务器的视频数据之间，对视频数据进行超分辨率重建，然后转发给客户端，客户端既可以是用户的视频播放终端，如电视盒子、手机、电脑等，也可以是下一级的其他网络设备，如交换机、路由器等。视频服务器到网关设备之间通常使用公网传输数据，本专利技术技术方案中，视频服务器和网关设备之间依旧可以采用现有的传输方式，不需要增加服务器的带宽、流量或负载量，不会受到现有公网带宽和费用的限制，由于网关设备与客户端之间通常为局域网，如现在的家庭中，通常安装一个无线路由器来建立家庭局域网，供家中手机和电脑上网，其带宽速度通常足够局域网中用户去使用，免费且流量不受限制，因此网关设备可以输出高分辨率的视频数据给客户端，由客户端播放或传输，从而为用户提供更好的视频播放体验。与现有技术相比，本专利技术技术方案中，通过设置网关设备，可以在保持相同视频质量的前提下，降低视频服务器出口处的带宽和视频码流在公网即互联网传输的带宽和流量，有效地降低视频码流的带宽和流量消耗，减小服务器压力，降低视频内容提供商的运营成本，同时降低普通用户的网络流量成本，提高用户视频缓冲和播放的速度，减少由于带宽问题而引起的卡顿问题，提高视频画质，带给用户更好的使用体验。进一步，所述网关设备包括数据通信模块、视频解码模块、超分辨率重建模块，所述数据通信模块用于与视频服务器以及客户端进行数据通信，所述视频解码模块用于将从视频服务器接收到的视频进行解码，所述超分辨率重建模块用于对解码后的视频数据进行超分辨率重建。通过数据通信模块来接收视频服务器的视频数据，通过视频解码模块对视频数据进行解码，重建视频的图像数据，通过超分辨率重建模块，对图像进行超分辨率重建，最终生成超分辨率的视频数据。进一步，所述网关设备还包括视频编码模块，所述视频编码模块用于将超分辨率重建后的视频数据进行编码。通过视频编码模块对重建后的视频数据进行编码，便于传输给客户端。进一步，所述超分辨率重建模块包括卷积神经网络模块，所述卷积神经网络模块用于根据训练结果对视频数据进行超分辨率重建。利用卷积神经网络模块强大的学习能力，通过对卷积神经网络模块一定的训练后，能够解决传统超分辨率算法计算复杂度高，不能有效提取特征，实际应用代价大等缺点。进一步，所述网关设备为搭载了相应功能模块的路由器。路由器是日常最常见的网关设备，通过路由器来对视频数据进行超分辨率重建，可以为整个局域网内的终端设备提供视频超分辨率的服务。本专利技术还提供了一种基于超分辨率重建技术的视频传输方法，该方法包括以下步骤：视频接收步骤，网关设备接收视频服务器发送的视频数据；超分辨率重建步骤，网关设备对视频数据进行超分辨率重建；视频发送步骤，网关设备将超分辨率重建后的视频传输给客户端。进一步，所述超分辨率重建步骤包括以下步骤：S1：获取视频数据中一帧视频的数据并解码；S2：对该帧视频图像的宏块进行解码并重建图像；S3：对该重建后的宏块的图像进行超分辨率重建。名词解释：宏块是视频编码处理的基本单元，通常宏块大小为16x16个像素。该步骤中对宏块进行解码、重建图像和超分辨率重建步骤，以宏块作为最小的单元，各自独立，可以限制误码的扩散和传输。进一步，所述S2具体包括以下步骤：S2-1：判断前帧的类型，如果当前帧的类型为I帧，则对当前帧内所有的宏块进行完全解码并重建图像；如果当前帧的类型为B帧或P帧，则对当前帧内每一个宏块执行S2-2；S2-2包括以下步骤：S2-2-1：判断当前宏块的类型，如果当前宏块类型为帧内预测宏块，则执行S2-2-2；如果当前宏块类型为SKIP或Direct宏块，则执行S2-2-3；如果当前宏块类型为帧间预测宏块，则执行S2-2-4；S2-2-2：根据当前帧的数据内容直接对当前宏块进行解码并重建图像；S2-2-3：直接以该宏块对应的预测帧中对应的预测位置的重建图像作为该宏块的重建图像；S2-2-4：解码获取运动矢量和残差系数，判断残差系数是否小于给定阈值，若是，则采样运动矢量，直接以该宏块对应的预测帧中对应运动矢量位置的重建图像作为该宏块的重建图像；若否，则按照标准解码流程解码得到重建图像。名词解释：I帧又称帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码；P帧又称帧间预测编码帧，需要参考前面的帧才能解码；B帧又称双向预测编码帧，需要参考其前面和后面的帧才能解码。首先根据帧的类型对宏块进行区分，对于I帧，由于其可以独立解码，因而其内的所有宏块可以直接进行完全的解码并实现图像的重建；对于P帧和B帧，则需要针对宏块的具体预测类型进行编码，对于帧内预测宏块，其和I帧内的宏块一样，可以直接根据当前帧的数据内容直接对当前宏块进行解码并重建图像；对于SKIP类型或Direct模式的宏块，直接拷贝本文档来自技高网...

【技术保护点】
1.基于超分辨率重建技术的视频传输系统，其特征在于：包括：网关设备，所述网关设备用于连接客户端与视频服务器，所述网关设备用于接收视频服务器传输的视频并将接收到的视频进行超分辨率重建，所述网关设备还用于将超分辨率重建后的视频传输给客户端。

【技术特征摘要】
1.基于超分辨率重建技术的视频传输系统，其特征在于：包括：网关设备，所述网关设备用于连接客户端与视频服务器，所述网关设备用于接收视频服务器传输的视频并将接收到的视频进行超分辨率重建，所述网关设备还用于将超分辨率重建后的视频传输给客户端。2.根据权利要求1所述的基于超分辨率重建技术的视频传输系统，其特征在于：所述网关设备包括数据通信模块、视频解码模块、超分辨率重建模块，所述数据通信模块用于与视频服务器以及客户端进行数据通信，所述视频解码模块用于将从视频服务器接收到的视频进行解码，所述超分辨率重建模块用于对解码后的视频数据进行超分辨率重建。3.根据权利要求2所述的基于超分辨率重建技术的视频传输系统，其特征在于：所述网关设备还包括视频编码模块，所述视频编码模块用于将超分辨率重建后的视频数据进行编码。4.根据权利要求3所述的基于超分辨率重建技术的视频传输系统，其特征在于：所述超分辨率重建模块包括卷积神经网络模块，所述卷积神经网络模块用于根据训练结果对视频数据进行超分辨率重建。5.一种基于超分辨率重建技术的视频传输方法，该方法包括以下步骤：视频接收步骤，网关设备接收视频服务器发送的视频数据；超分辨率重建步骤，网关设备对视频数据进行超分辨率重建；视频发送步骤，网关设备将超分辨率重建后的视频传输给客户端。6.根据权利要求5所述的基于超分辨率重建技术的视频传输方法，其特征在于：所述超分辨率重建步骤包括以下步骤：S1：获取视频数据中一帧视频的数据并解码；S2：对该帧视频图像的宏块进行解码并重建图像；S3：对该重建后的宏块的图像进行超分辨率重建。7.根据权利要求6所述的基于超分辨率重建技术的视频传输方法，其特征在于：所述S2具体包括以下步骤：S2-1：判断前帧的类型，如果当前帧的类型为I帧，则对当前帧内所有的宏块进行完全解码并重建图像；如果当前帧的类型为B帧或P帧，则对当前帧内每一个宏块执行S2-2；S2-2包括以下步骤：S2-2-1：判断当前宏块的类型，如果当前宏块类型为帧内预测宏块，则执行S2-2-2；如果当前宏块类型为SKIP或Direct宏块，则执行S2-2-3；如果当...

【专利技术属性】
技术研发人员：罗雷，唐述，童译，
申请(专利权)人：罗雷，唐述，童译，
类型：发明
国别省市：重庆,50