基于异构计算的VR实时自适应传输系统及方法技术方案

本发明专利技术公开了一种基于异构计算的VR实时自适应传输系统及方法。本发明专利技术系统由CPU模块、GPU模块和FPGA网卡相互连接组成；CPU模块负责系统的协调与控制；GPU模块包含投影变换模块和视频编码模块，分别完成用户视点信息的实时投影变换以及自适应码流的视频编码生成；FPGA网卡负责网络数据包的收发和校验和的计算；视频编码模块在完成编码后输出自适应码流，直接传输至FPGA网卡发送。本发明专利技术中不需要预先生成多版本视频，有效解决了多版本预处理方案中存在的视点刷新频率低、视点匹配准确度差的问题，大大提升用户的观看体验；可以实现极低延时的实时处理，满足8K分辨率60fps的VR视频实时自适应传输服务。

【技术实现步骤摘要】
基于异构计算的VR实时自适应传输系统及方法
本专利技术属于VR自适应传输
，具体涉及基于异构计算的VR实时自适应传输系统及方法。
技术介绍
随着VR的发展，图像数据和计算规模快速膨胀，逐渐衍生出了云VR技术。其将VR与云计算相结合，把复杂的计算处理任务上移至云端，可以有效减轻用户侧的渲染压力。为了实现最小化的响应延迟和带宽需求，云VR采用基于用户视点信息的自适应传输方法，尽可能压缩用户视窗外的冗余图像信息。但是现有的预处理模式自适应传输方案存在两个严重不足。首先是服务的精度较低，由于划分的视频版本的离散且数量有限，服务器只能选择最接近用户视点方向的版本，但始终存在偏差。另一个缺点来自于视频编码，由于视频编码中使用了帧间压缩技术，解码器不能从任意帧开始解码，而必须从被称为随机接入点的参考帧(I帧)开始解码，这就要求服务端传输视频时要保持一个GOP(GroupofPicture)中的视频版本一致，否则用户端解码将出错。这种要求极大地限制了自适应传输中视频版本切换频率，也导致了用户收到的图像误差增大。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于异构计算的VR实时自适应传输系统和方法，打破了现有方案中多版本视频预生成模式，使得服务端可以依据用户反馈的视点信息实时完成图像变换，有效提升视点刷新频率和视点匹配准确度。同时，利用异构计算进行并行处理加速，使得实时处理变为可能。本专利技术的目的可以通过以下技术方案来实现：现有的多版本预处理方案，通过将投影变换和视频压缩这些复杂耗时的处理过程与服务解耦，希望将实际服务时的处理响应最小化来提升用户接收到的画面质量。但多版本预处理方案主要有两个不足，首先是应用场景受限只能处理VR视频播放这类简单业务。在预处理模式下，要求视频图像可以非实时预先产生，对于VR游戏这类强交互应用则无能为力。将原本的实时视点选择阶段先前调整至投影处理过程中，与投影视点的确定合并为一个模块。这样用户视点的实时响应结果即为投影矩阵旋转的方向，服务端的视点匹配误差不再存在。实时视点的响应与选择在视频压缩之前完成，投影视点可以在每一帧发生切换，大大提高了视点切换的频率。相比于预处理方案，实时处理模式下完整的投影和视频压缩过程都需要实时地完成。其庞大的计算量和极短的时延要求对于系统的实现提出了很大的挑战。因此，本专利技术基于异构计算设计了一套高效的VR投影压缩处理方案，包括VR实时自适应传输系统及方法。本专利技术提供的VR实时自适应传输系统，参见图1所示；由CPU模块、GPU模块和FPGA网卡相互连接组成，其中，所述CPU模块负责系统的协调与控制；所述GPU模块包含投影变换模块和视频编码模块两部分，分别完成基于用户视点信息的实时投影变换以及自适应码流的视频编码生成，这里，自适应码流由GPU模块根据用户反馈的视点信息实时计算产生，未进行预处理变换；所述FPGA网卡负责网络数据包的收发和校验和的计算；所述投影变换模块与CPU模块相连，接收待投影视频帧和实时用户视点，并与视频编码模块相连，将投影后图像进行视频编码；所述视频编码模块在完成编码后输出自适应码流，并直接传输(通过GPUDirect)至FPGA网卡发送。本专利技术中，CPU模块与投影变换模块、CPU模块与FPGA网卡、视频编码模块与FPGA网卡间均通过PCIe总线接口相连。不同于传统自适应传输方案，本专利技术中的自适应码流由GPU模块根据用户反馈的视点信息实时计算产生，未进行预处理变换。本专利技术中，投影变换模块和视频编码模块均在GPU模块内部完成无需额外的数据传输开销。视频编码模块使用GPU模块内部集成的视频编码硬件加速器完成。本专利技术中，CPU模块与投影变换模块通信的过程使用乒乓缓存进行优化以掩盖传输时间。本专利技术中，对于生成好的自适应码流数据视频编码模块直接通过PCIe总线的设备直传功能发送至FPGA网卡，而不需要CPU模块的额外干涉。本专利技术中，CPU模块需要在程序初始化阶段为视频编码模块设置好待传输码流的网络包头，网络包头包含客户端IP地址端口号等信息。码流产生后网络与包头一并送至FPGA网卡。FPGA网卡模块在接收到视频编码模块发送的数据包后，为网络包头计算并装填校验和，随后进行网络传输。基于上述传输系统，本专利技术的VR实时自适应传输方法，具体步骤如下：S01，系统经由FPGA网卡接收用户实时反馈的视点信息，并通过CPU模块发起GPU处理任务；S02，GPU模块根据用户视点信息实时进行投影变换处理，产生自适应码流传输至FPGA网卡；S03，FPGA网卡为自适应码流计算并装填包头校验和等信息，然后经由网络回传给用户。步骤S01中，所述CPU模块发起GPU处理任务，包含如下步骤：S0101，CPU模块接收到用户发出的连接请求后，初始化GPU模块，分配帧乒乓缓存，设置客户端包头；S0102，CPU模块发起乒乓传输，上传待投影视频帧；S0103，CPU模块接收到用户实时视点信息后发起下次乒乓传输(异步上传)，同时基于已上传帧和用户视点控制GPU启动实时自适应传输处理。步骤S02中，所述GPU模块根据用户视点信息实时进行投影变换处理，包含如下步骤：S0201，GPU接收主机传输的实时用户视点信息，并根据这一信息对预先存储在显存中的初始投影矩阵施加旋转变换，通过流处理器并行执行；S0202，基于变换后的投影矩阵，使用流处理器进行投影变换操作，将最新的ERP图像帧变换为金字塔/TSP形式；S0203，将变换后的图像送入硬件加速器进行视频压缩编码，生成最终的VR自适应码流；S0204，所生成的VR自适应码流连同预先设置好的网络包头一并发送至FPGA网卡，使用PCIe总线的设备间直传功能，不需要经过CPU内存。步骤S03中，所述FPGA网卡模块处理部分，包含如下步骤：S0301，FPGA网卡经由PCIe总线接收网络数据包；S0302，校验和计算模块分析完整数据包，分别计算IP和TCP/UDP校验和；S0303，校验和计算模块根据帧结构将计算好的IP和TCP/UDP校验和装填到数据包中；S0304，FPGA网卡将完整数据包经由网络协议栈发送。与现有技术相比，本专利技术具有以下优点：(1)本专利技术调整了基于投影变换的自适应传输处理流程，将投影视点确定和实时视点选择合并为实时处理，不需要预先生成多版本视频；有效克服视点匹配准确度差、切换频率低的问题，大大提升用户的观看体验。(2)本专利技术基于异构计算技术设计的系统方案，可以实现极低延时的实时处理，可以满足8K分辨率60fps的VR视频实时自适应传输服务。附图说明图1为本实施例的结构示意图。图2为本实施例CPU与GPU交互示意图。图3为本实施例软硬件协同网络协议栈示意图。图4为本实施例CPU模块乒乓传输处理流程图。图5为本实施例GPU处理本文档来自技高网...

【技术保护点】
1.一种基于异构计算的VR实时处理自适应传输系统，其特征在于，由CPU模块、GPU模块和FPGA网卡相互连接组成；其中，所述CPU模块负责系统的协调与控制；所述GPU模块包含投影变换模块和视频编码模块，分别完成基于用户视点信息的实时投影变换以及自适应码流的视频编码生成，所述自适应码流由GPU模块根据用户反馈的视点信息实时计算产生；所述FPGA网卡负责网络数据包的收发和校验和的计算；所述投影变换模块与CPU模块相连，接收待投影视频帧和实时用户视点，并与视频编码模块相连，将投影后图像进行视频编码；所述视频编码模块在完成编码后输出自适应码流，并传输至FPGA网卡发送；/nCPU模块与投影变换模块、CPU模块与FPGA网卡、视频编码模块与FPGA网卡间均通过PCIe总线接口相连。/n

【技术特征摘要】
1.一种基于异构计算的VR实时处理自适应传输系统，其特征在于，由CPU模块、GPU模块和FPGA网卡相互连接组成；其中，所述CPU模块负责系统的协调与控制；所述GPU模块包含投影变换模块和视频编码模块，分别完成基于用户视点信息的实时投影变换以及自适应码流的视频编码生成，所述自适应码流由GPU模块根据用户反馈的视点信息实时计算产生；所述FPGA网卡负责网络数据包的收发和校验和的计算；所述投影变换模块与CPU模块相连，接收待投影视频帧和实时用户视点，并与视频编码模块相连，将投影后图像进行视频编码；所述视频编码模块在完成编码后输出自适应码流，并传输至FPGA网卡发送；
CPU模块与投影变换模块、CPU模块与FPGA网卡、视频编码模块与FPGA网卡间均通过PCIe总线接口相连。


2.根据权利要求1所述的VR实时处理自适应传输系统，其特征在于，所述投影变换模块和视频编码模块均在GPU模块内部完成操作，无需额外的数据传输开销；视频编码模块的操作使用GPU模块内部集成的视频编码硬件加速器完成。


3.根据权利要求1所述的VR实时处理自适应传输系统，其特征在于，CPU模块与投影变换模块通信过程使用乒乓缓存方式进行。


4.根据权利要求1所述的VR实时处理自适应传输系统，其特征在于，CPU模块在程序初始化阶段为视频编码模块设置好待传输码流的网络包头，网络包头包含客户端IP地址端口号等信息；码流产生后网络与包头一并送至FPGA网卡。


5.根据权利要求1所述的VR实时处理自适应传输系统，其特征在于，FPGA网卡模块在接收到视频编码模块发送的数据包后，为网络包头计算并装填校验和，随后进行网络传输。


6.基于权利要求1所述系统的VR实时处理自适应传输方法，其特征在于，具体步骤如下：
S01，由FPGA网卡接收用户实时反馈的视点信息，并通过CPU模块发起GPU处理任务；
S02，GPU模块根据用户...

【专利技术属性】
技术研发人员：吴俊，徐跃东，胡蝶，赵嵩源，刘典，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31