一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法技术方案

本发明专利技术公开一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，包括：获取原始YUV视频；将每帧YUV画面的像素流创建单通道纹理传输至GPU；绘制三维虚拟场景，判断当前像素是否属于摄像头画面；RGB像素与三维场景混合形成最终的虚实融合画面。本发明专利技术相对于传统在CPU上多线程解码YUV视频像素的方法，可以有效裁剪更多的无需采样的原始视频像素，同时基于更强并行解码能力的GPU，也使得解码效率得以大幅度提升。本发明专利技术算法明确，结果鲁棒，且该方法可以用于大型三维虚拟场景与实时监控融合应用中，与目前主流的摄像头厂家视频很好地结合在一起使用。

A Method of Accelerating Decoding Camera Video Stream by Programmable GPU in Virtual-Real Fusion System

The invention discloses a method for accelerating decoding camera video stream in a virtual-real fusion system by programmable GPU, which includes: acquiring original YUV video; creating a single channel texture for each frame of YUV picture to transmit to GPU; drawing a three-dimensional virtual scene to determine whether the current pixel belongs to the camera screen; and mixing RGB pixels with three-dimensional scene to form the final virtual-real fusion picture. Compared with the traditional multithreaded decoding method of YUV video pixels on CPU, the invention can effectively cut more original video pixels without sampling, and at the same time, the decoding efficiency can be greatly improved based on the GPU with stronger parallel decoding ability. The algorithm of the invention is clear and the result is robust, and the method can be used in the fusion application of large-scale 3D virtual scene and real-time monitoring, and is well combined with the current mainstream camera manufacturer video.

【技术实现步骤摘要】
一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法
本专利技术涉及虚实融合系统中摄像头视频解码效率的优化，尤其是涉及一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法。
技术介绍
随着“智慧城市”的高速发展，公共区域视频监控系统覆盖密度和建设质量都得到大幅度的提升。当前各类监控指挥中心最常用的解决方案就是监控视频墙，监控人员每看到视频画面需要在大脑中理解这个场景，从认知的角度来看，频繁地转移注意力会造成反馈时间加长和大脑的疲劳。通过对摄像头部署的环境进行三维建模，然后将二维画面的监控视频无缝融合进三维场景中。这样的由虚拟的三维环境配合现实监控视频的虚实结合系统，本质是一种增强现实，可有效提升用户对视频画面和空间感的认知，也便于观察跨视频事件的全局发展。三维虚拟场景的绘制会对效率有较高的要求，而视频的传输、识别、解码、转码等操作也会给硬件带来非常大的压力。H.264作为当前视频压缩领域主流的编码标准，具有低带宽、高画质的压缩能力。相比于H.263和MPEG-4，编码效率提高了大约50％。然而高压缩比却也带来了很高的算法复杂度以及很大的计算量，如果使用CPU进行解码，本文档来自技高网...

【技术保护点】
1.一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，包括以下步骤：1)获取摄像机的原始视频流，将YUV格式的原始视频逐帧保存；2)将每帧YUV画面的像素流构建成单通道纹理，生成对应的纹理信息；3)绘制三维场景，在GPU片段着色器上判断当前绘制的像素是否属于摄像头画面所覆盖的区域；4)若当前像素是摄像头画面覆盖区域，对步骤2)中像素对应的纹理信息进行采样，并将采样出来的YUV颜色解码成所需的RGB颜色；5)将步骤4)中得到的RGB像素与绘制的三维场景混合叠加，完成最终的虚实融合画面。

【技术特征摘要】
1.一种虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，包括以下步骤：1)获取摄像机的原始视频流，将YUV格式的原始视频逐帧保存；2)将每帧YUV画面的像素流构建成单通道纹理，生成对应的纹理信息；3)绘制三维场景，在GPU片段着色器上判断当前绘制的像素是否属于摄像头画面所覆盖的区域；4)若当前像素是摄像头画面覆盖区域，对步骤2)中像素对应的纹理信息进行采样，并将采样出来的YUV颜色解码成所需的RGB颜色；5)将步骤4)中得到的RGB像素与绘制的三维场景混合叠加，完成最终的虚实融合画面。2.如权利要求1所述的虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，在步骤1)中，在内存中申请与每帧YUV画面的像素空间大小一致的空间，将像素流以内存段拷贝的方法完全拷贝进所述的空间。3.如权利要求1所述的虚实融合系统中通过可编程GPU加速解码摄像头视频流的方法，其特征在于，在所述的步骤2)中，每帧YUV画面对应一单通道纹理，纹理宽度为画面帧的...

【专利技术属性】
技术研发人员：郑文庭，李融，鲍虎军，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33