一种双目系统中基于GPU的实时绘制方法技术方案

本发明专利技术涉及一种双目系统中基于GPU（图形处理器）的实时绘制方法。本发明专利技术在双目系统的发送端绘制出空洞掩膜图像并提取大空洞的纹理信息，然后在系统的接收端利用提取的纹理信息填充大空洞，同时利用插值算法填充小空洞；本发明专利技术采用GPU加速虚拟视点图像的绘制，首先利用CUDA（通用并行计算架构）技术将每个像素投影到三维空间，然后应用OpenGL（开源的图形程序接口）技术将三维空间中的像素投影到二维平面完成虚拟视点图像的绘制。本发明专利技术大幅度提高了绘制的速度，合成的新视点图像在主、客观质量上达到了较好的效果，可实现双目系统的实时绘制。

【技术实现步骤摘要】

本专利技术涉及一种双目三维视频系统中基于深度图像的绘制技术，特别是一种双目系统中基于GPU (图形处理器)达到实时的绘制方法。
技术介绍
3DTV (三维电视)是立体显示技术的主要应用之一，其典型的系统组成如下视频采集，编码传输，接收端解码，3D (三维)场景重建和3D显示。传统的电视系统只需要传输一路视频，而3DTV系统则需要传输两路或者多路的视频，但是考虑到相机的成本和带宽的限制，只能传输有限的视频，因此在终端进行虚拟视点绘制显得尤为重要，同时3D场景重建的好坏也直接关系到整个3DTV系统的好坏。虚拟视点绘制可以通过两类技术完成MBR(基于模型的绘制)和IBR (基于图像的绘)。MBR需要场景复杂度的实验模型，主要用以3D游戏和纯虚拟场景的创建，并不适合动态场景的绘制；IBR则利用二维图像作为数据源来生成虚拟视点图像，并不需要复杂的3D场景信息。在众多IBR技术中DIBR(基于深度的图像绘制)技术由于其绘制的图像的真实性和其操作的简单性，使之成为最为行之有效的虚拟视点绘制的方法，因此DIBR更适合于3DTV系统终端的绘制。DIBR利用参考视点图像和其对应的深度图像把各个像素投影到3D空间，从而为每一个像素建立一个简单的3D场景模型；然后把这个简单的3D场景模型投影到虚拟摄像机图像平面，进而完成了虚拟视点的绘制，整个过程即三维图像变换。理论上DIBR能利用一路纹理图像和其对应的深度图像绘制出任意虚拟视点，但是DIBR存在空洞问题。空洞问题主要是由于参考视点图像不可能包含3D场景所有的信息，应用DIBR绘制虚拟视点时，由于虚拟视点相对于参考视点存在水平位移，可能使得一些物体在虚拟视点中是如景而在参考视点中却是背景，而参考视点的纹理图像并不提供任何关于背景物体的信息，因此在虚拟视点中产生了空洞。“一路纹理+ —路深度”和“两路纹理+两路深度”是目前主要的虚拟视点绘制方法。“一路纹理+ —路深度”方法是通过对纹理图像和其对应深度图像执行一次三维图像变换直接得到虚拟视点图像；而“两路纹理+两路深度”则是通过执行两次三维图像变换，然后再进行视点融合，最后得到虚拟视点图像。因此“一路纹理+—路深度”方法得到虚拟视点的空洞明显多于“两路纹理+两路深度”所得到的绘制结果。目前，深度图像预处理、三维图像变换和图像修复是绘制虚拟视点图像的三个主要步骤。深度图像预处理主要采用高斯平滑滤波、中值滤波和一些平滑边缘的滤波器，这些深度图像预处理的方法能够一定程度上减少虚拟视点图像中空洞的产生，但同样也对虚拟点图像产生了几何畸变。图像修复算法能有效的填充虚拟视点的空洞，但是其算法复杂度极高，很难应用到实时的3DTV系统中。另外，通过LDI (分层深度图像)也能够有效的填充空洞，它允许在相应的层存储空洞的像素，这样空洞就可以利用这些像素来填充，但是LDI不仅增加计算的复杂度而且耗费带宽严重
技术实现思路
本专利技术旨在提供一种双目系统中基于GPU的实时绘制方法，利用空洞图像空洞分布的特点、GPU并行计算的能力和DIBR技术高度并行性的特点，在保证合成新视点图像在主、客观质量上达到较好效果的同时，大幅度提高绘制的速度。为达到上述目的，本专利技术的构思是首先在双目系统的发送端绘制出空洞掩膜图像并提取大空洞的纹理信息，然后在系统的接收端利用提取的纹理信息填充大空洞，同时利用插值算法填充小空洞；采用GPU加速虚拟视点图像的绘制，首先利用CUDA (通用并行计算架构)技术将每个像素投影到三维空间，然后应用Open GL (开源的图形程序接口)技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。根据上述构思，本专利技术的技术方案是一种双目系统中基于GPU的实时绘制方法，其步骤是(1)发送端绘制出空洞掩膜图像并提取纹理信息绘制出空洞掩膜图像，利用空洞掩膜图像找到大空洞横向的最大值，根据此最大值提取相应的空洞填充图像，即HFI (空洞填充图像);(2)接收端空洞填充利用发送端提取的纹理信息填充大空洞，并利用插值算法填充小空洞；(3)GPU加速绘制利用CUDA技术将纹理图像中的像素逐一投影到三维空间，然后应用Open GL技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。本专利技术的双目系统中一种基于GPU的实时绘制方法与已有技术相比较，具有如下显而易见的突出实质性特点和显著优点该方法在双目系统的发送端绘制出空洞掩膜，提取大空洞的纹理信息HFI，在接收端利用提取的纹理信息HFI填充大空洞，特别是当场景的纹理发生突变时，传递HFI绘制所得到虚拟视点图像的客观质量越好；同时将CUDA技术和Open GL技术引入到基于深度的图像绘制中，合理地对常规的基于CPU (中央处理器)的绘制改成基于GPU的绘制，运行在NVIDIA Quadro 600图形卡上，对分辨率为1024X768和1920X1080图像的绘制速率分别达到45fps和28fps，同时合成的新视点图像在主、客观质量上达到了较好的效果，可实现双目系统的实时绘制。附图说明图I为本专利技术一种双目系统中基于GPU的实时绘制方法原理框图2为测试序列“Book Arrival”的第8视点第17帧彩色纹理图像；图3为图2所示“Book Arrival”序列的彩色纹理图像对应的深度图4为测试序列“Book Arrival”的第7视点第17帧彩色纹理图像；图5为空洞图像的掩膜图像；图6为发送端提取的空洞填充图像(HFI)；图7为绘制空洞掩膜图像原理框图8为利用第8视点第17帧彩色纹理图像和其对应的深度图像绘制第7视点第17帧所产生的空洞图像；图9为本专利技术方法所绘制的虚拟视点图像；图10为应用CUDA技术把纹理图像中的每一个像素投影到三维空间的原理框图；图11为应用Open GL技术把三维空间中的像素投影到二维平面的原理框图12为序列“Book Arrival”绘制虚拟视点的客观质量比较；图13为序列“Book Arrival”6-20中贞的绘制时间(单位:ms)。具体实施例方式以下结合附图对本专利技术的优选实施例作进一步的详细说明。实施例一参见图1，本双目系统中基于GPU的实时绘制方法，其特征在于首先在双目系统的发送端绘制出空洞掩膜图像并提取大空洞的纹理信息HFI，然后在系统的接收端利用提取的HFI填充大空洞，并利用插值算法填充小空洞；为达到实时性的要求，采用GPU加速虚拟视点图像的绘制；首先利用CUDA技术将纹理图像中的像素投影到三维空间，然后应用OpenGL技术将三维空间中的像素投影到二维平面完成虚拟视点图像的绘制；其步骤是(1)发送端绘制出空洞掩膜图像并提取纹理信息绘制出空洞掩膜图像，利用空洞掩膜图像找到大空洞横向的最大值，根据此最大值提取相应的空洞填充图像，即HFI ；(2)接收端空洞填充利用发送端提取的纹理信息HFI填充大空洞，并利用插值算法填充小空洞；(3)GPU加速绘制利用CUDA技术将纹理图像中的像素逐一投影到三维空间，然后应用Open GL技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。实施例二本实例与实施例一基本相同，特别之处如下所述步骤(I)发送端绘制出空洞掩膜图像并提取纹理信息的具体步骤如下①利用深度图像和其对应的顶点索引进行三维图像变换，变换之后本文档来自技高网...

【技术保护点】
一种双目系统中基于GPU（图形处理器）的实时绘制方法，其特征在于首先在双目系统的发送端绘制出空洞掩膜图像并提取大空洞的纹理信息HFI（空洞填充图像），然后在系统的接收端利用提取的HFI填充大空洞，并利用插值算法填充小空洞；为达到实时性的要求，采用GPU加速虚拟视点图像的绘制；首先利用CUDA（通用并行计算架构）技术将纹理图像中的像素投影到三维空间，然后应用Open？GL（开源的图形程序接口）技术将三维空间中的像素投影到二维平面完成虚拟视点图像的绘制；其步骤是：（1）发送端绘制出空洞掩膜图像并提取纹理信息：绘制出空洞掩膜图像，利用空洞掩膜图像找到大空洞横向的最大值，根据此最大值提取相应的空洞填充图像，即HFI；（2）接收端空洞填充：利用发送端提取的纹理信息HFI填充大空洞，并利用插值算法填充小空洞；（3）GPU加速绘制：利用CUDA技术将纹理图像中的像素逐一投影到三维空间，然后应用Open？GL技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。

【技术特征摘要】
1.一种双目系统中基于GPU (图形处理器)的实时绘制方法，其特征在于首先在双目系统的发送端绘制出空洞掩膜图像并提取大空洞的纹理信息HFI (空洞填充图像)，然后在系统的接收端利用提取的HFI填充大空洞，并利用插值算法填充小空洞；为达到实时性的要求，采用GPU加速虚拟视点图像的绘制；首先利用CUDA (通用并行计算架构)技术将纹理图像中的像素投影到三维空间，然后应用Open GL (开源的图形程序接口)技术将三维空间中的像素投影到二维平面完成虚拟视点图像的绘制；其步骤是(1)发送端绘制出空洞掩膜图像并提取纹理信息绘制出空洞掩膜图像，利用空洞掩膜图像找到大空洞横向的最大值，根据此最大值提取相应的空洞填充图像，即HFI ；(2)接收端空洞填充利用发送端提取的纹理信息HFI填充大空洞，并利用插值算法填充小空洞；(3)GPU加速绘制利用⑶DA技术将纹理图像中的像素逐一投影到三维空间，然后应用Open GL技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。2.根据权利要求I所述的双目系统中基于GPU的实时绘制方法，其特征在于所述步骤(1)发送端绘制出空洞掩膜图像并提取纹理信息的具体步骤如下①利用深度图像和其对应的顶点索引进行三维图像变换，变换之后颜色缓冲区分别用O和255赋值，其中O表示空洞区域，255表示非空洞区域；根据Open GL的存储特点，图像的顶点索引、顶点的颜色数据和顶点的深度信息分别存...

【专利技术属性】
技术研发人员：郑专，安平，邬芙琼，王奎，张兆杨，
申请(专利权)人：上海大学，
类型：发明
国别省市：