一种基于对象的立体／自由视点电视的虚拟图像绘制方法技术

本发明专利技术公开了一种基于对象的立体／自由视点电视的虚拟图像绘制方法，通过彩色图像的对象掩模图像将彩色图像分为对象内部区域、背景区域和边界区域，再根据三种区域将彩色图像划分成若干个尺寸大小不尽相同的块，对于整块映射型的块只需对该块中的一个像素点实施三维图像变换以确定将该像素点从彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高整块映射型块的绘制速度；对于逐像素映射型的块，由于这些块主要位于边界区域，因此则仍采用逐像素映射的三维图像变换方法将块中的各个像素点映射到虚拟视点彩色图像中，有效保证了绘制精度。

【技术实现步骤摘要】

本专利技术涉及一种立体/自由视点电视技术，尤其是涉及。
技术介绍
自由视点电视(Free viewpoint TV， FTV)是一种先进的视觉模式，它具有交互性和临场感，可以满足人们从不同角度观看三维场景的需求。自由视点电视系统通常由多视点视频信号采集、校正、编码、网络传输、解码、绘制和显示等几部分组成。 基于彩色图像的绘制是立体/自由视点电视系统的关键技术之一，它是从一系列已知的参考视点的彩色图像出发绘制生成虚拟图像的方法。与传统的绘制技术相比，它具有不需要复杂的三维场景建模、绘制速度快、适合于合成场景和真实场景等优点。基于深度图像的绘制(D印th Image Based Rendering, DIBR)是一种利用参考视点的彩色图像及该参考视点的彩色图像所对应的深度图像绘制生成虚拟图像的方法。DIBR由于将场景的深度信息引入到虚拟图像绘制中，从而大大减少了虚拟图像绘制所需的参考视点的数目。 DIBR通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息来合成三维场景的虚拟图像。其过程如下首先利用深度信息将参考视点的彩色图像中的所有像素点重投影到实际的三维空间中，然后再将这些三维空间中的点投影到目标图像平面即虚拟图像平面上。这个从二维到三维的重投影以及从三维再到二维的投影被称为三维图像变换(3D image warping)。 虚拟图像绘制质量的好坏以及绘制的速度对于立体/自由视点电视系统的性能 是至关重要的。现有的基于深度图像的虚拟图像绘制算法为保证绘制的精度一般采用逐像 素进行三维图像变换(3D image warping)的映射方法，因此计算复杂度过高，要满足实时 观看需求还存在一定的困难。
技术实现思路
本专利技术所要解决的技术问题是提供一种在能够保证绘制精度的同时，提高绘制速 度的基于对象的虚拟图像绘制方法。 本专利技术解决上述技术问题所采用的技术方案为一种基于对象的立体/自由视点 电视的虚拟图像绘制方法，包括以下具体步骤 ①获取t时刻的K个参考视点的尺寸大小为PXQ的K幅彩色图像及其对应的K 幅深度图像，将t时刻的第k个参考视点的彩色图像记为IK,tkdf t时刻的第k个参考视点 的深度图像记为DK, tk，将t时刻的第k个参考视点的彩色图像IK, tk自适应地划分成NKk个 尺寸大小为(p+Ap)X(q+Aq)的块，并标记各个块的块映射类型，块映射类型包括逐像素 映射型和整块映射型，记t时刻的第k个参考视点的彩色图像IK, tk中的第n个块为B^其中，kG[l，K]， ，Afjt []萄=/^ ，p和q的值均为16、8、4、2四个值中的一个，Ap表1《《《iVR ,,，6示块Bnk与其右相邻块之间重叠的像素点的列数，O《Ap《2，当Ap二0时表示块Bnk与 其右相邻块不重叠或表示块Bnk为t时刻的第k个参考视点的彩色图像IK,tk的右边界处的 块，Aq表示块Bnk与其下相邻块之间重叠的像素点的行数，O- Aq《2，当A q = 0时表 示块Bnk与其下相邻块不重叠或表示块Bnk为t时刻的第k个参考视点的彩色图像IK, tk的 下边界处的块； 此处，将t时刻的第k个参考视点的彩色图像IK, tk自适应地划分成NKk个尺寸大 小为(p+Ap) X (q+Aq)的块并标记各个块的块映射类型的具体步骤为 ①-l、采用公知的对象提取技术对t时刻的第k个参考视点的彩色图像1^k进行 对象提取，得到t时刻的第k个参考视点的彩色图像IK,tk的对象掩模图像，记为M^k，将对 象掩模图像M^k中坐标为(x，y)的像素点的像素值记为muk(x，y)，ff4(X，y)4表示t时 刻的第k个参考视点的彩色图像Iuk及其对应的深度图像Duk中坐标为(x， y)的像素点 属于对象，将这样的像素点称为对象像素点，w4,0c,J) = O表示t时刻的第k个参考视点的彩 色图像I^k及其对应的深度图像Duk中坐标为(x，y)的像素点属于背景，将这样的像素点 称为背景像素点；①-2、将t时刻的第k个参考视点的彩色图像ktk划分成^xg个互不重叠的16 1616X 16块，其中，P表示彩色图像的宽，Q表示彩色图像的高； ①-3、逐一处理t时刻的第k个参考视点的彩色图像IK,tk中的各个16X 16块，定 义当前正在处理的16 X 16块为当前16 X 16块，将当前16 X 16块分解成4个8 X 8 ±央，对各 个8X8块进行区域标记，如果8X8块中的所有像素点均为对象像素点，则将该8X8块标 记为对象内部区域，如果8X8块中的所有像素点均为背景像素点，则将该8X8块标记为背 景区域，否则，将该8X8块标记为对象和背景之间的边界区域； ①-4、逐一处理当前16X 16块中的各个8X8块，定义当前正在处理的8X8块为 当前8X8块，当当前8X8块为对象内部区域时，执行步骤①_5;当当前8乂8块为背景区 域时，执行步骤①_6 ;当当前8X8块为对象和背景之间的边界区域时，执行步骤①-7 ; ①_5、将当前8 X 8块分解成4个4 X 4块，计算t时刻的第k个参考视点的深度图 像DK,tk中与各个4X4块位置相对应的4个对应4X4块各自的背离值，逐一考察t时刻的 第k个参考视点的深度图像DK,tk中的各个对应4X4块，判断对应4X4块的背离值是否小 于设定的阈值，当对应4X4块的背离值小于设定的阈值时，将t时刻的第k个参考视点的 彩色图像Iuk中与该对应4X4块位置相对应的4X4块记为pXq块，p = 4， q二4，并标 记该P X q块的块映射类型为整块映射型，当对应4X 4块的背离值大于等于设定的阈值时， 将t时刻的第k个参考视点的彩色图像IK,tk中与该对应4X4块位置相对应的4X4块再分 解成4个2X2块，计算t时刻的第k个参考视点的深度图像DK,tk中与各个2X2块位置相 对应的4个对应2 X 2块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像DK,tk 中的各个对应2X2块，判断对应2X2块的背离值是否小于设定的阈值，当对应2X2块的 背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像IK,tk中与该对应2X2块 位置相对应的2 X 2块记为p X q块，p = 2， q = 2，并标记该p X q块的块映射类型为整块映 射型，当对应2X2块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色 图像IK, tk中与该对应2X 2块位置相对应的2X 2块记为pX q ±央，p = 2， q = 2，并标记该7pXq块的块映射类型为逐像素映射型；然后执行步骤①_8 ; ①-6、计算t时刻的第k个参考视点的深度图像D^k中与当前8X8块位置相对应 的对应8X8块的背离值，判断对应8X8块的背离值是否小于设定的阈值，当对应8X8块 的背离值小于设定的阈值时，将当前8X8块记为pXq块，p二8，q二8，并标记该p X q块 的块映射类型为整块映射型；当对应8X8块的背离值大于等于设定的阈值时，将当前8X8 块再分解成2个8X4块，计算t时刻的第k个参考视点的深度图像DK,tk中与各个8X4块 位置相对应的2个对应8X4块各自的背离值，逐一考察t时刻的第k个参考视点的深度 本文档来自技高网...

【技术保护点】
一种基于对象的立体／自由视点电视的虚拟图像绘制方法，其特征在于包括以下具体步骤：　　　　①获取ｔ时刻的Ｋ个参考视点的尺寸大小为Ｐ×Ｑ的Ｋ幅彩色图像及其对应的Ｋ幅深度图像，将ｔ时刻的第ｋ个参考视点的彩色图像记为Ｉ↓［Ｒ，ｔ］↑［ｋ］，将ｔ时刻的第ｋ个参考视点的深度图像记为Ｄ↓［Ｒ，ｔ］↑［ｋ］，将ｔ时刻的第ｋ个参考视点的彩色图像Ｉ↓［Ｒ，ｔ］↑［ｋ］自适应地划分成Ｎ↓［Ｒ］↑［ｋ］个尺寸大小为（ｐ＋Δｐ）×（ｑ＋Δｑ）的块，并标记各个块的块映射类型，块映射类型包括逐像素映射型和，将当前１６×１６块分解成４个８×８块，对各个８×８块进行区域标记，如果８×８块中的所有像素点均为对象像素点，则将该８×８块标记为对象内部区域，如果８×８块中的所有像素点均为背景像素点，则将该８×８块标记为背景区域，否则，将该８×８块标记为对象和背景之间的边界区域；　　　　①－４、逐一处理当前１６×１６块中的各个８×８块，定义当前正在处理的８×８块为当前８×８块，当当前８×８块为对象内部区域时，执行步骤①－５；当当前８×８块为背景区域时，执行步骤①－６；当当前８×８块为对象和背景之间的边界区域时，执行步骤①－７；　　　　①－５、将当前８×８块分解成４个４×４块，计算ｔ时刻的第ｋ个参考视点的深度图像Ｄ↓［Ｒ，ｔ］↑［ｋ］中与各个４×４块位置相对应的４个对应４×４块各自的背离值，逐一考察ｔ时刻的第ｋ个参考视点的深度图像Ｄ↓［Ｒ，ｔ］↑［ｋ］中的各个对应４×４块，判断对应４×４块的背离值是否小于设定的阈值，当对应４×４块的背离值小于设定的阈值时，将ｔ时刻的第ｋ个参考视点的彩色图像Ｉ↓［Ｒ，ｔ］↑［ｋ］中与该对应４×４块位置相对应的４×４块记为ｐ×ｑ块，ｐ＝４，ｑ＝４，并标记该ｐ×ｑ块的块映射类型为整块映射型，当对应４×４块的背离值大于等于设定的阈值时，将ｔ时刻的第ｋ个参考视点的彩色图像Ｉ↓［Ｒ，ｔ］↑［ｋ］中与该对应４×４块位置相对应的４×４块再分解成４个２×２块，计算ｔ时刻的第ｋ个参考视点的深度图像Ｄ↓［Ｒ，ｔ］↑［ｋ］中与各个２×２块位置相对应的４个对应２×２块各自的背离值，逐一考察ｔ时刻的第ｋ个参考视点的深度图像Ｄ↓［Ｒ，ｔ］↑［ｋ］中的各个对应２×２块，判断对应２×２块的背离值是否小于设定的阈值，当对应２×２块的背离值小于设定的阈值时，将ｔ时刻的第ｋ个参考视点的彩色图像Ｉ↓［Ｒ，ｔ］↑［ｋ］中与该对应２×２块位置相对应的２×２块记为ｐ×ｑ...

【技术特征摘要】
一种基于对象的立体/自由视点电视的虚拟图像绘制方法，其特征在于包括以下具体步骤①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为IR，tk，将t时刻的第k个参考视点的深度图像记为DR，tk，将t时刻的第k个参考视点的彩色图像IR，tk自适应地划分成NRk个尺寸大小为(p+Δp)×(q+Δq)的块，并标记各个块的块映射类型，块映射类型包括逐像素映射型和整块映射型，记t时刻的第k个参考视点的彩色图像IR，tk中的第n个块为Bnk，其中，k∈[1，K]，p和q的值均为16、8、4、2四个值中的一个，Δp表示块Bnk与其右相邻块之间重叠的像素点的列数，0≤Δp≤2，当Δp＝0时表示块Bnk与其右相邻块不重叠或表示块Bnk为t时刻的第k个参考视点的彩色图像IR，tk的右边界处的块，Δq表示块Bnk与其下相邻块之间重叠的像素点的行数，0≤Δq≤2，当Δq＝0时表示块Bnk与其下相邻块不重叠或表示块Bnk为t时刻的第k个参考视点的彩色图像IR，tk的下边界处的块；此处，将t时刻的第k个参考视点的彩色图像IR，tk自适应地划分成NRk个尺寸大小为(p+Δp)×(q+Δq)的块并标记各个块的块映射类型的具体步骤为①-1、采用公知的对象提取技术对t时刻的第k个参考视点的彩色图像IR，tk进行对象提取，得到t时刻的第k个参考视点的彩色图像IR，tk的对象掩模图像，记为MR，tk，将对象掩模图像MR，tk中坐标为(x，y)的像素点的像素值记为mR，tk(x，y)，表示t时刻的第k个参考视点的彩色图像IR，tk及其对应的深度图像DR，tk中坐标为(x，y)的像素点属于对象，将这样的像素点称为对象像素点，表示t时刻的第k个参考视点的彩色图像IR，tk及其对应的深度图像DR，tk中坐标为(x，y)的像素点属于背景，将这样的像素点称为背景像素点；①-2、将t时刻的第k个参考视点的彩色图像IR，tk划分成个互不重叠的16×16块，其中，P表示彩色图像的宽，Q表示彩色图像的高；①-3、逐一处理t时刻的第k个参考视点的彩色图像IR，tk中的各个16×16块，定义当前正在处理的16×16块为当前16×16块，将当前16×16块分解成4个8×8块，对各个8×8块进行区域标记，如果8×8块中的所有像素点均为对象像素点，则将该8×8块标记为对象内部区域，如果8×8块中的所有像素点均为背景像素点，则将该8×8块标记为背景区域，否则，将该8×8块标记为对象和背景之间的边界区域；①-4、逐一处理当前16×16块中的各个8×8块，定义当前正在处理的8×8块为当前8×8块，当当前8×8块为对象内部区域时，执行步骤①-5；当当前8×8块为背景区域时，执行步骤①-6；当当前8×8块为对象和背景之间的边界区域时，执行步骤①-7；①-5、将当前8×8块分解成4个4×4块，计算t时刻的第k个参考视点的深度图像DR，tk中与各个4×4块位置相对应的4个对应4×4块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像DR，tk中的各个对应4×4块，判断对应4×4块的背离值是否小于设定的阈值，当对应4×4块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应4×4块位置相对应的4×4块记为p×q块，p＝4，q＝4，并标记该p×q块的块映射类型为整块映射型，当对应4×4块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应4×4块位置相对应的4×4块再分解成4个2×2块，计算t时刻的第k个参考视点的深度图像DR，tk中与各个2×2块位置相对应的4个对应2×2块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像DR，tk中的各个对应2×2块，判断对应2×2块的背离值是否小于设定的阈值，当对应2×2块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应2×2块位置相对应的2×2块记为p×q块，p＝2，q＝2，并标记该p×q块的块映射类型为整块映射型，当对应2×2块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应2×2块位置相对应的2×2块记为p×q块，p＝2，q＝2，并标记该p×q块的块映射类型为逐像素映射型；然后执行步骤①-8；①-6、计算t时刻的第k个参考视点的深度图像DR，tk中与当前8×8块位置相对应的对应8×8块的背离值，判断对应8×8块的背离值是否小于设定的阈值，当对应8×8块的背离值小于设定的阈值时，将当前8×8块记为p×q块，p＝8，q＝8，并标记该p×q块的块映射类型为整块映射型；当对应8×8块的背离值大于等于设定的阈值时，将当前8×8块再分解成2个8×4块，计算t时刻的第k个参考视点的深度图像DR，tk中与各个8×4块位置相对应的2个对应8×4块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像DR，tk中的各个对应8×4块，判断对应8×4块的背离值是否小于设定的阈值，当对应8×4块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应8×4块位置相对应的8×4块记为p×q块，p＝8，q＝4，并标记该p×q块的块映射类型为整块映射型，当对应8×4块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应8×4块位置相对应的8×4块分解成2个4×4块，或将当前8×8块再分解成2个4×8块，计算t时刻的第k个参考视点的深度图像DR，tk中与各个4×8块位置相对应的2个对应4×8块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像DR，tk中的各个对应4×8块，判断对应4×8块的背离值是否小于设定的阈值，当对应4×8块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应4×8块位置相对应的4×8块记为p×q块，p＝4，q＝8，并标记该p×q块的块映射类型为整块映射型，当对应4×8块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应4×8块位置相对应的4×8块分解成2个4×4块；计算t时刻的第k个参考视点的深度图像DR，tk中与各个4×4块位置相对应的2个对应4×4块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像DR，tk中的各个对应4×4块，判断对应4×4块的背离值是否小于设定的阈值，当对应4×4块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应4×4块位置相对应的4×4块记为p×q块，p＝4，q＝4，并标记该p×q块的块映射类型为整块映射型，当对应4×4块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像IR，tk中与该对应4×4块位置相对应的4×4块记为p×q块，p＝4，q＝4，...

【专利技术属性】
技术研发人员：蒋刚毅，朱波，郁梅，
申请(专利权)人：宁波大学，
类型：发明
国别省市：97[]