一种基于可分级块的虚拟视点图像绘制方法技术

本发明专利技术公开了一种基于可分级块的虚拟视点图像绘制方法，优点在于根据参考视点的深度图像的平滑与否自适应地将彩色图像划分成若干个尺寸大小不尽相同的块，对于整块映射型块只需对该块中的一个像素点实施三维图像变换以确定将该像素点从彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高整块映射型块的绘制速度；对于逐像素映射型块，由于这些块主要位于对象与背景的边界区域，因此仍采用逐像素映射的三维图像变换方法将块中的各个像素点映射到虚拟视点彩色图像中，有效保证了绘制精度。

【技术实现步骤摘要】

本专利技术涉及一种立体电视/自由视点电视技术，尤其是涉及一种基于可分级块的立体电视/自由视点电视的虚拟视点图像的绘制方法。
技术介绍
自由视点电视(Free viewpoint TV， FTV)是一种先进的视觉模式，它具有交互性和临场感，可以满足人们从不同角度观看三维场景的需求。自由视点电视系统通常由多视点视频信号采集、校正、编码、网络传输、解码、绘制和显示等几部分组成。 基于彩色图像的绘制是立体电视/自由视点电视系统的关键技术之一，它是从一系列已知的参考视点的彩色图像出发绘制生成虚拟视点图像的方法。与传统的绘制技术相比，它具有不需要复杂的三维场景建模、绘制速度快、适合于合成场景和真实场景等优点。基于深度图像的绘制(D印th Image Based Rendering, DIBR)是一种利用参考视点的彩色图像及该参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法。DIBR由于将场景的深度信息引入到虚拟视点图像绘制中，从而大大减少了虚拟视点图像绘制所需的参考视点的数目。 DIBR通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应 的深度信息来合成三维场景的虚本文档来自技高网...

【技术保护点】
一种基于可分级块的虚拟视点图像绘制方法，其特征在于包括以下具体步骤：　　　　①获取ｔ时刻的Ｋ个参考视点的尺寸大小为Ｐ×Ｑ的Ｋ幅彩色图像及其对应的Ｋ幅深度图像，将ｔ时刻的第ｋ个参考视点的彩色图像记为Ｉ↓［Ｒ，ｔ］↑［ｋ］，将ｔ时刻的第ｋ个参考视点的深度图像记为Ｄ↓［Ｒ，ｔ］↑［ｋ］，将ｔ时刻的第ｋ个参考视点的彩色图像Ｉ↓［Ｒ，ｔ］↑［ｋ］自适应地划分成Ｎ↓［Ｒ］↑［ｋ］个尺寸大小为（ｐ＋Δｐ）×（ｑ＋Δｑ）的块，并标记各个块的块映射类型，块映射类型包括逐像素映射型和整块映射型，↓［ｉ］×ｎ↓［ｉ］／２块，分别计算２个ｎ↓［ｉ］×ｎ↓［ｉ］／２块的背离值，判断２个ｎ↓［ｉ］×ｎ↓［ｉ］／２块的背离...

【技术特征摘要】
一种基于可分级块的虚拟视点图像绘制方法，其特征在于包括以下具体步骤①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为IR，tk，将t时刻的第k个参考视点的深度图像记为DR，tk，将t时刻的第k个参考视点的彩色图像IR，tk自适应地划分成NRk个尺寸大小为(p+Δp)×(q+Δq)的块，并标记各个块的块映射类型，块映射类型包括逐像素映射型和整块映射型，记t时刻的第k个参考视点的彩色图像IR，tk中的第n个块为Bnk，其中，k∈[1，K]，p和q的值均为16、8、4、2、1五个值中的一个，Δp表示块Bnk与其右相邻块之间重叠的像素点的列数，0≤Δp≤2，当Δp＝0时表示块Bnk与其右相邻块不重叠或表示块Bnk为t时刻的第k个参考视点的彩色图像IR，tk的右边界处的块，Δq表示块Bnk与其下相邻块之间重叠的像素点的行数，0≤Δq ≤2，当Δq＝0时表示块Bnk与其下相邻块不重叠或表示块Bnk为t时刻的第k个参考视点的彩色图像IR，tk的下边界处的块；此处，将t时刻的第k个参考视点的彩色图像IR，tk自适应地划分成NRk个尺寸大小为(p+Δp)×(q+Δq)的块并标记各个块的块映射类型的具体步骤为①-1、将t时刻的第k个参考视点的深度图像DR，tk划分成个互不重叠的16×16块，其中，P表示深度图像的宽，Q表示深度图像的高；①-2、定义当前正在处理的16×16块为当前16×16块，将当前16×16块记为ni×ni块，或将当前16×16块分解为4个8×8块，将4个8×8块均记为ni×ni块，其中，i的初始值为1；①-3、定义当前正在处理的ni×ni块为当前ni×ni块，计算当前ni×ni块的背离值，判断当前ni×ni块的背离值是否小于阈值，如果是，则将当前ni×ni块记为p×q块，p＝ni，q＝ni，并标记该p×q块的块映射类型为整块映射型，然后执行步骤①-10，否则，再判断ni是否等于预设尺寸值m，其中，m≤ni，当ni＝m时，将当前ni×ni块记为p×q块，p＝ni，q＝ni，并标记该p×q块的块映射类型为逐像素映射型，然后执行步骤①-10，当ni＞m时，继续执行；①-4、将当前ni×ni块分解成2个块，分别计算2个块的背离值，判断2个块的背离值是否均小于阈值，如果是，则将2个块分别记为p×q块，p＝ni，并标记该2个p×q块的块映射类型为整块映射型，然后执行步骤①-10，否则，继续执行；①-5、对当前ni×ni块进行重新分解，分解成2个块，分别计算2个块的背离值，判断2个块的背离值是否均小于阈值，如果是，则将2个块分别记为p×q块，q＝ni，并标记该2个p×q块的块映射类型为整块映射型，然后执行步骤①-10，否则，继续执行；①-6、当步骤①-4中的2个块中的其中一个块的背离值小于阈值时，将背离值小于阈值的块记为p×q块，p＝ni，标记该p×q块的块映射类型为整块映射型，并将背离值大于等于阈值的块分解为2个块，然后执行步骤①-9；当2个块的背离值均大于等于阈值时，继续执行；①-7、当步骤①-5中的2个块中的其中一个块的背离值小于阈值时，将背离值小于阈值的块记为p×q块，q＝ni，标记该p×q块的块映射类型为整块映射型，并将背离值大于等于阈值的块分解为2个块，然后执行步骤①-9；当2个块的背离值均大于等于阈值时，继续执行；①-8、对当前ni×ni块进行重新分解，分解成4个块，并继续执行；①-9、将i加1，然后将步骤①-6或步骤①-7或步骤①-8得到的各个块记为块，令再返回步骤①-3继续执行，直至当前ni×ni块已分解为尺寸大小为预设尺寸值m的块或分解得到的块的背离值小于阈值为止；①-10、将当前16×16块中的下一个ni×ni块作为当前ni×ni块，并将i值置为1，然后返回步骤①-3继续执行，直至当前16×16块中的所有ni×ni块处理完毕；①-11、将下一个16×16块作为当前16×16块，并返回步骤①-2继续执行，直至t时刻的第k个参考视点的深度图像DR，tk中的所有16×16块处理完毕；①-12、根据t时刻的第k个参考视点的深度图像DR，tk的p×q块的划分及各个p×q块标记的块映射类型，将t时刻的第k个参考视点的彩色图像IR，tk划分成相应的尺寸大小为(p+Δp)×(q+Δq)的块，并标记相应的块映射类型，具体过程为a.定义t时刻的第k个参考视点的深度图像DR，tk中的第一个p×q块为当前p×q块，将t时刻的第k个参考视点的彩色图像IR，tk中坐标位置与当前p×q块相同的对应块作为t时刻的第k个参考视点的彩色图像IR，tk中的p×q块；b.将t时刻的第k个参考视点的彩色图像IR，tk中 的该p×q块向右扩展Δp个像素点且向下扩展Δq个像素点，形成t时刻的第k个参考视点的彩色图像IR，tk中的尺寸大小为(p+Δp)×(q+Δq)的块；c.根据当前p×q块的块映射类型，将该尺寸大小为(p+Δp)×(q+Δq)的块的块映射类型标记为与当前p×q块的块映射类型相同的块映射类型；d.将t时刻的第k个参考视点的深度图像DR，tk中的下一个p×q块作为当前p×q块，返回执行步骤a，直至t时刻的第k个参考视点的深度图像DR，tk中的所有p×q块处理完毕；②逐一处理t时刻的第k个参考视点的彩色图像IR，tk中的NRk个尺寸大小为(p+Δp)×(q+Δq)的块，定义正在处理的t时刻的第k个参考视点的彩色图像IR，tk中的第n个块Bn...

【专利技术属性】
技术研发人员：蒋刚毅，朱波，郁梅，
申请(专利权)人：宁波大学，
类型：发明
国别省市：97[]