一种虚拟视点彩色图像绘制方法技术

本发明专利技术公开了一种虚拟视点彩色图像绘制方法，其根据不同区域的深度编码失真对虚拟视点图像绘制的影响，将深度图像分成核心内容区域和非核心内容区域，并设计两组不同滤波强度的双向滤波器分别对核心内容区域和非核心内容区域的各个像素点对应的场景深度值进行滤波处理，这样大大提高了绘制图像的主观质量；然后针对基于深度图像的绘制在图像融合过程中出现的颜色失真问题，从虚拟视点彩色图像中提取出与空洞无关的参考颜色信息，并设计不同的颜色校正方法分别对两组虚拟视点彩色图像进行颜色校正，以提高绘制图像的主观质量。

【技术实现步骤摘要】

本专利技术涉及一种三维视频技术，尤其是涉及。
技术介绍
三维视频(Three-Dimensional Video, 3DV)是一种先进的视觉模式，它使人们在 屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维(3D)场景的 需求。通常，三维视频系统如附图说明图1所示，主要包括视频捕获、视频编码、传输解码、虚拟视点 绘制和交互显示等模块。多视点视频加深度(multi-viewvideo plus depth, MVD)是目前 ISO/MPEG 推荐 采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信 息，深度信息的获取目前主要有两种基本途径1)通过深度相机获取；2)通过算法从普通 的二维(2D)视频中生成深度信息。基于深度图像的绘制(D印th Image BasedRendering, DIBR)是一种利用参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法， 其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息 来合成三维场景的虚拟视点图像。由于DIBR将场景的深度信息引入到虚拟视点图像绘制 中，从而大大减少了虚拟视点图像绘制所需的参考视点的数目。目前的DIBR方法着重于对算法进行优化(如如何精确地填充空洞像素点，如何 降低三维图像变换的时间等)来提升绘制的精度和速度，但对于载体图像(彩色图像和深 度图像)对绘制质量的影响却缺乏相关的研究。通过对彩色图像和深度图像的特征分析， 一方面，由于深度是用来表征场景几何的负载信息，深度信息的质量会对后期虚拟视点绘 制产生影响，由于深度图像的编码失真，绘制的虚拟视点图像与真实图像之间会存在几何 失真(也称为结构位置失真)，会在绘制的虚拟视点图像中产生新的空洞，并且深度图像的 编码失真与几何失真不是简单的线性映射关系；另一方面，由于多视点成像会导致采集的 多视点彩色图像的颜色不一致，使得DIBR方法图像融合过程中会出现颜色失真现象，严重 影响绘制图像的主观质量。因此，如何消除深度图像的编码失真和彩色图像的颜色不一致 对绘制的影响，是目前虚拟视点图像需要解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种能够有效地提高虚拟视点彩色图像质量 的绘制方法。本专利技术解决上述技术问题所采用的技术方案为一种虚拟视点彩色图像绘制方 法，其包括以下步骤①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅 深度图像，然后在编码端根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜 色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，再将编码后的K幅彩色图像 及其对应的K幅深度图像经网络传输给解码端；在解码端对编码后的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对 应的K幅深度图像；②将t时刻的第k个参考视点的彩色图像记为j/Ux，>0j，将t时刻的第k个参 考视点的深度图像记为[D^(x，>0j，其中，i = 1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第 3个分量为第二色度分量并记为V，(x, y)表示彩色图像或深度图像中像素点的坐标位置， 1彡k彡K，k的初始值为Ι,/^χ,γ)表示t时刻的第k个参考视点的彩色图像j/^(x，>0j 中坐标位置为(X，y)的像素点的第i个分量的值，(U)表示t时刻的第k个参考视点 的深度图像[D^x,;^中坐标位置为(x，y)的像素点的深度值；③将t时刻的第k个参考视点的深度图像[D^(x，>0j从二维图像平面投影到三维场景平面，得到t时刻的第k个参考视点的深度图像对应的场景深度集合，记为if 1 f 1 1 ) 1 丫f {Zkt(x,y)} = \ -—.DkRt(x,y)· -一---，其中，表示 t 时刻JZf(X^)J,[I233Lf-r) Lfar) J Ζ (X, y)的第k个参考视点的深度图像[Dt(XJ)I对应的场景深度集合(X,中坐标位置为(X， y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；④采用边缘检测算法对t时刻的第k个参考视点的深度图像[D^(x，>0j进行边缘检测，获得边缘分割图像，记为[^(X,>0}，其中，边缘分割图像包括边缘区域；对 t时刻的第k个参考视点的深度图像j/^Jx,；^进行前景和背景的分离处理，得到前背景分 离图像，记为[^,(x，>0j，其中，前背景分离图像[^i(Xj)I包括前景区域和背景区域；⑤根据边缘分割图像f￡^(x，>0j和前背景分离图像[^i(Xj)I将t时刻的第k个参 考视点的深度图像tD^(x，>oj分割成核心内容区域和非核心内容区域；⑥利用两组不同滤波强度的双向滤波器分别对场景深度集合jZf(x,>0}中与t时 刻的第k个参考视点的深度图像j/^(x，>0j的核心内容区域和非核心内容区域中的各个像 素点对应的场景深度值进行滤波处理，得到滤波后的场景深度集合，记为i#(x，>0j;⑦将滤波后的场景深度集合(X,y)}从三维场景平面重新投影到二 维图像平面，得到t时刻的第k个参考视点的深度滤波图像，记为Ki(^)I，{Di ^y)} = IlSSzt^yIl ，其中，表示t时刻的第k个参考视点的深⑧令k' =k+l,k = k'，重复执行步骤②至⑧直至得到t时刻的K个参考视点的 K幅深度滤波图像，K幅深度滤波图像用集合表示为[^，,(x,>0\\<k<K}·,⑨假定当前需绘制的是第k'个虚拟视点，从t时刻的K个参考视点中选择两个 与第k'个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和 第k+Ι个参考视点，将由第k个参考视点绘制得到的第k'个虚拟视点的虚拟视点图像记为i4:f'&，>0j，将由第k+l个参考视点绘制得到的第k'个虚拟视点的虚拟视点图像记为 j/g广(x，_y)j;首先利用t时刻的第k个参考视点的深度图像j/^(x，>0j所提供的深度信息， 然后采用三维图像变换方法逐像素点计算t时刻的第k个参考视点的彩色图像j/^x，>0j 中的各个像素点在当前需绘制的第k'个虚拟视点的虚拟视点图像fdf'(x,>0j中的坐标位 置，得到t时刻的第k个参考视点的彩色图像j/^Xx，>0j中的各个像素点映射到当前需绘制 的第k'个虚拟视点的虚拟视点图像j/^f(x，>0j的坐标映射关系，再利用该坐标映射关系 将t时刻的第k个参考视点的彩色图像f/^Xx，>0j中的各个像素点映射到当前需绘制的第 k'个虚拟视点的虚拟视点图像{/=Γ(χ，>0丨中；采用与由第k个参考视点绘制得到的虚拟视点图像f/^f'(x，>0j相同的方法，将第 k+l个参考视点的彩色图像中的各个像素点映射到需绘制的第k'个虚拟视点 的虚拟视点图像广(XJ)丨中；⑩分别对由第k个参考视点绘制得到的虚拟视点图像和由第k+l个参考视点绘制得到的虚拟视点图像f/本文档来自技高网...

【技术保护点】
一种虚拟视点彩色图像绘制方法，其特征在于包括以下步骤：①获取ｔ时刻的Ｋ个参考视点的Ｋ幅颜色空间为ＹＵＶ的彩色图像及其对应的Ｋ幅深度图像，然后在编码端根据设定的编码预测结构分别对ｔ时刻的Ｋ个参考视点的Ｋ幅颜色空间为ＹＵＶ的彩色图像及其对应的Ｋ幅深度图像进行编码，再将编码后的Ｋ幅彩色图像及其对应的Ｋ幅深度图像经网络传输给解码端；在解码端对编码后的Ｋ幅彩色图像及其对应的Ｋ幅深度图像进行解码，获得解码后的ｔ时刻的Ｋ个参考视点的Ｋ幅彩色图像及其对应的Ｋ幅深度图像；②将ｔ时刻的第ｋ个参考ｋ］（ｘ，ｙ）｝，将ｔ时刻的第ｋ个参考视点的深度图像｛Ｄ↓［Ｒ，ｔ］↑［ｋ］（ｘ，ｙ）｝分割成核心内容区域和非核心内容区域；⑥利用两组不同滤波强度的双向滤波器分别对场景深度集合｛Ｚ↓［ｔ］↑［ｋ］（ｘ，ｙ）｝中与ｔ时刻的第ｋ个参考视点的深度图像｛Ｄ↓［Ｒ，ｔ］↑［ｋ］（ｘ，ｙ）｝的核心内容区域和非核心内容区域中的各个像素点对应的场景深度值进行滤波处理，得到滤波后的场景深度集合，记为｛＊↓［ｔ］↑［ｋ］（ｘ，ｙ）｝；⑦将滤波后的场景深度集合｛＊↓［ｔ］↑［ｋ］（ｘ，ｙ）｝从三维场景平面重新投影到二维图像平面，得到ｔ时刻的第ｋ个参考视点的深度滤波图像，记为｛＊↓［Ｒ，ｔ］↑［ｋ］（ｘ，ｙ）｝，｛＊↓［Ｒ，ｔ］↑［ｋ］（ｘ，ｙ）｝＝｛２５５.＊↓［ｔ］↑［ｋ］（ｘ，ｙ）↑［－１］－（Ｚ↓［ｆａｒ］）↑［－１］／（Ｚ↓［ｎｅａｒ］）↑［－１］－（Ｚ↓［ｆａｒ］）↑［－１］｝，其中，＊↓［Ｒ，ｔ］↑［ｋ］（ｘ，ｙ）表示ｔ时刻的第ｋ个参考视点的深度滤波图像｛＊↓［Ｒ，ｔ］↑［ｋ］（ｘ，ｙ）｝中坐标位置为（ｘ，ｙ）的像素点的深度值，＊↓［ｔ］↑［ｋ］（ｘ，ｙ）表示滤波后的场景深度集合｛＊↓［ｔ］↑［ｋ］（ｘ，ｙ）｝中坐标位置为（ｘ，ｙ）的像素点的场景深度值，Ｚ↓［ｎｅａｒ］表示最小的场景深度值，Ｚ↓［ｆａｒ］表示最大的场景深度值；⑧令ｋ′＝ｋ＋１，ｋ＝ｋ′，重复执行步骤②至⑧直至得到ｔ时刻的Ｋ个参考视点的Ｋ幅深度滤波图像，Ｋ幅深度滤波图像用集合表示为｛＊↓［Ｒ，ｔ］↑［ｋ］（ｘ，ｙ）｜１≤ｋ≤Ｋ｝；⑨假定当前需绘制的是第ｋ′个虚拟视点，从ｔ时刻的Ｋ个参考视点中选择两个与第ｋ′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第ｋ个参考视点和第ｋ＋１个参考视点，将由第ｋ个参考视点绘制得到的第ｋ′个虚拟视点的虚拟视点图像记为｛Ｉ↓［Ｄ，ｔ，ｉ］↑［ｋ→ｋ′］...

【技术特征摘要】
一种虚拟视点彩色图像绘制方法，其特征在于包括以下步骤①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，然后在编码端根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，再将编码后的K幅彩色图像及其对应的K幅深度图像经网络传输给解码端；在解码端对编码后的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；②将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤k≤K，k的初始值为1，表示t时刻的第k个参考视点的彩色图像中坐标位置为(x，y)的像素点的第i个分量的值，表示t时刻的第k个参考视点的深度图像中坐标位置为(x，y)的像素点的深度值；③将t时刻的第k个参考视点的深度图像从二维图像平面投影到三维场景平面，得到t时刻的第k个参考视点的深度图像对应的场景深度集合，记为其中，表示t时刻的第k个参考视点的深度图像对应的场景深度集合中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；④采用边缘检测算法对t时刻的第k个参考视点的深度图像进行边缘检测，获得边缘分割图像，记为其中，边缘分割图像包括边缘区域；对t时刻的第k个参考视点的深度图像进行前景和背景的分离处理，得到前背景分离图像，记为其中，前背景分离图像包括前景区域和背景区域；⑤根据边缘分割图像和前背景分离图像将t时刻的第k个参考视点的深度图像分割成核心内容区域和非核心内容区域；⑥利用两组不同滤波强度的双向滤波器分别对场景深度集合中与t时刻的第k个参考视点的深度图像的核心内容区域和非核心内容区域中的各个像素点对应的场景深度值进行滤波处理，得到滤波后的场景深度集合，记为⑦将滤波后的场景深度集合从三维场景平面重新投影到二维图像平面，得到t时刻的第k个参考视点的深度滤波图像，记为其中，表示t时刻的第k个参考视点的深度滤波图像中坐标位置为(x，y)的像素点的深度值，表示滤波后的场景深度集合中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；⑧令k′＝k+1，k＝k′，重复执行步骤②至⑧直至得到t时刻的K个参考视点的K幅深度滤波图像，K幅深度滤波图像用集合表示为⑨假定当前需绘制的是第k′个虚拟视点，从t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，将由第k个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为将由第k+1个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为首先利用t时刻的第k个参考视点的深度图像所提供的深度信息，然后采用三维图像变换方法逐像素点计算t时刻的第k个参考视点的彩色图像中的各个像素点在当前需绘制的第k′个虚拟视点的虚拟视点图像中的坐标位置，得到t时刻的第k个参考视点的彩色图像中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像的坐标映射关系，再利用该坐标映射关系将t时刻的第k个参考视点的彩色图像中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像中；采用与由第k个参考视点绘制得到的虚拟视点图像相同的方法，将第k+1个参考视点的彩色图像中的各个像素点映射到需绘制的第k′个虚拟视点的虚拟视点图像中；⑩分别对由第k个参考视点绘制得到的虚拟视点图像和由第k+1个参考视点绘制得到的虚拟视点图像进行颜色传递操作，得到颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和由第k+1个参考视点绘制得到的虚拟视点图像，分别记为和采用图像融合方法融合颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像得到融合后的虚拟视点图像，记为并对融合后的虚拟视点图像中的空洞像素点进行填补，得到最终的虚拟视点图像，记为{ID，t，i(x，y)}；重复执行步骤⑨至直至得到K个虚拟视点的K幅虚拟视点图像。FDA0000025849960000011.tif,FDA0000025849960000012.tif,FDA0000025849960000013.tif,FDA0000025849960000014.tif,FDA0000025849960000015.tif,FDA0000025849960000016.tif,FDA0000025849960000017.tif,FDA0000025849960000018.tif,FDA0000025849960000019.tif,FDA00000258499600000110.tif,FDA00000258499600000111.tif,FDA00000258499600000112.tif,FDA00000258499600000113.tif,FDA00000258499600000114.tif,FDA00000258499600000115.tif,FDA00000258499600000116.tif,FDA0000025849960000021.tif,FDA0000025849960000022.tif,FDA0000025849960000023.tif,FDA0000025849960000024.tif,FDA0000025849960000025.tif,FDA0000025849960000026.tif,FDA0000025849960000027.tif,FDA0000025849960000028.tif,FDA0000025849960000029.tif,FDA00000258499600000210.tif,FDA00000258499600000211.tif,FDA00000258499600000212.tif,FDA00000258499600000213.tif,FDA00000258499600000214.tif,FDA00000258499600000215.tif,FDA00000258499600000216.tif,FDA00000258499600000217.tif,FDA00000258499600000218.tif,FDA00000258499600000219.tif,FDA00000258499600000220.tif,FDA00000258499600000221.tif,FDA0000025849960000031.tif,FDA0000025849960000032.tif,FDA0000025849960000033.tif,FDA0000025849960000034.tif,FDA0000025849960000035.tif,FDA0000025849960000036.tif,FDA0000025849960000037.tif,FDA0000025849960000038.tif,FDA0000025849960000039.tif,FDA00000258499600...

【专利技术属性】
技术研发人员：邵枫，蒋刚毅，郁梅，
申请(专利权)人：宁波大学，
类型：发明
国别省市：97[中国|宁波]