用于3D视频的图像处理方法和设备技术

本发明专利技术提供了一种用于三维（3D）视频的图像处理方法和设备。所述图像处理方法可包括：识别第一深度图像，并将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。

【技术实现步骤摘要】
【国外来华专利技术】用于3D视频的图像处理方法和设备
一个或多个示例实施例涉及一种用于三维(3D)视频的图像处理方法和设备，更具体地讲，涉及一种用于对输入的分辨率比对应彩色图像的分辨率更低的深度图像进行处理的方法。
技术介绍
三维(3D)视频向用户提供具有深度感和比二维(2D)视频更现实的感觉的图像。3D视频系统使用包括比立体3D图像更多的视图的图像来提供3D视频服务。3D视频系统使用包括多个彩色图像和多个深度图像的数据格式。深度图像用于产生虚拟视图的合成图像。在本实例中，深度图像中除深度区域之外的区域具有简单且平坦的特性。此外，深度图像可从彩色图像估计或计算，或者可使用能够输出深度图像的相机来获得。在本实例中，深度图像可具有比彩色图像的分辨率更低的分辨率。由于深度图像的这个特性，在基于多视图的视频格式中，深度图像的分辨率可不同于彩色图像的分辨率。在本实例中，需要一种对深度图像与彩色图像之间的分辨率的差进行处理以对彩色图像进行编码或解码的方法。
技术实现思路
问题的解决方案前述方面和/或其他方面通过提供这样一种图像处理方法来实现，该图像处理方法包括:识别第一深度图像，并将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。将第一深度图像上采样为第二深度图像的步骤可包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像。膨胀滤波器可通过使用与邻近像素对应的像素值之中的最高像素值来确定通过上采样而产生的新像素的像素值。将第一深度图像上采样为第二深度图像的步骤可包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像，所述膨胀滤波器具有基于第一深度图像的特性信息而调整的大小。前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:识别第一深度图像，将第一深度图像上采样为第二深度图像，并扩大第二深度图像的前景区域。所述图像处理方法还可包括从第二深度图像的边缘区域去除伪像。将第一深度图像上采样为第二深度图像的步骤可包括:通过对第一深度图像进行插值来将第一深度图像上采样为第二深度图像。扩大第二深度图像的前景区域的步骤可包括:通过将膨胀滤波器应用于第二深度图像来扩大第二深度图像的前景区域。前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:通过对第一深度图像进行重采样来输出第二深度图像，使用第二深度图像来预测彩色图像，并基于所述预测来对所述彩色图像进行编码。通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，并扩大第二深度图像的前景区域。通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，应用滤波器来从第二深度图像的边缘区域去除伪像，并扩大经过滤波的第二深度图像的前景区域。所述图像处理方法还可包括对用于对第一深度图像进行重采样的膨胀滤波器的大小进行编码。前述方面和/或其他方面还通过提供这样一种图像处理方法来提供，该图像处理方法包括:在三维(3D)视频编码器中，通过环内重采样来将第一深度图像上采样为第二深度图像，在3D视频编码器中，使用经过上采样的第二深度图像来执行彩色图像的视图合成预测，并在3D视频编码器中，基于所述预测来对所述彩色图像进行编码。前述方面和/或其他方面还通过提供这样一种图像处理方法来提供，该图像处理方法包括:通过对从比特流提取的第一深度图像进行重采样来输出第二深度图像，使用第二深度图像来预测从所述比特流提取的彩色图像，并基于所述预测来对所述彩色图像进行解码。通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，并扩大第二深度图像的前景区域。通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，应用滤波器以从第二深度图像的边缘区域去除伪像，并扩大经过滤波的第二深度图像的前景区域。通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:基于所述比特流中包括的膨胀滤波器的大小来对第一深度图像进行重采样。前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:在3D视频解码器中，通过环内重采样将比特流中包括的第一深度图像上采样为第二深度图像，在3D视频解码器中，使用经过上采样的第二深度图像来执行所述比特流中包括的彩色图像的视图合成预测，并在3D视频解码器中，基于所述预测来对所述彩色图像进行解码。前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:识别解码的深度图像，并且当所述深度图像的分辨率不同于彩色图像的分辨率时，通过后处理将所述深度图像重采样为所述彩色图像的分辨率。前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:确定深度图像的分辨率是否等于彩色图像的分辨率，并且当所述深度图像的分辨率等于所述彩色图像的分辨率时，通过预处理对所述深度图像进行下采样。前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:图像识别单元，识别第一深度图像；以及上采样单元，将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:图像识别单元，识别第一深度图像；上采样单元，将第一深度图像上采样为第二深度图像；以及区域扩大单元，使用膨胀滤波器来扩大经过上采样的第二深度图像的前景区域。前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:上采样单元，通过对经过下采样的第一深度图像进行重采样来输出经过上采样的第二深度图像；预测单元，使用第二深度图像来预测彩色图像；以及图像编码单元，基于所述预测来对所述彩色图像进行编码。前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:上采样单元，通过对比特流中包括的经过下采样的第一深度图像进行重采样来输出经过上采样的第二深度图像；预测单元，使用第二深度图像来预测所述比特流中包括的彩色图像；以及图像编码单元，基于所述预测来对所述彩色图像进行解码。前述方面和/或其他方面还通过提供一种调整深度图像的方法来实现。该方法包括:确定具有低于对应彩色图像的分辨率的深度图像；当深度图像被确定为具有低于对应彩色图像的分辨率时，对深度图像进行上采样，以用于提高深度图像的分辨率；并且通过将膨胀滤波器应用于经过上采样的深度图像来扩大经过上采样的深度图像的前景区域，其中，基于深度图像的分辨率来确定膨胀滤波器的大小。前述方面和/或其他方面还通过提供一种包括用于产生多视图的设备的3维显示器来实现。该3维显示器包括:处理器，控制一个或多个处理器可执行单元；图像识别单元，确定具有低于对应彩色图像的分辨率的深度图像；以及上采样单元，当深度图像被确定为具有低于对应彩色图像的分辨率时本文档来自技高网...

【技术保护点】
一种图像处理方法，包括：识别第一深度图像；和将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。

【技术特征摘要】
【国外来华专利技术】2012.04.16 KR 10-2012-0039313;2012.07.06 KR 10-201.一种图像处理方法，包括: 识别第一深度图像；和 将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。2.根据权利要求1所述的方法，其中，将第一深度图像上采样为第二深度图像的步骤包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像。3.根据权利要求2所述的方法，其中，所述膨胀滤波器通过使用与邻近像素对应的像素值之中的最高像素值来确定通过上采样而产生的新像素的像素值。4.根据权利要求2所述的方法，其中，将第一深度图像上采样为第二深度图像的步骤包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像，其中，所述膨胀滤波器具有基于第一深度图像的特性信息而调整的大小。5.—种图像处理方法,包括: 识别第一深度图像； 将第一深度图像上采样为第二深度图像；和 扩大第二深度图像的前景区域。6.根据权利要求5所述的方法，还包括: 从第二深度图像的边缘区域去除伪像。7.根据权利要求5所述的方法，其中，将第一深度图像上采样为第二深度图像的步骤包括:通过对第一深度图像进行插值来将第一深度图像上采样为第二深度图像。8.根据权利要求7所述的方法，其中，扩大第二深度图像的前景区域的步骤包括:通过将膨胀滤波器应用于第二深度图像来扩大第二深度图像的前景区域。9.一种图像处理方法，包括: 通过对第一深度图像进行重采样来输出第二深度图像； 使用第二深度图像来预测彩色图像；和 基于所述预测来对所述彩色图像进行编码。10.根据权利要求9所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。11.根据权利要求9所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像；和 扩大第二深度图像的前景区域。12.根据权利要求9所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像； 应用滤波器来从第二深度图像的边缘区域去除伪像；和 扩大经过滤波的第二深度图像的前景区域。13.根据权利要求9所述的方法，还包括: 对在对第一深度图像进行重采样中使用的膨胀滤波器的大小进行编码。14.一种图像处理方法，包括:在三维(3D)视频编码器中，通过环内重采样来将第一深度图像上采样为第二深度图像； 在3D视频编码器中，使用经过上采样的第二深度图像来执行彩色图像的视图合成预测；和 在3D视频编码器中，基于所述预测来对所述彩色图像进行编码。15.—种图像处理方法,包括: 通过对从比特流提取的第一深度图像进行重采样来输出第二深度图像； 使用第二深度图像来预测从所述比特流提取的彩色图像；和 基于所述预测来对所述彩色图像进行解码。16.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。17.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像；和 扩大第二深度图像的前景区域。18.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像； 应用滤波器来从第二深度图像的边缘区域去除伪像；和 扩大经过滤波的第二深度图像的前景区域。19.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括:基于所述比特流中包括的膨胀滤波器的大小来对第一深度图像进行重采样。20.—种图像处理方法，包括: 在三维(3D)视频解码器中，通过环内重采样将比特流中包括的第一深度图像上采样为第二深度图像； 在3D视频解码器中，使用经过上采样的第二深度图像来执行所述比特流中包括的彩色图像的视图合成预测；和 在3D视频解码器中，基于所述预测来对所述彩色图像进行解码。21.—种图像处理方法，包括: 识别解码的深度图像；和 当所述深度图像的分辨率不同于彩色图像的分辨率时，通过后处理将所述深度图像重采样为所述彩色图像的分辨率。22.—种图像处理方法，包括: 确定深度图像的分辨率是否等于彩色图像的分辨率；和 当所述深度图像的分辨率等于所述彩色图像的分辨率时，通过预处理对所述深度图像进行下采样。23.一种图像处理方法，包括:通过参照深度图像来使彩色图像翘曲； 基于所述彩色图像的翘曲结果来执行视图合成预测；和 基于所述视图合成预测来对所述彩色图像进行编码。24.根据权利要求23所述的方法，其中，使彩色图像翘曲的步骤包括:在邻近视图的深度图像的像...

【专利技术属性】
技术研发人员：李硕，魏浩千，李承信，吴官锭，李在濬，
申请(专利权)人：三星电子株式会社，
类型：
国别省市：