深度图像的压缩恢复方法、装置、设备及存储介质制造方法及图纸

本发明专利技术适用计算机技术领域，提供了一种深度图像的压缩恢复方法、装置、移动终端及存储介质，该方法包括：接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量，进而提高了用户体验。

Compression recovery method, device, device and storage medium for depth image

The invention is applied to computer technology, provides a depth image compression recovery method and device, mobile terminal and storage medium, the method comprises: receiving input to restore the depth image recovery request, to restore the depth image associated with a texture image corresponding to the texture image, and to restore the depth of image preprocessing. To get the texture image and depth image to restore the high frequency information, the texture image's high frequency information, to restore the depth image of the high frequency information and to restore the depth image are input to the preset depth image recovery model Y model, D model and branch branch branch M model, Y model, D model Branch Branch recovery characteristics the image of the input to the M branch model, through the M branch model to restore the depth image to restore the corresponding depth image, thus improving the depth image The compression recovery quality is improved, and the user experience is improved.

【技术实现步骤摘要】
深度图像的压缩恢复方法、装置、设备及存储介质
本专利技术属于计算机
，尤其涉及一种深度图像的压缩恢复方法、装置、设备及存储介质。
技术介绍
在3D计算机图形学中，深度图像包含了视点与场景物体表面的距离信息。传统的机器视觉是把三维物体投影成二维图像，通过物体的特征、图像数据和成像过程之间的关系来恢复出三维景物。深度信息在三维重构起到了关键的作用。发送立体视频(左视图和右视图)能够提供3D体验，但是具有显著的限制。为了减少传输视图的数量，纹理加深度的格式已被广泛接受。这种方法是将几个视点的颜色信息和深度信息一起传输，然后使用基于深度图像的渲染(depth-image-basedrendering，简称DIBR)技术合成虚拟视图。重建3D场景需要获取纹理信息和深度信息，高分辨的深度图像在存储和传输过程中都会占用大量的空间。因此，深度图像需要被压缩，以提高空间的利用率和传输效率。但压缩后的深度图像会存在模糊、块状等失真，这些失真会进一步导致3D场景绘制的失真。有损压缩能够用较大的压缩比压缩图像，但有损压缩的图像是不可逆的。所以，图像压缩恢复也是人们一直研究的方向。早些年，很多研究者设计很多种平滑滤波器从空域或者变换域去除块状效应。Luo等人提出在空域和离散余弦变换(DiscreteCosineTransform，简称DCT)自适应去除块状效应；Singh等人提出的模型能够实现用不同的滤波器对平滑和不平滑区域进行滤波。形状自适应离散余弦变换(ShapeAdaptiveDiscreteCosineTransform，简称SA-DCT)可能是目前最受欢迎得去块状效应的方法。通过计算，它能够变换滤波的形状大小来重建图像清晰的边缘。然而，这些滤波器可能会对图像进行过度平滑，造成图像的边缘模糊。近年来，卷积神经网络(ConvolutionalNeuralNetwork，简称CNN)通过训练数据来学习特征检测，以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性。CNN在图像复原邻域同样表现出卓越的性能。Dong等人提出的(Super-ResolutionConvolutionalNeuralNetwork，简称SRCNN)模型说明了端对端的数据通信网络(DataCommunicationNetwork，简称DCN)存在解决图像超分辨的潜能。DeeperSRCNN通过增加层数来使图像恢复更好。但是，他们提出的算法主要是对图像进行超分辨分析的,去块状的效果较差。伪影消除卷积神经网络(ArtifactsReductionConvolutionalNeuralNetwork，简称AR-CNN)在SRCNN的基础上，针对的JPEG、JPEG2000、Twitter等压缩后的图像进行恢复。虽说这是一个更加普遍性的模型，但他们的模型用于恢复纹理图像，纹理图像和深度图像存在明显的不同。
技术实现思路
本专利技术的目的在于提供一种深度图像的压缩恢复方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的深度图像的压缩恢复方法，导致深度图像的压缩恢复质量不好、用户体验不佳的问题。一方面，本专利技术提供了一种深度图像的压缩恢复方法，所述方法包括下述步骤：接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。另一方面，本专利技术提供了一种深度图像的压缩恢复装置，所述装置包括：请求接收单元，用于接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；图像预处理单元，用于对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；对应输入单元，用于将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；以及图像恢复单元，用于将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。另一方面，本专利技术还提供了一种深度图像的压缩恢复设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述深度图像的压缩恢复方法的步骤。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述深度图像的压缩恢复方法的步骤。本专利技术接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量，进而提高了用户体验。附图说明图1是本专利技术实施例一提供的深度图像的压缩恢复方法的实现流程图；图2是本专利技术实施例二提供的深度图像的压缩恢复装置的结构示意图；图3是本专利技术实施例二提供的深度图像的压缩恢复装置的优选结构示意图；以及图4是本专利技术实施例三提供的深度图像的压缩恢复设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的深度图像的压缩恢复方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，接收输入的待恢复深度图像的恢复请求，该待恢复深度图像关联有对应的纹理图像。本专利技术实施例适用于压缩后深度图像的恢复系统，以方便进行压缩后的深度图像的恢复。在本专利技术实施例中，首先接收用户输入的待恢复深度图像的恢复请求，其中，待恢复深度图像关联有对应的纹理图像，以用于辅助进行待恢复深度图像的恢复。优选地，在接收输入的待恢复深度图像的恢复请求之前，首先构建深度图像恢复模型。具体地，在构建深度图像恢复模型时，首先构建深度图像恢复模型的Y分支模型，构建的Y分支模型包含2个卷积层：然后构建该深度图像恢复模型的D分支模型，构建的D分支模型包含2个卷积层：最后构建该深度图像恢复模型的M分支模型，构建的M分支模型包含5个卷积层：其中，“*”表示卷积操作，为滤波器，为偏置向量。进一步优选地，构建深度图像恢复模型的步骤之后，接收输入的待恢复深度图像的恢复请求的步骤之前，首先接收输入的训练集，该训练集包括无压缩的纹理图像、无压缩的深度图像和对应的压缩后深度图像，然后本文档来自技高网...

【技术保护点】
一种深度图像的压缩恢复方法，其特征在于，所述方法包括下述步骤：接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。

【技术特征摘要】
1.一种深度图像的压缩恢复方法，其特征在于，所述方法包括下述步骤：接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。2.如权利要求1所述的方法，其特征在于，接收输入的待恢复深度图像的恢复请求的步骤之前，所述方法还包括：构建所述深度图像恢复模型；构建所述深度图像恢复模型的步骤，包括：构建所述深度图像恢复模型的所述Y分支模型，所述的Y分支模型的卷积层为构建所述深度图像恢复模型的所述D分支模型，所述D分支模型的卷积层为构建所述深度图像恢复模型的所述M分支模型，所述M分支模型的卷积层为所述所述所述“*”表示卷积操作，所述为滤波器，所述为偏置向量。3.如权利要求2所述的方法，其特征在于，构建所述深度图像恢复模型的步骤之后，接收输入的待恢复深度图像的恢复请求的步骤之前，所述方法还包括：接收输入的训练集，所述训练集包括无压缩的纹理图像、无压缩的深度图像和压缩后的深度图像；对所述训练集中的无压缩的纹理图像、无压缩的深度图像和压缩后的深度图像进行预处理，获取所述无压缩的纹理图像和所述压缩后深度图像的高频信息；将所述无压缩的纹理图像的高频信息、所述压缩后深度图像的高频信息和所述压缩后深度图像分别输入到预先构建的所述深度图像恢复模型的所述Y分支模型、D分支模型和M分支模型，对所述深度图像恢复模型的所述Y分支模型、D分支模型和M分支模型进行训练，计算所述训练的损失函数，更新所述深度图像恢复模型的所述滤波器和所述偏置向量；当未达到预设的迭代次数时，重复进行所述训练和更新步骤，直至达到所述迭代次数时，将所述训练后的深度图像恢复模型设置为所述预设的深度图像恢复模型。4.如权利要求3所述的方法，其特征在于，计算所述训练的损失函数的步骤，包括：使用公式计算所述训练的损失函数，所述N为所述训练集中训练目标的数量，所述为恢复得到的深度图像，所述为对应的纹理图像，所述i表示每一次训练，所述θ为待优化参数，包括所述滤波器和所述偏置向量。5.如权利要求1所述的方法，其特征在于，对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息的步骤...

【专利技术属性】
技术研发人员：王旭，张乒乒，江健民，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44