利用深度信息的视频编码方法及装置制造方法及图纸

公开了一种利用深度信息的视频编码方法及装置。根据一个实施例的利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元LCU(Largest Coding Unit)的深度值分部信息；基于所述深度值分部信息，预测所述LCU的分割结构后补；及基于编码效率及画质信息中至少任何一个，决定所述LCU的分割结构后补中的最佳分割结构。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及利用深度信息的视频编码，涉及利用深度信息诱导个体信息，有效地编码图像的方法及装置。
技术介绍
深度信息图像被广泛地活用在三维视频编码中，如Xbox游戏机的体感(Kinect)摄像机、英特尔SENZ3D网络摄像头、IPad的iSense 3D扫描器、谷歌Tango智能手机等，配置在新的输入装置的深度信息射线机，可活用在多样的三维及二维应用程序。一方面，由深度信息摄像机的大众化及普及，二维/三维应用程序通过更多样的二维/三维应用服务器成为大众化过程中，由此，在往后多媒体摄像机系统包括深度信息摄像机，可进行多样的信息活用。
技术实现思路
技术课题本专利技术的目的是编码二维视频时，利用深度信息，提供没有性能热化且可进行有效编码的图像编码方法及装置。技术方案根据一个实施例，利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元LCU(Largest Coding Unit)的深度值分部信息；基于所述深度值分部信息，预测所述LCU的分割结构后补；及基于编码效率及画质信息中至少任何一个，决定所述LCU的分割结构后补中的最佳分割结构。根据其他一个实施例，利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元LCU(Largest Coding Unit)的深度值分部信息；基于包括在所述LCU的编码单元CU(Coding Unit)的深度值分部信息，预测所述编码单元的个体结构；及基于所述CU的个体结构预测，省略率失真费用计算中一部分，决定所述最大编码单元分割结构后补中的最佳分割结构。又根据其他一个实施例，利用深度信息的图像编码方法，其步骤包括：从深度图像提取当前编码单元CU(Coding Unit)的深度值分部信息；及基于所述深度值分部信息，确认所述当前CU是否由单一个体形成，且根据所述当前CU由单一个体形成与否，预测所述当前CU的分割结构。根据一个实施例，利用深度信息的图像编码装置，其包括：深度值提取单元，从深度图像提取当前最大编码单元LCU(Largest Coding Unit)的深度值分部信息；分割结构预测单元，基于所述深度值分部信息，预测所述LCU的分割结构后补；及最佳分割结构决定单元，基于编码效率及画质信息中至少任何一个，决定所述LCU的分割结构后补中的最佳分割结构。根据其他实施例，利用深度信息的图像编码装置，其包括：深度值提取单元，从深度图像提取当前最大编码单元LCU(Largest Coding Unit)的深度值分部信息；个体结构预测单元，基于包括在所述LCU的CU的深度值分部信息，预测所述CU的个体结构；及最佳分割结构决定单元，基于所述CU的个体结构预测，省略率失真费用计算中一部分，决定所述LCU的分割结构后补中的最佳分割结构。又根据其他一个实施例，利用深度信息的图像编码装置，其包括：深度值提取单元，从深度图像提取当前最大编码单元LCU(Largest Coding Unit)的深度值分部信息；及分割结构预测单元，基于所述深度值分部信息，确认所述当前CU是否由单一个体形成，且根据所述当前CU由单一个体形成与否，预测所述当前CU的分割结构。技术效果根据本专利技术的实施例，利用从深度信息摄像机获得的深度信息图像，编码二维普通图像，可执行对二维图像的有效地编码。附图说明图1是示出对普通图像及普通图像深度信息图的示例图。图2是示出体感输入装置的示例图。图3是示出网络摄像头产品。图4是示出iSense 3D扫描器装置。图5是示出谷歌Tango智能手机。图6是示出说明高效视频编程HEVC编码装置。图7是示出在智能手机适用HEVC编码器的图像编码的示例。图8是示出在智能手机包括深度图像的HEVC的示例。图9是示出图像由多个单元分割的示例。图10是示出由LCU单位决定CU分割结构的示例。图11是示出将图像分割为多个预测单元的示例。图12是示出普通图像的示例。图13是示出对图12的普通图像的深度信息图的示例。图14是示出根据本专利技术的一个实施例的图像编码方法。图15是示出根据本专利技术的其他一个实施例的图像编码方法。图16是示出根据本专利技术的其他另一个实施例的图像编码方法。图17是示出根据本专利技术的实施例的LCU单位最佳CU分割结构决定方法的流程。图18是示出根据本专利技术的一个实施例的CU分割早期结束过程的流程。图19是示出CU的深度值分布示例。图20是示出根据本专利技术的一个实施例的CU分割早期结束过程的其他示例的流程。图21是示出CU的个体构成的多样示例。图22及图23是示出根据本专利技术的实施例的图像编码方法。图24是示出根据本专利技术的一个实施例的分割结构决定简化过程。图25是示出根据本专利技术的一个实施例的分割结构决定简化过程的其他示例。图26是示出根据本专利技术的一个实施例的图像编码装置的构成。具体实施方式以下内容只预示本专利技术的原理。因此，虽然在本说明书没有明确地说明或示出，但从业者可专利技术体现本专利技术的原理，包括在本专利技术的概念和范围的多样的装置。此外，在本说明书列举的所有条件用语及实施例原则上被理解为，本专利技术的概念仅被理解的目的的明确的意图，且不受限于如此特别列举的实施例及状态。例如，本说明书的框图被理解为，显示具体化本专利技术原理的示例性回路的概念性观点。与此类似的，所有的流程、状态变换图、助记码等被理解为，可实质性的显示在计算机可判读的媒体，且无论计算机或处理器明确地示出与否，显示由计算机或处理器被执行的多样过程。以下，参照附图对本专利技术的实施例进行详细地说明。图1是示出对普通图像及普通图像深度信息图的示例图。图2是示出手感输入装置的示例图。参照图1，图1的A通过摄像机实际拍摄的图像，且B是对实际图像的深度图像，即显示深度信息图像(或深度信息图)。深度信息(Depth Information)意味着显示摄像机和实际事物间距离的信息。这些深度信息图像主要被活用在用于生成三维虚拟视点图像，且作为实际与此有关的研究，在国际标准化组织ISO(International Standardization Organization)/国际电工技术委员会IEC(International Electrotechnical Commission)的运动图像专家组MPEG(Moving Picture Experts Group)和国际电信联盟电信标准化部ITU-T(International Telecommunication Union Telecommunication Standardization Sector)视频编码专家组VCEG(Video Coding Experts Group)共同标准化组的三维视频编码扩展开发联合协作组JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)正在进行三维视频标准化。三维视频标准包括普通图像和利用其深度信息图像的立体图像，及可支持自由立体图像播放等的，进步的数据形式和有关此技术的标准。2010年11月微软发布了由XBOX-360游戏设备的新输入装置的体感(Kinect)传感器，但是，此装置是认知人的动作，连接在计算机系统的装置，包括在图2示出的分量配置RGB摄像机及三维深度传感器本文档来自技高网...

【技术保护点】
一种利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元的深度值分部信息；基于所述深度值分部信息，预测所述最大编码单元的分割结构后补；及基于编码效率及画质信息中至少任何一个，决定所述最大编码单元的分割结构后补中的最佳分割结构。

【技术特征摘要】
【国外来华专利技术】2014.03.28 KR 10-2014-0037276;2014.05.16 KR 10-2011.一种利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元的深度值分部信息；基于所述深度值分部信息，预测所述最大编码单元的分割结构后补；及基于编码效率及画质信息中至少任何一个，决定所述最大编码单元的分割结构后补中的最佳分割结构。2.根据权利要求1所述的利用深度信息的图像编码方法，其特征为，预测所述最大编码单元的分割结构后补的步骤包括：确认包括在所述当前最大编码单元的编码单元的深度值分部信息；及基于所述编码单元的深度值分部信息，确认所述编码单元是否由单一个体形成，且所述编码单元由单一个体形成时，结束所述编码单元的分割结构后补预测。3.根据权利要求2所述的利用深度信息的图像编码方法，其特征为，所述编码单元是否由单一个体形成是，包括在所述编码单元的深度值分部信息的最大值及最小值的差为已设定的值以下时，判断所述编码单元由单一个体形成。4.根据权利要求2所述的利用深度信息的图像编码方法，其特征为，所述编码单元是否由单一个体形成是，所述编码单元的四角深度值中的最大值及最小值的差为已设定的值以下时，判断所述编码单元由单一个体形成。5.根据权利要求1所述的利用深度信息的图像编码方法，其特征为，预测所述最大编码单元的分割结构后补的步骤包括：考虑包括在所述当前最大编码单元的编码单元大小、包括在所述编码单元的深度值分部信息的最大值及最小值的差、所述编码单元的编码模式是否为跳跃模式中至少一个，决定所述编码单元的分割与否的过程。6.根据权利要求5所述的利用深度信息的图像编码方法，其特征为，预测所述最大编码单元的分割结构后补的步骤包括：所述编码单元的大小为已设定的值以上，所述编码单元的四角深度值中，最大值及最小值的差为已设定的基准值以下，且所述编码单元由跳跃模式被编码时，决定不分割所述编码单元的过程。7.根据权利要求5所述的利用深度信息的图像编码方法，其特征为，预测所述最大编码单元的分割结构后补的步骤包括：所述编码单元的大小比已设定的值小，所述最大编码单元及所述编码单元各个的四角深度值都是相同的值，且所述编码单元的参照编码单元的大小为所述已设定的值以上，所述参照编码单元由跳跃模式被编码时，决定不分割所述编码单元的过程。8.根据权利要求1所述的利用深度信息的图像编码方法，其特征为，在所述最佳分割结构决定步骤中，基于所述深度值分布信息，预测所述编码单元的个体结构，且基于所述编码单元的个体结构预测，省略率失真费用计算中的一部分，决定最佳分割结构。9.一种利用深度信息的图像编码方法，其步骤包括：提取当前最大编码单元的深度值分部信息；基于包括在所述最大编码单元的编码单元的深度值分部信息，预测所述编码单元的个体结构；及基于所述编码单元的个体结构预测，省略率失真费用计算中一部分，决定所述最大编码单元分割结构后补中的最佳分割结构。10.根据权利要求9所述的利用深度信息的图像编码方法...

【专利技术属性】
技术研发人员：朴光勋，金泰煜，李润辰，
申请(专利权)人：庆熙大学校产学协力团，
类型：发明
国别省市：韩国;KR