3D图像数据分割的方法和装置制造方法及图纸

本发明专利技术提供了一种基于多个视图之间的局部特征对应关系的3D图像数据的实时对象分割的方法和装置。为了减少3D图像数据的对象分割的计算工作量，基于关于图像数据的局部特征的对应关系和深度图执行分割过程。这样，计算工作量可以显著减少，而且图像分割可以快速执行。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】3D图像数据分割的方法和装置 说明书 本专利技术涉及一种3D图像数据分割的方法和装置。具体而言，本专利技术涉及一种基于 局部特征对应关系的3D图像数据中的实时对象分割的方法和装置。
技术介绍
近来，已经可以向用户呈现3D图像内容。预期在未来几年内3D设备和视频内容 的量将迅速增加。-方面，当前的3D显示技术可以重建聚合效应，S卩，两只眼睛在相反方向的垂直 旋转以维持双目视觉。另一方面，由于所得图像显示在平面上，所以适应性条件等其它重要 深度线索在焦距变化时无法准确地再现。因此，在较远屏幕上显示较近对象时，较强的正视 差可能会导致视觉体验不佳。已为标准电影屏幕优化的视频内容看起来与电视屏幕或手持 式显示设备上的完全不同。因此，图像数据，尤其是与观察者距离最近和最远的对象的深度 值的差异必须适配不同应用的特殊属性以维持高质量的深度知觉。该操作被称为为内容重 定向或内容重映射。内容重定向通常是指为了将内容适配为所需上下文而对图像或视频帧进行的调 整。在3D视频内容领域，内容重定向执行与3D视频序列有关的深度范围的调整以根据终 端能力和视距来优化感知。调整深度最直接的方式是根据可用深度范围线性地移动深度。 然而，这可能会导致场景中对象的扁平化。或者，可以执行非线性深度调整。非线性深度调 整可能允许对例如前景中的全部对象应用位移。这可能导致3D用户体验的明显改善。此 外，非线性深度调整在场景操作中提供更多的自由。为了执行非线性深度调整，需要识别3D场景中的唯一对象。这样，可以在重定向 阶段执行各个对象的深度值的独立操作。例如，前景对象可以移至图像最前面。背景对象 可以移至后面。被分割的对象的不同部分之间的深度比仍可以保留。然而，用于重定向的传统方法，特别是用于非线性深度操作中的图像分割的传统 方法，通常分析图像的各个像素。由于图像中存在大量像素，所以这些方法需要庞大的计算 资源。如上所述，3D设备数量稳步增长。为了使3D视频内容适配各个设备，每个设备必 须对图像数据进行重定向。然而，诸如移动设备之类的小型设备只能提供有限的计算能力。因此，需要一种提供3D图像内容的有效图像分割的方法和装置。 同样需要3D图像内容的图像分割，其可实时应用于计算资源有限的3D图像设备 上。
技术实现思路
根据第一方面，提供了一种3D图像的3D图像数据分割方法。所述3D图像包括所 述图像的至少两个视图，所述图像的第一视图和所述图像的第二视图。所述方法包括确定 所述3D图像的第一视图的局部特征；确定所述3D图像的第二视图的局部特征；确定所述 3D图像的所述第一视图和所述第二视图的所述确定的局部特征之间的局部特征对应关系； 以及基于所述3D图像的所述确定的局部特征对应关系和深度图将所述3D图像数据分割为 多个深度区域。 通过分析所述局部特征对应关系，可以确定有关3D图像中相邻对象的非常可靠 信息。这样，一种识别图像数据中的对象从而允许实时分割3D图像数据的非常有效方法是 有可能的。 根据如上所述第一方面的所述方法的第一实施形式，所述分割还包括量化所述3D 图像的所述深度图；以及通过确定具有相同量化深度值的相邻深度图元素识别所述深度区 域。 根据所述第一方面的所述第一实施形式的所述方法的第二实施形式，所述分割还 包括计算所述第一和所述第二视图中的对应局部特征的空间位移值，将所述空间位移值与 预定位移值进行比较，以及消除所述空间位移值大于所述预定位移值的错误或有误局部特 征对应关系。 这样，具有较大空间位移值的异常值可以很容易识别和消除，以便实现非常可靠 的3D图像数据分割。 根据所述第一方面的所述第二实施形式的所述方法的第三实施形式，所述分割还 包括计算所述深度区域内的所述空间位移或空间位移值的平均值。 根据所述第一方面的所述第三实施形式的所述方法的第四实施形式，所述分割还 包括计算相邻深度区域的相关值；以及如果所述计算得出的相关值大于预定阈值，合并所 述相邻深度区域。 通过合并具有较高相关值的相邻深度区域，关于相同对象的深度区域的一种有效 组合可以得到实现。 根据所述第一方面的所述第三或所述第四实施形式的所述方法的第五实施形式， 所述分割还包括生成具有对应于所述确定的局部特征的顶点的图；以及将图像分割处理应 用于所述生成的图以获得辅助图像分割；其中所述相邻深度区域使用所述获得的辅助图像 分割进行合并。 通过应用基于所述局部特征的这种图像分割处理，可以获得非常有用的用于分割 的额外信息。 根据所述第一方面的所述第四或所述第五实施形式的所述方法的第六实施形式， 所述分割还包括识别所述多个深度区域中的一个深度区域内的边缘；以及根据所述识别的 边缘将所述深度区域分割为至少两个深度区域。 将一个深度区域分割为至少两个深度区域使一个深度区域内的邻近对象被识别 为单独对象。 根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的 第七实施形式，所述分割还包括将所述3D图像数据分割为前景图像数据和背景图像数据， 其中所述分割仅对所述前景图像数据执行。 通过跳过所述背景图像数据，所述分割可以进一步简化，因此进一步减少计算量。 根据如上所述第一方面或根据所述第一方面的任意前述实施方式的所述方法的 第八可能实施方式，所述图像数据从视频序列中获得。 通过对视频序列的所述图像数据执行图像分割，可以实时实现一种根据连接显示 设备的非常有效的重定向和处理。这样，提供了一种非常可靠和有效的3D图像数据分割。 根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的 第九实施形式，所述局部特征对应关系通过比较所述3D图像的所述第一视图和所述第二 视图的所述确定的局部特征的匹配过程确定。 通过局部特征对应关系的这种匹配过程，可以很容易识别对应的局部特征。 根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的 第十实施形式，其中所述空间位移值参照单个空间方向确定。 根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的 另一实施形式，所述图像数据包括所述图像的两个以上视图，例如，三个、四个或更多视图。 每个视图涉及一个场景的单个图像并且从不同角度捕获。当所述3D图像包括两个以上视 图时，可以为所述两个以上视图中的每个视图执行所述确定局部特征的步骤，相应地可以 在所述两个以上视图之间执行所述确定局部特征对应关系的步骤。而且可以通过对比所述 两个以上视图的所述确定的局部特征来执行所述匹配过程。 根据第二方面，提供了一种3D图像的3D图像数据分割装置。所述当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种3D图像的3D图像数据分割方法，其特征在于，所述方法包括：确定(20)所述3D图像的第一视图(101)的局部特征(201a、202a、203a、204a)；确定(20)所述3D图像的第二视图(102)的局部特征(201b、202b、203b、204b)；确定(30)所述3D图像的所述第一视图(101)和所述第二视图(102)的所述确定的局部特征之间的局部特征对应关系；以及基于所述3D图像的所述确定的局部特征对应关系和深度图(110)将所述3D图像数据分割(40)为多个深度区域。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：基奥万尼·科达拉，爱默德·鲍阿齐齐，卢卡斯·康德拉德，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44