基于纹理图与网格的3D图像信息的处理制造技术

一种装置包括接收器(201)，所述接收器接收包括三维图像的图像信号，所述三维图像表示场景的自不同视点。每幅三维图像包括网格与纹理图。所述信号还包括针对与若干三维图像的视点不同的第一视点的多幅残差数据纹理图，所述多幅残差数据纹理图中的第一残差数据纹理图提供针对所述第一视点的纹理图相对于从第一参考纹理图的视点移位产生的纹理图的残差数据，所述第一参考纹理图是所述若干三维图像中的第一三维图像的纹理图，所述多幅残差数据纹理图中的第二残差数据纹理图提供针对所述第一视点的纹理图相对于从第二参考纹理图的视点移位产生的纹理图的残差数据，所述第二参考纹理图是所述若干三维图像中的第二三维图像的纹理图。网格处理器(203)根据作为所述多幅三维图像中的所述第二参考图像的网格的额外的参考网格来生成针对所述第一视点的第一网格和针对所述第一视点的第二网格。第一纹理处理器(205)响应于所述第一参考纹理图从所述第一三维图像的视点到所述述第一视点的视点变换而生成第一中间纹理图并且响应于所述第二参考纹理图从所述第二三维图像的视点到所述述第一视点的视点变换而生成第二中间纹理图。第二纹理处理器(207)响应于所述第一中间纹理图与第一所述残差数据纹理图的组合而生成第一纹理图，并且响应于所述第二中间纹理图与第二所述残差数据纹理图的组合而生成第二纹理图。图像生成器(209)根据所述第一纹理图、所述第一网格、所述第一纹理图以及所述第一网格来生成针对第二视点的图像。

3D image information processing based on texture and mesh

【技术实现步骤摘要】
【国外来华专利技术】基于纹理图与网格的3D图像信息的处理
本专利技术涉及使用纹理图与网格来表示三维图像数据/信息，并且具体地，但非排他地，涉及包括若干三维图像的图像信号的生成、编码、与处理，每幅三维图像由纹理图与网格表示。
技术介绍
通常，图像的技术处理及使用已基于二维成像，但在图像处理中正明确地考虑三维。例如，已发展通过将正被观看的场景的不同视图提供给观看者双眼而将第三维加至观看体验的三维(3D)显示器。这能通过用户佩戴眼镜以分离被显示的两视图而实现。然而，由于这被认为对用户不便利，在许多情景中使用裸视立体(autostereoscopic)显示器是较佳的，其使用在显示器处的器件(诸如，柱状透镜、或屏障)以分离视图，并在它们可个体地抵达用户眼睛的不同方向上发送它们。立体显示器需要两个视图，然而裸视立体显示器通常需要更多视图(例如，九个视图)。在一些情况与系统中，使用3D模型来表示3D场景，其中，所述模型被评估，以生成适当的视图图像。具有场景的深度表示的多视图可用作传统3D模型的替代或作为3D模型的附加。这种格式通常源于使用多个立体相机捕获场景。给本文档来自技高网...

【技术保护点】
1.一种用于生成图像的装置，所述装置包括：/n接收器(201)，其用于接收图像信号，所述图像信号包括表示场景的自不同视点的若干三维图像，每幅三维图像包括网格与纹理图，所述信号还包括针对第一视点的多幅残差数据纹理图，所述第一视点不同于所述若干三维图像的所述不同视点，所述多幅残差纹理图中的第一残差数据纹理图提供针对所述第一视点的纹理图相对于从第一参考纹理图的视点移位产生的纹理图的残差数据，所述第一参考纹理图是所述若干三维图像中的第一三维图像的纹理图，并且所述多幅残差纹理图中的第二残差数据纹理图提供针对所述第一视点的纹理图相对于从第二参考纹理图的视点移位产生的纹理图的残差数据，所述第二参考纹理图是所...

【技术特征摘要】
【国外来华专利技术】20170623 EP 17177649.51.一种用于生成图像的装置，所述装置包括：
接收器(201)，其用于接收图像信号，所述图像信号包括表示场景的自不同视点的若干三维图像，每幅三维图像包括网格与纹理图，所述信号还包括针对第一视点的多幅残差数据纹理图，所述第一视点不同于所述若干三维图像的所述不同视点，所述多幅残差纹理图中的第一残差数据纹理图提供针对所述第一视点的纹理图相对于从第一参考纹理图的视点移位产生的纹理图的残差数据，所述第一参考纹理图是所述若干三维图像中的第一三维图像的纹理图，并且所述多幅残差纹理图中的第二残差数据纹理图提供针对所述第一视点的纹理图相对于从第二参考纹理图的视点移位产生的纹理图的残差数据，所述第二参考纹理图是所述若干三维图像中的第二三维图像的纹理图；
网格处理器(203)，其用于生成针对所述第一视点的第一网格并且从额外参考网格生成针对所述第一视点的第二网格，所述额外参考网格是所述多幅三维图像中的所述第二三维图像的网格；
第一纹理处理器(205)，其用于响应于所述第一参考纹理图的从所述第一三维图像的视点至所述第一视点的视点变换而生成第一中间纹理图，并且响应于所述第二参考纹理图的从所述第二三维图像的视点至所述第一视点的视点变换而生成第二中间纹理图；
第二纹理处理器(207)，其用于响应于所述第一中间纹理图与所述第一残差数据纹理图的组合而生成第一纹理图，并且响应于所述第二中间纹理图与所述第二额外残差数据纹理图的组合而生成第二纹理图；以及
图像生成器(209)，其用于从所述第一纹理图、所述第一网格、所述第二纹理图以及所述第二网格生成针对第二视点的图像。


2.根据权利要求1所述的装置，其中，所述图像信号还包括参考了参考网格的针对所述第一视点的网格的网格残差数据，所述参考网格是所述第一三维图像的网格，并且所述网格处理器(203)被布置为响应于所述网格残差数据和所述参考网格而生成所述第一网格。


3.根据权利要求2所述的装置，其中，所述网格残差数据包括针对所述第一视点的所述网格的顶点的仅子集的残差数据。


4.根据权利要求1所述的装置，其中，所述图像信号不包括针对所述第一视点的网格数据。


5.根据任一前述权利要求所述的装置，其中，所述图像信号包括网格生成控制数据；并且所述网格处理器被布置为响应于所述网格生成控制数据而生成所述第一网格。


6.根据任一前述权利要求所述的装置，其中，所述图像信号包括元数据，所述元数据指示链接至所述多幅残差数据纹理图的三维图像。


7.根据任一前述权利要求所述的装置，其中，所述图像生成器(209)被布置为：响应于所述第一纹理图和所述第一网格而生成针对所述第二视点的第一中间图像，响应于针对额外视点的额外纹理图和额外网格而生成针对所述第二视点的第二中间图像；并且通过组合所述第一中间图像与所述第二中间图像来生成所述图像。


8.根据权利要求1所述的装置，其中，所述图像生成器(209)被布置为：响应于从所述第一视点至所述第二视点的视点变换而基于所述第一纹理图和所述第一网格来生成针对所述第二视点的第一中间图像，响应于从所述第一视点至所述第二视点的视点变换而基于所述第二纹理图和所述第二网格来生成针对所述第二视点的第二中间图像；并且通过组合所述第一中间图像与所述第二中间图像来生成所述图像。


9.根据权利要求8所述的装置，其中，所述图像生成器(209)被布置为响应于与所述第一三维图像和所述第二三维图像中的至少一个的视点相关联的遮挡数据而组合所述第一中间图像与所述第二中间图像。


10.根据权利要求1所述的装置，其中，所述图像生成器(209)被布置为：将所述第一纹理图与所述第二纹理图组合成针对所述第一视点的第三纹理图，并且将所述第一网格与所述第二网格组合成针对所述第一视点的第三网格；并且响应于从所述第一视点至所述第二视点的视点变换而基于所述第三纹理网格和所述第三网格来生成所述图像。


11.一种用于生成图像信号的装置，所述装置包括：
接收器(...

【专利技术属性】
技术研发人员：C·韦雷坎普，B·克龙，P·L·E·万德瓦勒，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL