图像处理装置和方法制造方法及图纸

本技术涉及使得能够分别传输被摄对象的三维模型和与被摄对象的阴影有关的信息的图像处理装置和图像处理方法。编码系统的生成单元基于从被摄对象的视点图像生成的三维模型生成二维图像数据和深度数据，该视点图像是在多个视点处捕获并且经过阴影去除处理。编码系统的发送单元将二维图像数据、深度数据以及与被摄对象的阴影有关的信息发送至解码系统。本技术可适用于自由视点图像传输系统。

Image processing apparatus and method

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法
本技术涉及图像处理装置和图像处理方法。特别地，本技术涉及能够以分离的方式传输被摄对象的三维模型和被摄对象的阴影信息的图像处理装置和图像处理方法。
技术介绍
专利文献1提出了将根据多个摄像机捕获的视点图像生成的三维模型转换为二维图像数据和深度数据，并且对这些数据进行编码和发送。根据该提议，使用二维图像数据和深度数据在显示端重建(转换为)三维模型，并且通过投影显示重建的三维模型。引文列表专利文献PTL1：WO2017/082076
技术实现思路
本专利技术要解决的问题然而，根据PTL1的提议，三维模型包括被摄对象和成像时的阴影。因此，当基于二维图像数据和深度数据在显示端将被摄对象的三维模型重建为与已执行成像的三维空间不同的三维空间时，成像时的阴影也会被投影。也就是说，为了生成显示图像，将三维模型和成像时的阴影投影到与已执行成像的三维空间不同的三维空间。这使得显示图像显示不自然。鉴于上述情况实现本技术，以使得能够以分离的方式传输被摄对象的三维模型和被摄对象的阴影信息。...

【技术保护点】
1.一种图像处理装置，包括：/n生成器，其基于三维模型生成二维图像数据和深度数据，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的；以及/n发送器，其发送所述二维图像数据、所述深度数据和阴影信息，所述阴影信息是与所述被摄对象的阴影有关的信息。/n

【技术特征摘要】
【国外来华专利技术】20170808 JP 2017-1531291.一种图像处理装置，包括：
生成器，其基于三维模型生成二维图像数据和深度数据，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的；以及
发送器，其发送所述二维图像数据、所述深度数据和阴影信息，所述阴影信息是与所述被摄对象的阴影有关的信息。


2.根据权利要求1所述的图像处理装置，还包括阴影去除器，其对所述视点图像中的每个执行所述阴影去除处理，其中，
所述发送器发送与通过所述阴影去除处理去除的阴影有关的信息作为各视点的阴影信息。


3.根据权利要求1所述的图像处理装置，还包括阴影信息生成器，其根据虚拟视点生成所述阴影信息，所述虚拟视点是与所述成像时的摄像机位置不同的位置。


4.根据权利要求3所述的图像处理装置，其中，所述阴影信息生成器通过基于所述成像时的所述摄像机位置执行视点插值来估计所述虚拟视点，以生成根据所述虚拟视点的所述阴影信息。


5.根据权利要求1所述的图像处理装置，其中，所述生成器将所述三维模型的像素中的每个用作二维图像上对应位置处的像素，从而生成将所述像素中的每个的二维坐标与图像数据相关联的所述二维图像数据，并且所述生成器将所述三维模型的所述像素中的每个用作所述二维图像上对应位置处的像素，从而生成将所述像素中的每个的所述二维坐标与深度相关联的所述深度数据。


6.根据权利要求1所述的图像处理装置，其中，在生成展现所述被摄对象的显示图像的一生成侧，通过基于所述二维图像数据和所述深度数据重建所述三维模型，以及将所述三维模型投影到作为虚拟空间的投影空间来生成所述显示图像，并且
所述发送器发送所述投影空间的投影空间数据和纹理数据，所述投影空间数据是所述投影空间的三维模型的数据。


7.一种图像处理方法，包括：
由图像处理装置基于三维模型生成二维图像数据和深度数据，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的；以及
由所述图像处理装置发送所述二维图像数据、所述深度数据和阴影信息，所述阴影信息是与所述被摄对象的阴影有关的信息。


8.一种图像处理装置，包括：
接收器，其接收二维图像数据、...

【专利技术属性】
技术研发人员：菅野尚子，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP