图像处理装置、图像处理方法和程序制造方法及图纸

本发明专利技术通过即使物体存在于虚拟视点附近的位置处、也使图像质量的降低不那么明显，来改进虚拟视点图像的图像质量。产生虚拟视点图像的该图像处理装置包括信息获取单元、识别单元和产生单元。信息获取单元获取虚拟视点信息。识别单元基于以下中的至少一个来识别与虚拟视点图像相关的多个物体之中不是透明化的对象的感兴趣物体：虚拟视点信息所指示的虚拟视点的位置和方向、以及根据用户操作的输入。产生单元产生虚拟视点图像，使得多个物体之中的作为不同于感兴趣物体的不感兴趣物体并且在离虚拟视点信息所指示的虚拟视点的位置第一距离的位置处的物体的透明度高于离其第二距离的位置处的不感兴趣的物体的透明度，在从虚拟视点看的情况下，第二距离长于第一距离。

Image processing device, image processing method and program

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和程序
本专利技术涉及一种改进虚拟视点视频图像的图像质量的显示控制技术。
技术介绍
作为通过使用多个真实相机捕获的视频图像来从虚拟地布置在三维空间内的、实际上不存在的相机(虚拟相机)再现视频图像的技术，存在虚拟视点视频图像产生技术。虚拟视点视频图像产生技术预期为在体育广播等中具有处于现场表演的高度感觉的视频图像表示。这里，在用一般的相机捕获图像时，离物体越近，所获得的图像分辨率就越高。然而，就虚拟相机来说，即使虚拟相机被放在物体附近，也不可能获得具有比真实相机捕获的图像的分辨率高的清晰度的图像。特别地，在虚拟相机被设定在其离物体的距离短于预定距离的位置处的情况下，通过放大真实相机捕获的图像来执行描画，因此，图像分辨率相应地降低。由于此，将产生具有低清晰度的图像，这引起用户的不协调感。在这点上，在通过使用左眼图像和右眼图像来在虚拟空间中生成3D视频图像显示的技术之中，存在通过以较高的透明度描画位于较远处的小物体来抑制伴随3D视图的不协调感的技术(PTL1)。引文列表专利文献PTL1日本专利公开No.2012-123337
技术实现思路
本专利技术将解决的问题上述PTL1的技术的起始点是，随着离视点的距离变长，视差方向上的宽度变窄，因此，未被部分显示的物体部分在右眼图像和左眼图像之间是不同的，这使闪烁等在物体中出现，于是，对用户引起不舒适感。与此相反，上述虚拟视点视频图像中的不协调感的原因是，虚拟视点视频图像的分辨率取决于真实相机捕获的视频图像(其是虚拟视点视频图像的来源)的分辨率，并且不舒适感的出现的原因和不协调感的出现的原因是非常不同的。因此，即使上述PTL1的技术被应用于产生虚拟视点视频图像，也不可能解决虚拟相机和物体之间的距离越短、图像质量变得越低的问题。用于解决问题的手段根据本专利技术的图像处理装置是基于通过用多个相机从多个方向执行图像捕获而获得的多个图像来产生虚拟视点图像的图像处理装置，该图像处理装置包括：信息获取单元，其被配置为获取指示虚拟视点的位置和方向的虚拟视点信息；确定单元，其被配置为基于以下中的至少一个来确定与虚拟视点图像相关的多个物体之中不是透明实现的对象的感兴趣物体：信息获取单元获取的虚拟视点信息所指示的虚拟视点的位置和方向、以及根据用户操作的输入；以及产生单元，其被配置为根据信息获取单元获取的虚拟视点信息所指示的虚拟视点的位置和方向来产生虚拟视点图像，其中，在产生单元产生的虚拟视点图像中，所述多个物体之中的作为离虚拟视点信息所指示的虚拟视点的位置第一距离的位置处的不感兴趣物体的物体的透明度高于离虚拟视点的位置长于第一距离的第二距离的位置处的另一个不感兴趣物体的透明度，两个不感兴趣物体不同于第一确定单元确定的感兴趣物体。本专利技术的有益效果根据本专利技术，即使在物体存在于在设定的虚拟相机附近的位置处的情况下，也使图像质量的降低不那么明显，因此，使得可以改进虚拟视点视频图像的图像质量。本专利技术的进一步的特征通过参照附图给出的以下实施例的说明将变得清楚。附图说明图1是示出图像处理装置的硬件配置例子的框图；图2(a)是示出在不控制透明度的情况下执行虚拟视点视频图像的描画的情况下的例子的示图，图2(b)是示出通过控制透明度来执行虚拟视点视频图像的描画的情况下的例子的示图；图3是示出图像处理装置的功能配置的框图；图4是示出从多视点视频图像产生虚拟视点视频图像的图像处理的流程的流程图；图5(a)是示出多边形数据的例子的示图，图5(b)是示出纹理数据的例子的示图；图6是示出透明度计算处理的细节的流程图；图7是说明基准透明阈值Dt_b和透明阈值Dt之间的关系的示图；以及图8是表示从物体到虚拟相机的距离和透明度之间的关系的曲线图。具体实施方式下面，参照附图来说明本专利技术的实施例。以下实施例并不意图限制本专利技术，并且目前的实施例中所说明的特征的所有组合不一定是本专利技术的解决方案不可或缺的。[第一实施例]在本实施例中，说明了一种描画方法，该方法通过使存在于虚拟相机附近的物体是透明的以使该物体不那么明显，来改进虚拟视点视频图像的图像质量。虚拟视点视频图像是由终端用户和/或约定的操作者等自由地操作虚拟相机的位置和方位而产生的视频图像，也被称为自由视点视频图像、任意视点视频图像等。此外，虚拟视点视频图像可以是运动图像或静止图像。在本实施例中，主要说明虚拟视点视频图像是运动图像的情况下的例子。通过使用图1来说明本实施例中的图像处理装置100的硬件配置例子。在图1中，CPU101通过使用RAM102作为工作存储器来执行存储在ROM103和/或硬盘驱动器(HDD)105中的程序，并且经由系统总线112控制稍后将描述的每个配置。由于此，执行稍后将描述的各种处理。HDD接口(I/F)104是连接图像处理装置和HDD105和辅助存储设备(诸如光盘驱动器)的接口，例如，诸如串行ATA(SATA)。可以使CPU101经由HDDI/F104从HDD105读取数据以及将数据写入到HDD105。此外，CPU101将存储在HDD105中的数据加载到RAM102上。此外，可以使CPU101将通过执行程序而获得的、RAM102上的各种数据保存在HDD105中。输入接口(I/F)106是连接输入设备107(诸如键盘、鼠标、数字相机和扫描仪)和图像处理装置100的串行总线接口，例如，诸如USB和IEEE1394。可以使CPU101经由输入I/F106从输入设备107读取数据。输出接口(I/F)108是连接输出设备109(诸如显示器)和图像处理装置100的视频图像输出接口，例如，诸如DVI和HDMI(注册商标)。可以使CPU101通过经由输出I/F108将与虚拟视点视频图像相关的数据发送到输出设备109来显示虚拟视点视频图像。网络接口(I/F)110是连接图像处理装置100和外部服务器111的网络卡，例如，诸如LAN卡。可以使CPU101经由网络I/F100从外部服务器111读取数据。在上述说明中，说明了HDD105、输入设备107和输出设备109被配置为与图像处理装置100分开的设备的例子。然而，所述方面不限于此。例如，图像处理装置100可以是智能电话等，在这种情况下，输入设备107(触摸板)和输出设备109(显示屏)与图像处理装置100一起被集成到一个单元中。此外，还可以使用HDD105的内置器件作为图像处理装置100。此外，图1所示的所有的配置不一定是不可或缺的配置。例如，在再现存储在HDD105中的虚拟视点视频图像的情况下，外部服务器111不是必要的。相反，在产生从外部服务器111获取的虚拟视点视频图像的情况下，HDD105不是必要的。此外，图像处理装置100可以具有多个CPU101。此外，还可能可以使图像处理装置100具有不同于CPU101的一件或多件专用硬件或GPU(图形处理单元)，并且使GPU或专用硬件执行CPU101进行的处理的至少一部分。作为专用硬本文档来自技高网...

【技术保护点】
1.一种图像处理装置，所述图像处理装置基于通过用多个相机从多个方向执行图像捕获而获得的多个图像来产生虚拟视点图像，所述图像处理装置包括：/n信息获取单元，所述信息获取单元被配置为获取指示虚拟视点的位置和方向的虚拟视点信息；/n第一确定单元，所述第一确定单元被配置为基于以下中的至少一个来确定与虚拟视点图像相关的多个物体之中不是透明化的对象的感兴趣物体：由信息获取单元获取的虚拟视点信息指示的虚拟视点的位置和方向、以及根据用户操作的输入；以及/n产生单元，所述产生单元被配置为根据由信息获取单元获取的虚拟视点信息指示的虚拟视点的位置和方向来产生虚拟视点图像，/n其中，在由产生单元产生的虚拟视点图像中，所述多个物体之中的与由虚拟视点信息指示的虚拟视点的位置相距第一距离的位置处的作为不感兴趣物体的物体的透明度，高于相距长于第一距离的第二距离的位置处的另一不感兴趣物体的透明度，这两个不感兴趣物体不同于由第一确定单元确定的感兴趣物体。/n

【技术特征摘要】
【国外来华专利技术】20180216 JP 2018-0258261.一种图像处理装置，所述图像处理装置基于通过用多个相机从多个方向执行图像捕获而获得的多个图像来产生虚拟视点图像，所述图像处理装置包括：
信息获取单元，所述信息获取单元被配置为获取指示虚拟视点的位置和方向的虚拟视点信息；
第一确定单元，所述第一确定单元被配置为基于以下中的至少一个来确定与虚拟视点图像相关的多个物体之中不是透明化的对象的感兴趣物体：由信息获取单元获取的虚拟视点信息指示的虚拟视点的位置和方向、以及根据用户操作的输入；以及
产生单元，所述产生单元被配置为根据由信息获取单元获取的虚拟视点信息指示的虚拟视点的位置和方向来产生虚拟视点图像，
其中，在由产生单元产生的虚拟视点图像中，所述多个物体之中的与由虚拟视点信息指示的虚拟视点的位置相距第一距离的位置处的作为不感兴趣物体的物体的透明度，高于相距长于第一距离的第二距离的位置处的另一不感兴趣物体的透明度，这两个不感兴趣物体不同于由第一确定单元确定的感兴趣物体。


2.根据权利要求1所述的图像处理装置，其中
所述产生单元产生所述多个物体之中的不感兴趣物体离虚拟视点的位置的距离越短、透明度就越高的虚拟视点图像。


3.根据权利要求1或2所述的图像处理装置，其中
所述产生单元通过在不使用指示离由虚拟视点信息指示的虚拟视点的位置第一距离的位置处的物体的三维形状的信息的情况下执行渲染，来产生不显示该物体的虚拟视点图像。


4.根据权利要求1至3中任一项所述的图像处理装置，其中
所述第一确定单元基于根据用于指定一个或多个物体的用户操作的输入，来确定感兴趣物体。


5.根据权利要求1至3中任一项所述的图像处理装置，其中
所述第一确定单元将位于离根据由虚拟视点信息指示的虚拟视点的位置和方向的视场的中心预定范围内的物体确定为感兴趣物体。


6.根据权利要求1或2所述的图像处理装置，包括：
第二确定单元，所述第二确定单元被配置为基于不感兴趣物体的位置和由虚拟视点信息指示的虚拟视点的位置之间的距离来确定不感兴趣物体的透明度，其中
所述产生单元产生包括由第二确定单元确定的透明度下的不感兴趣物体的虚拟视点图像。


7.根据权利要求6所述的图像处理装置，其中
由信息获取单元获取的虚拟视点信息表示虚拟视点的位置和方向以及与虚拟视点相对应的视角，并且
所述第二确定单元基于不感兴趣物体的位置和由虚拟视点信息指示的虚拟视点的位置之间的距离、以及与由虚拟视点信息指定的虚拟视点相对应的视角来确定不感兴趣物体的透明度。


8.根据权利要求6或7所述的图像处理装置，其中
所述第二确定单元基于不感兴趣物体的位置和虚拟视点的位置之间的距离、以及不感兴趣物体的位置和感兴趣物体的位置之间的距离来确定不感兴趣物体的透明度。


9.根据权利要求6或7所述的图像处理装置，其中
所述第二确定单元基于以下中的至少一个来确定不感兴趣物体的透明度：不感兴趣物体的位置和虚拟视点的位置之间的距离、不感兴趣物体的移动速度、以及虚拟视点的移动速度。


10.根据权利要求1至9中任一项所述的图像处理装置，其中
由产生单元产生的、根据与第一视角相对应的第一虚拟视点的虚拟视点图像中的离第一虚拟视点的位置预定距离的位置处的不感兴趣物体的透明度，高于由产生单元产生的、根据与大于第一视角的第二视角相对应的第二虚拟视点的虚拟视点图像中的离第二虚拟视点的位置所述预定距离的位置处的不感兴趣物体的透明度。


11.根据权利要求1至10中任一项所述的图像处理装置，其中
所述产生单元产生如下虚拟视点图像：在该虚拟视点图像中，所述多个物体之中的离虚拟视点的位置的距离长于或等于预定阈值的不感兴趣物体不以透明的状态显示，离虚拟视点的位置的距离小于所述预定阈值的不感兴趣物体以透明的状态显示。


12.根据权利要求9所述的图像处理装置，其中
所述预定阈值是基于以下中的至少一个确定的阈值：由信息获取单元获取的虚拟...

【专利技术属性】
技术研发人员：加藤祐二，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP