图像处理装置、图像处理方法以及计算机可读介质制造方法及图纸

本公开涉及图像处理装置、图像处理方法以及计算机可读介质。该图像处理装置包括：被摄对象特性分析单元，被配置成获得拍摄图像内的被摄对象的至少一个物理特性参数；视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，至少一个视觉环境参数包括与感兴趣被摄对象有关的信息；以及图像合成单元，被配置成生成与拍摄图像相对应的输出图像，在输出图像中，基于至少一个物理特性参数和至少一个视觉环境参数修改了被摄对象的显示纹理。与感兴趣被摄对象有关的信息包括关于视线的信息。

【技术实现步骤摘要】
图像处理装置、图像处理方法以及计算机可读介质相关申请的交叉引用本申请要求于2013年5月14日提交的日本优先权专利申请JP2013-102106的优先权，其全部内容通过引用合并于此。
本公开内容涉及一种图像处理装置以及一种图像处理方法，并且更具体地，涉及一种能够真实地再现物体的纹理的图像处理装置。
技术介绍
为了增强视频的真实度，已开发出了调节对比度、细腻度等的技术。为了实现高图像质量，国际公开No.WO2010/087162提出了一种实现对图像中的物体的颜色校正和期望颜色再现的技术。
技术实现思路
然而，并非仅通过增强包括对比度和细腻度的基本图像质量来消除对性能的限制。对此，例如需要真实地再现物体的纹理，诸如需要使用视频将某个情形再现得如同由人实际观察被摄对象一样。鉴于这种情况做出了本公开内容，并且期望真实地再现物体的纹理。根据本公开内容的实施方式，提供了一种图像处理装置，包括：物理特性参数获得单元，被配置成获得图像中的被摄对象的物理特性参数；以及纹理控制单元，被配置成使用由物理特性参数获得单元获得的物理特性参数控制图像中被摄对象的纹理。物理特性参数可以包括指示被摄对象的反射特性的反射特性信息，并且纹理控制单元可以被配置成使用反射特性信息调节图像中被摄对象的反射特性的水平。反射特性信息可以包括指示被摄对象的反射特性包括强的镜面反射分量的信息，并且纹理控制单元可以被配置成使用反射特性信息强调图像中被摄对象的镜面反射分量。物理特性参数可以包括指示被摄对象的材料的信息，并且纹理控制单元可以被配置成根据被摄对象的材料类型来调节图像中被摄对象的反射特性。物理特性参数可以包括指示被摄对象的形状的信息，并且纹理控制单元可以被配置成根据被摄对象的形状强调图像中被摄对象的阴影。物理特性参数可以包括被摄对象的照明的信息，并且纹理控制单元可以被配置成根据照明调节图像中被摄对象的对比度。物理特性参数可以包括测量特性信息和估计特性信息，测量特性信息是在拍摄被摄对象的图像时测量的特性信息，估计特性信息是基于图像而估计的特性信息。图像处理装置还可以包括：信息集成单元，被配置成集成测量特性信息和估计特性信息并且生成集成物理特性参数。纹理控制单元可以被配置成使用由信息集成单元集成的物理特性参数来控制图像中被摄对象的纹理。图像处理装置还可以包括：视觉环境信息获得单元，被配置成获得作为关于在其中观看图像的环境的信息的视觉环境信息。纹理控制单元可以被配置成使用由视觉环境信息获得单元获得的视觉环境信息来控制被摄对象的纹理。物理特性参数获得单元可以被配置成：获得在拍摄被摄对象的图像时测量的物理特性参数。物理特性参数获得单元可以被配置成：通过基于图像的估计来获得物理特性参数。根据本公开内容的另一实施方式，提供了一种图像处理方法，包括：通过图像处理装置获得图像中被摄对象的物理特性参数；以及使用所获得的物理特性参数来控制图像中被摄对象的纹理。在本公开内容的实施方式中，获得图像中被摄对象的物理特性参数，并且使用所获得的物理特性参数控制图像中被摄对象的纹理。根据一个实施例，提供一种图像处理装置，包括：被摄对象特性分析单元，被配置成获得拍摄图像内的被摄对象的至少一个物理特性参数；视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，至少一个视觉环境参数包括与感兴趣被摄对象有关的信息；以及图像合成单元，被配置成生成与拍摄图像相对应的输出图像，在输出图像中，基于至少一个物理特性参数和至少一个视觉环境参数修改了被摄对象的显示纹理，其中，通过处理器来实现被摄对象特性分析单元、视觉环境信息分析单元和图像合成单元中的至少之一。根据一个实施例，提供一种图像处理方法，包括：获得拍摄图像内的被摄对象的至少一个物理特性参数；获得至少一个视觉环境参数，至少一个视觉环境参数包括与感兴趣被摄对象有关的信息；基于至少一个物理特性参数和至少一个视觉环境参数修改被摄对象的显示纹理；以及生成与拍摄图像相对应的输出图像，输出图像包括具有所修改的显示纹理的被摄对象。根据一个实施例，提供一种存储有程序的非暂态计算机可读介质，当由计算机执行该程序时，该程序使计算机执行根据上述实施例的方法。在上述实施例中，与感兴趣被摄对象有关的信息包括关于视线的信息。根据本公开内容的实施方式，可以处理图像。具体地，可以真实地再现物体的纹理。根据对如在附图中图解的本公开内容的最佳模式实施方式的如下详细描述，本公开内容的这些及其他目的、特性和优点将变得更加明显。附图说明图1是用于描述本公开内容的概念的图；图2是用于描述本公开内容的纹理控制方法的图；图3是示出图像处理装置的基本配置示例的框图；图4是示出控制参数和由控制参数确定的纹理控制的处理细节的图；图5是示出根据第一实施方式的图像处理装置的配置示例的框图；图6是用于描述图5的图像处理装置的图像处理的流程图；图7是用于描述估计处理的流程图；图8是用于描述反射特性调节处理的流程图；图9是示出根据第二实施方式的图像处理装置的配置示例的框图；图10是示出亮度与主观亮度水平之间的关系的图；图11是用于描述图9的图像处理装置的图像处理的流程图；图12是用于描述基于视觉环境信息的处理的流程图；图13是示出根据第三实施方式的图像处理装置的配置示例的框图；图14是用于描述图13的图像处理装置的图像处理的流程图；图15是用于描述基于视线信息的处理的流程图；图16是示出根据第四实施方式的图像处理装置的配置示例的框图；图17是用于描述图16的图像处理装置的图像处理的流程图；图18是用于描述测量/估计处理的流程图；图19是示出根据第五实施方式的图像处理装置的配置示例的框图；图20是示出集成方法的示例的图；图21是用于描述图19的图像处理装置的图像处理的流程图；图22是用于描述测量/估计/集成处理的流程图；图23是示出根据第六实施方式的图像处理装置的配置示例的框图；图24是用于描述图23的图像处理装置的图像处理的流程图；图25是用于描述测量/估计/集成处理的流程图；图26是用于描述基于材料的反射特性调节处理的流程图；图27是用于描述纹理恢复处理的流程图；图28是示出调节频率范围的特性量的方法的示例的图；图29是示出通过块匹配进行的纹理恢复示例的图；图30是示出根据第七实施方式的图像处理装置的配置示例的框图；图31是用于描述图30的图像处理装置的图像处理的流程图；图32是示出根据第八实施方式的图像处理装置的配置示例的框图；图33是用于描述图32的图像处理装置的图像处理的流程图；以及图34是示出个人计算机的基本配置示例的框图。具体实施方式在下文中，将对用于实现本公开内容的模式(在下文中，称之为实施方式)进行描述。应当注意，将按照下面的顺序进行描述。1.本公开内容的概要2.第一实施方式3.第二实施方式4.第三实施方式5.第四实施方式6.第五实施方式7.第六实施方式8.第七实施方式9.第八实施方式10.第九实施方式1.本公开内容的概要(本公开内容的概念)将参照图1对本公开内容的概念进行描述。本公开内容的目的在于改善图像中物体的纹理。在现实世界中，人通过眼睛所感知的即关于光如何进入眼睛的材料信息是基本上必要的信息。材料信息包括例如阳光(照明)、物体的形状(几何形状)和物体的反射分量(反射率)本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：被摄对象特性分析单元，被配置成获得关于拍摄图像内的被摄对象的信息；以及图像合成单元，被配置成生成与所述拍摄图像相对应的输出图像，在所述输出图像中，已经基于所获得的信息修改了所述被摄对象的显示纹理，其中，通过处理器来实现所述被摄对象特性分析单元和所述图像合成单元中的至少之一。

【技术特征摘要】
2013.05.14 JP 2013-1021061.一种图像处理装置，包括：被摄对象特性分析单元，被配置成获得拍摄图像内的被摄对象的至少一个物理特性参数；视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，所述至少一个视觉环境参数包括与感兴趣被摄对象有关的信息；以及图像合成单元，被配置成生成与所述拍摄图像相对应的输出图像，在所述输出图像中，基于所述至少一个物理特性参数和所述至少一个视觉环境参数修改了所述被摄对象的显示纹理，其中，通过处理器来实现所述被摄对象特性分析单元、所述视觉环境信息分析单元和所述图像合成单元中的至少之一，并且与感兴趣被摄对象有关的所述信息包括关于视线的信息。2.根据权利要求1所述的图像处理装置，其中，所述至少一个物理特性参数包括与所述被摄对象的深度、所述被摄对象的形状、拍摄所述图像时的照明、所述被摄对象的材料和所述被摄对象的反射特性中至少之一有关的信息。3.根据权利要求2所述的图像处理装置，其中，所述至少一个视觉环境参数还包括与视觉环境照明和观看时间中至少之一有关的信息。4.根据权利要求2所述的图像处理装置，还包括：特性控制单元，被配置成基于所述至少一个物理特性参数确定是否要获得所述至少一个视觉环境参数，并且提供控制以使得仅在确定要获得所述至少一个视觉环境参数的情况下获得所述至少一个视觉环境参数，其中，所述至少一个视觉环境参数还包括与视觉环境照明和观看时间中至少之一有关的信息。5.根据权利要求2所述的图像处理装置，还包括：特性控制单元，被配置成基于所述至少一个物理特性参数来确定是否要也基于所述至少一个视觉环境参数来修改所述被摄对象的显示纹理，并且在确定要也基于所述至少一个视觉环境参数来修改所述被摄对象的显示纹理的情况下，基于所述至少一个视觉环境参数和所述被摄对象的所述至少一个物理特性参数控制对所述被摄对象的显示纹理的所述修改，其中，所述至少一个视觉环境参数还包括与视觉环境照明和观看时间中至少之一有关的信息。6.根据权利要求2所述的图像处理装置，其中，通过基于与所述被摄对象的形状有关的信息强调所述被摄对象的阴影来修改所述被摄对象的显示纹理。7.根据权利要求2所述的图像处理装置，其中，通过基于与拍摄所述图像时的照明有关的信息调节所述被摄对象的对比度来修改所述被摄对象的显示纹理。8.根据权利要求2所述的图像处理装置，其中，通过基于与所述被摄对象的材料有关的信息调节所述被摄对象的反射水平来修改所述被摄对象的显示纹理。9.根据权利要求2所述的图像处理装置，其中，通过基于与所述被摄对象的反射特性有关的信息调节所述被摄对象的反射水平来修改所述被摄对象的显示纹理。10.根据权利要求9所述的图像处理装置，其中，在与所述被摄对象的反射特性有关的信息指示强的镜面反射分量的情况下，通过使用与所述被摄对象的反射特性有关的信息强调所述图像中所述被摄对象的镜面反射分量来修改所述被摄对象的显示纹理，在与所述被摄对象的反射特性有关的信息指示强的漫反射分量的...

【专利技术属性】
技术研发人员：森藤孝文，赤尾雅人，绪形昌美，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP