用于图像处理的设备和方法技术

提供一种用于图像处理的设备和方法。建模单元可通过输入彩色图像和与所述输入彩色图像对应的输入深度图像产生与实际对象对应的三维(3D)模型。计算器可基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并可用于产生包括通过将虚拟对象插入到3D模型而发生的彩色失真信息的差异图像。渲染单元可通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。

【技术实现步骤摘要】
用于图像处理的设备和方法本申请要求于2011年6月14日提交到韩国知识产权局的第10-2011-0057471号韩国专利申请的优先权权益，所述申请的公开通过引用合并于此。
以下描述的示例性实施例涉及一种图像处理设备和方法，更具体地讲，涉及一种可通过在真实彩色图像中包括虚拟对象来产生具有良好的真实性的真实彩色图像的图像处理设备和方法。
技术介绍
随着使用计算机图形学的电影技术的发展，用于合成真实彩色图像和虚拟对象的图像处理的必要性正在增加并且需要高质量的合成的结果图像。然而，在传统技术中，在真实彩色图像中真实地表现虚拟对象方面存在一些限制。例如，由于缺乏关于真实彩色图像之内的实际对象的信息，基于图像的混合表现处理在真实地表现各种光学效果方面存在一些困难，其中，所述基于图像的混合表现处理用于合成真实彩色图像和针对虚拟对象预先被渲染的图像。例如，被对象反射或折射的照明灯的效果可能使实际对象和虚拟对象不协调。
技术实现思路
通过提供一种图像处理设备实现前述和/或其它方面，其中，所述图像处理设备包括：建模单元，通过输入彩色图像和与输入彩色图像对应的输入深度图像产生与实际对象对应的三维(3D)模型；计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并产生差异图像，其中，所述差异图像包括通过将虚拟对象插入到3D模型而发生的彩色失真信息；渲染单元，用于通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。计算器可包括：照明图计算器，假设输入深度图像为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图；材质图计算器，通过针对输入彩色图像的照明图执行按像素划分操作，产生3D模型的材质图。照明图计算器可通过针对输入深度图像执行低带通滤波和移动最小二乘(MLS)中的至少一个操作来去除输入深度图像的噪声，并随后可产生照明图。照明图计算器可假设作为所述至少一个操作产生的光滑表面点云为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图。计算器还可包括：发光图计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并根据作为基于光子的渲染的结果的光子和反光子之间的差，产生3D模型的发光图；差异图像计算器，通过针对发光图和材质图执行按像素乘积操作来产生差异图像。通过提供一种图像处理设备实现前述和/或其它方面，所述图像处理设备包括：建模单元，通过输入彩色图像和与输入彩色图像对应的输入深度图像产生3D模型；计算器，产生第一图像和第二图像之间的差异图像，其中，第一图像是通过基于输入光环境信息以相机视图渲染3D模型而获得的，第二图像是通过基于输入光环境信息以相机视图渲染3D模型和输入虚拟对象而获得的；渲染单元，通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。图像处理设备还可包括，其中，当第一图像和第二图像中的至少一个被渲染时，计算器使用基于光子的渲染、射线追踪、光能传递处理中的至少一个。通过提供一种图像处理设备实现前述和/或其它方面，所述图像处理设备包括：照明图计算器，假设输入深度图像为均一材质，通过基于输入光环境信息执行执行渲染，产生与输入深度图像相关的对象的照明图；材质图计算器，通过针对输入彩色图像的照明图执行按像素划分操作，产生对象的材质图。通过提供一种图像处理方法实现前述和/或其它方面，所述方法包括：通过输入彩色图像和与输入彩色图像对应的输入深度图像产生与实际对象对应的3D模型；基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，以产生包括通过将虚拟对象插入到3D模型发生的彩色失真信息的差异图像；通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。通过提供一种图像处理方法实现前述和/或其它方面，所述方法包括：通过输入彩色图像和与输入彩色图像对应的输入深度图像产生3D模型；产生第一图像和第二图像之间的差异图像，其中，第一图像是通过基于输入光环境信息以相机视图渲染3D模型而获得的，第二图像是通过基于输入光环境信息以相机视图渲染3D模型和输入虚拟对象而获得的；通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。示例实施例可还包括一种图像处理设备和方法，该设备和方法在渲染虚拟对象被包括在实际对象的彩色图像中的图像时，可产生具有良好真实性的结果图像。此外，相对于图像处理资源，图像处理的质量可被显著地加强，并且可容易地基于光环境信息通过输入彩色图像和输入深度图像产生材质图。实施例的另外方面将在下面的描述中被部分地阐明，通过描述该部分将是清楚的，或者可通过本公开的实施被获知。附图说明通过下面结合附图进行的实施例的描述，这些和/或其他方面将会变得清楚并更容易理解，其中：图1示出根据示例实施例的图像处理设备；图2示出包括在图1的图像处理设备中的计算器的配置；图3示出根据示例实施例的输入彩色图像和输入深度图像；图4示出根据示例实施例的虚拟对象；图5示出根据示例实施例的执行基于光子的渲染的处理；图6示出根据示例实施例的照明图；图7示出根据示例实施例的材质图；图8示出根据示例实施例的渲染结果图像；图9示出根据示例性实施例的图像处理方法。具体实施方式现在将详细参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述实施例以解释本专利技术公开。图1示出根据示例实施例的图像处理设备100。图像处理设备100的建模单元110可产生与输入彩色图像和输入深度图像对应的三维(3D)模型。输入彩色图像和输入深度图像可相互匹配。当输入彩色图像和输入深度图像不匹配时，预处理可被执行以匹配输入彩色图像和输入深度图像。图像处理设备100可通过在3D模型中包括虚拟对象，真实地在输入彩色图像中包括虚拟对象。建模单元110可使用输入彩色图像和输入深度图像产生点云形式(pointcloudform)的3D模型。在一些实施例中，可在执行低通滤波和/或移动最小二乘(MLS)之后产生3D模型以去除输入深度图像的噪声。点云形式的3D模型仅是一个示例，因此，可应用产生基于网格的3D模型等其它实施例。将参照图3进一步描述建模单元110的操作。输入到图像处理设备100的信息可包括影响3D模型的光环境信息。光环境信息可包括当通过合成虚拟对象和3D模型执行渲染时将被考虑的光的位置、光的方向、光的能量等。图像处理设备100的计算器120可使用输入彩色图像、输入深度图像和输入光环境信息，计算在虚拟对象被考虑时和虚拟对象不被考虑时发生的色差(colordifference)。色差可被理解为包括针对每个像素的失真、颜色值的增加或减少。因为可针对组成整个彩色图像的每个像素计算色差，所以包括这样的色差信息的图像可被称为色差图像或差异图像。计算器120可通过针对组成输入深度图像每个像素假设均一材质(constantmaterial)，忽略材料纹理并随后仅基于输入光环境信息执行渲染，来产生与输入深度图像对应的照明图。计算器120可通过针对输入彩色图像的照明图执行按像素划分操作，来产生与输入彩色图像之内的每个对象对应的材质图。在示例实施例中，材质图可包括纹理信息(textureinformation)(诸如，输入彩色图像之内的每个对象的颜色信息等)本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：建模单元，使用输入彩色图像和与输入彩色图像对应的输入深度图像来产生与实际对象对应的三维(3D)模型；计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并产生差异图像，其中，所述差异图像包括通过将虚拟对象插入到3D模型而发生的颜色失真信息；渲染单元，通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。

【技术特征摘要】
2011.06.14 KR 10-2011-00574711.一种图像处理设备，包括：建模单元，使用输入彩色图像和与输入彩色图像对应的输入深度图像来产生与实际对象对应的三维(3D)模型；计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，产生包括通过将虚拟对象插入到3D模型而发生的照明差异的发光图，并使用发光图产生差异图像，其中，所述差异图像包括通过将虚拟对象插入到3D模型而发生的颜色失真信息；渲染单元，通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。2.如权利要求1所述的图像处理设备，其中，计算器包括：照明图计算器，假设输入深度图像为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图；材质图计算器，通过针对输入彩色图像的照明图执行按像素划分操作，产生3D模型的材质图。3.如权利要求2所述的图像处理设备，其中，照明图计算器通过针对输入深度图像执行低带通滤波和移动最小二乘MLS中的至少一个操作来去除输入深度图像中的噪声，并随后产生照明图。4.如权利要求3所述的图像处理设备，其中，照明图计算器假设作为所述至少一个操作的结果而产生的光滑表面点云为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图。5.如权利要求2所述的图像处理设备，其中，计算器还包括：发光图计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并根据作为基于光子的渲染的结果而计算出的光子和反光子之间的差，产生3D模型的发光图；差异图像计算器，通过针对发光图和材质图执行按像素乘积操作来产生差异图像。6.一种图像处理设备，包括：建模单元，使用输入彩色图像和与输入彩色图像对应的输入深度图像产生3D模型；计算器，产生包括通过将虚拟对象插入到3D模型而发生的照明差异的发光图，并使用发光图产生第一图像和第二图像之间的差异图像，其中，第一图像是通过基于输入光环境信息以相机视图渲染3D模型而获得，第二图像是通过基于输入光环境信息以相机视图渲染3D模型和输入虚拟对象而获得；渲染单元，通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。7.如权利要求6所述的图像处理设备，其中，当第一图像和第二图像中的至少一个被渲染时，计算器使用基于光子的渲染、射线追踪、光能传递处理中的至少一个。8.一种图像处理设备，包括：照明图计算器，假设输入深...

【专利技术属性】
技术研发人员：河仁友，李泰炫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：