图像处理装置、图像处理方法、摄像装置和存储介质制造方法及图纸

本申请提供了一种图像处理装置、图像处理方法、摄像装置和存储介质。图像处理装置包括检测单元，其被配置为检测图像中的被摄体的区域信息；获取单元，其被配置为从被摄体的区域信息中检测作为被摄体的一部分的预定被摄体区域，并且获取预定被摄体区域的周边的亮度信息；以及重新照明单元，其被配置为通过添加虚拟光的效果来执行用于校正图像中的被摄体的亮度的处理。重新照明单元根据预定被摄体区域的周边的亮度来校正包括预定被摄体区域的被摄体的亮度。摄体的亮度。摄体的亮度。

【技术实现步骤摘要】
图像处理装置、图像处理方法、摄像装置和存储介质


[0001]本专利技术涉及图像处理装置、图像处理方法、摄像装置和存储介质，尤其涉及校正图像中的被摄体的明亮度的图像处理技术。

技术介绍

[0002]存在一种传统已知的技术，用于通过利用来自虚拟光源的光对所拍摄的图像中的被摄体进行照射来执行用于校正阴影的重新照明(relighting)(再照明(reillumination))处理。重新照明处理使得可以获得其中使得环境光源产生的被摄体的阴影等变亮的图像。
[0003]此外，作为检测图像中的被摄体区域的方法，存在一种使用到被摄体的距离的信息的方法。此外，作为获取距离信息的方法，存在一种从多个视点位置获取图像并且基于三角测量原理使用根据相应图像中的像素之间的对应关系计算出的视差来计算距离的立体方法。还存在通过分析已经在不同摄像条件(诸如焦点位置和光阑)下获取的多个图像的模糊状态来计算距离的DFD(散焦测距)方法、DFF(聚焦测距)方法等。通过使用被摄体的距离信息，可以根据从虚拟光源到被摄体的距离来控制从虚拟光源照射的光的量(强度)。
[0004]日本专利特开No.2016
‑
72694描述了重新照明处理，其中检测所拍摄的图像中的被摄体的预定区域中的阴影状态，从所检测到的阴影状态确定虚拟光源的特性，并且校正所拍摄的图像以便在具有所确定的特性的虚拟光源照射的光下实现阴影状态。
[0005]根据日本专利特开No.2016
‑
72694，尽管使用距离信息执行重新照明处理，但是在其中难以获取距离信息的摄像条件和摄像场景下，距离信息的准确性低。在这种情况下，重新照明处理后的图像可能不自然。例如，已经通过重新照明处理而变亮的区域可能延伸到该处理中作为目标的被摄体区域之外。

技术实现思路

[0006]已经考虑到上述问题而作出本专利技术，并且本专利技术实现了用于降低重新照明处理后图像的不自然性的技术。
[0007]为了解决上述问题，本专利技术提供了一种图像处理装置，包括：检测单元，其被配置为检测图像中的被摄体的区域信息；获取单元，其被配置为从所述被摄体的所述区域信息中检测作为所述被摄体的一部分的预定被摄体区域，并且获取所述预定被摄体区域的周边的亮度信息；以及重新照明单元，其被配置为通过添加虚拟光的效果来执行用于校正所述图像中的所述被摄体的明亮度的处理，其中，所述重新照明单元根据所述预定被摄体区域的所述周边的亮度来校正包括所述预定被摄体区域的所述被摄体的明亮度。
[0008]为了解决上述问题，本专利技术提供了一种摄像装置，包括：摄像单元，其被配置为通过拍摄被摄体生成图像数据；以及上述定义的图像处理装置。
[0009]为了解决上述问题，本专利技术提供了一种图像处理方法，包括：检测图像中的被摄体的区域信息；从所述被摄体的区域信息中检测作为被摄体的一部分的预定被摄体区域，并
且获取预定被摄体区域的周边的亮度信息；以及通过添加虚拟光的效果来执行用于校正图像中的被摄体的明亮度的处理，其中，在执行所述处理时，根据所述预定被摄体区域的所述周边的亮度来校正包括所述预定被摄体区域的所述被摄体的明亮度。
[0010]为了解决上述问题，本专利技术提供了一种非暂时性计算机可读存储介质，其存储有程序，所述程序使计算机执行上述定义的图像处理方法。
[0011]根据本专利技术，可以降低重新照明处理后图像中的不自然性。
[0012]通过参考附图对以下示例性实施例的描述，本专利技术的其它特征将变得明显。
附图说明
[0013]图1是示出根据本实施例的装置配置的框图。
[0014]图2是示出根据本实施例的图像处理单元的配置的框图。
[0015]图3是示出根据本实施例的图像处理单元的处理的流程图。
[0016]图4是示出根据本实施例的重新照明处理单元的配置的框图。
[0017]图5是用于描述根据本实施例的来自虚拟光源的虚拟光的反射的示意图。
[0018]图6A和图6B是用于描述根据本实施例的虚拟光源的参数的图示。
[0019]图7A和图7B是示出根据本实施例的在重新照明处理之前和之后的图像的示例的图示。
[0020]图8是示出根据本实施例的重新照明处理的流程图。
[0021]图9A和图9B是用于描述根据本实施例的获取被摄体周边的亮度的方法的图示。
[0022]图10A和图10B是用于描述根据本实施例的被摄体周边的亮度与虚拟光源的光强度之间的关系的图示。
[0023]图11A至图11C是用于描述根据本实施例的虚拟光源的参数的图示。
具体实施方式
[0024]下文中，将参考附图详细地描述实施例。注意，以下实施例不旨在限制所要求保护的本专利技术的范围。在实施例中描述了多个特征，但是并未限制本专利技术需要所有此类特征，并且多个此类特征可被适当地组合。此外，在附图中，对相同或类似的配置给予相同的附图标记，并且省略了其重复描述。
[0025][第一实施例][0026]以下描述了摄像装置(诸如数字照相机)的应用的示例，该摄像装置作为根据本实施例的图像处理装置，能够拍摄静止图像、运动图像等。注意，尽管在本实施例中示例性地将数字照相机描述为摄像装置100，但是摄像装置100可以是信息处理装置，例如配备有照相机的移动电话、作为此种移动电话的一种类型的智能电话、平板电脑终端或者配备有照相机的个人计算机(PC)等。
[0027]<装置配置>
[0028]首先，将参考图1描述根据本实施例的摄像装置的配置和功能。
[0029]根据本实施例的摄像装置100具有执行重新照明(再照明)处理的功能，以通过利用来自虚拟光源的虚拟光对在特定光源环境下拍摄的图像中的被摄体进行照射来校正(改变)阴影。
[0030]在图1中，透镜101是包括变焦透镜和聚焦透镜的透镜组件。快门102具有光阑功能。摄像单元103是包括例如将光学图像转换为电信号的CCD或CMOS元件的图像传感器。A/D转换器104将从摄像单元103输出的模拟信号转换为数字信号。
[0031]图像处理单元105对于从A/D转换器104输出的图像数据或者已经经由存储器控制单元107从图像存储器106读出的图像数据执行各种类型的图像处理，包括颜色转换处理(例如，白平衡(WB)处理)、伽马处理、边缘增强处理、颜色校正处理等。
[0032]存储器控制单元107控制图像存储器106。图像存储器106存储从A/D转换器104输出的图像数据以及将要在显示单元109上显示的图像数据。图像存储器106具有足够的存储容量来存储预定数量的静止图像以及预定持续时间的运动图像和音频。图像存储器106还用作用于图像显示的存储器(视频存储器)。
[0033]D/A转换器108将存储在图像存储器106中的用于图像显示的数据转换为模拟信号，并且将模拟信号提供给显示单元109。显示单元109是诸如LCD和有机EL的显示设备。
[0034]编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，包括：检测单元，其被配置为检测图像中的被摄体的区域信息；获取单元，其被配置为从所述被摄体的所述区域信息中检测作为所述被摄体的一部分的预定被摄体区域，并且获取所述预定被摄体区域的周边的亮度信息；以及重新照明单元，其被配置为通过添加虚拟光的效果来执行用于校正所述图像中的所述被摄体的明亮度的处理，其中，所述重新照明单元根据所述预定被摄体区域的所述周边的亮度来校正包括所述预定被摄体区域的所述被摄体的明亮度。2.根据权利要求1所述的装置，其中，当所述预定被摄体区域的所述周边的所述亮度被包括在预定亮度范围内时，所述重新照明单元执行校正以便减小包括所述预定被摄体区域的所述被摄体的明亮度。3.根据权利要求1所述的装置，还包括：生成单元，其被配置为生成指示到所述被摄体的距离的距离信息；其中，所述检测单元基于所述距离信息来检测所述被摄体的所述区域信息。4.根据权利要求1所述的装置，还包括：计算单元，其被配置为根据所述被摄体的所述区域信息计算所述被摄体的形状信息；其中，所述获取单元基于所述被摄体的所述区域信息或者所述被摄体的所述形状信息来获取所述预定被摄体区域的所述周边的所述亮度信息。5.根据权利要求1所述的装置，其中，所述重新照明单元控制用于照射所述虚拟光的虚拟光源的参数，使得所述预定被摄体区域的所述周边的亮度越高，则用以对包括所述预定被...

【专利技术属性】
技术研发人员：渡泽尚子，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：