图像处理设备及其控制方法和摄像设备及其控制方法以及记录介质技术

一种图像处理设备，包括：获取单元，用于获取摄像单元所拍摄的拍摄图像的RAW数据；处理单元，用于以逐步方式对所获取到的RAW数据进行多个不同的图像处理步骤；以及控制单元，用于对处理单元进行控制，其中，在处理单元在摄像单元进行摄像时以逐步方式实时对RAW数据进行多个不同的图像处理步骤的情况下，控制单元根据与拍摄图像有关的工作状况来对处理单元进行控制以限制多个不同的图像处理步骤的逐步执行，对处理单元进行控制以输出直到进行了所限制的步骤为止的处理的RAW数据，并且生成表示所限制的步骤的信息。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理设备、图像处理设备的控制方法、摄像设备、摄像设备的控制方法以及记录介质。
技术介绍
在现有技术的摄像设备中，对图像传感器所拍摄的原始图像信息(RAW图像、RAW数据)进行去拜尔(debayering)(去马赛克)后转换成包括亮度和色度的信号，并且使各信号经过诸如噪声去除、光学失真校正和图像最优化等的所谓的显像处理。然后，对经过了显像处理的亮度信号和色度信号进行通常的压缩和编码以将其记录在记录介质上。另一方面，还存在能够记录RAW数据的摄像设备。尽管进行记录所需的数据量庞大，但是RAW数据的优势在于：原始图像被最小程度地校正和劣化并且可以在拍摄之后进行编辑，并且被有经验的用户优选使用。在PTL 1中公开了用于记录RAW图像的摄像设备的结构。在PTL 1中，描述了如下结构：连同RAW数据一起记录显像参数，并且在用以对RAW图像进行显像和再现的再现时使用该显像参数。引用列表专利文献PTL 1：日本特开2011-244423
技术实现思路
根据实施例的一个方面，一种图像处理设备，包括：获取单元，用于获取摄像单元所拍摄的拍摄图像的RAW数据；处理单元，用于以逐步方式对所获取到的RAW数据进行多个不同的图像处理步骤；以及控制单元，用于对处理单元进行控制，其中，在处理单元在摄像单元进行摄像时以逐步方式实时对RAW数据进行多个不同的图像处理步骤的情况下，控制单元根据与拍摄图像有关的工作状况来对处理单元进行控制以限制多个不同的图像处理步骤的逐步执行，对处理单元进行控制以输出直到进行了所限制的步骤为止的处理的RAW数据，并且生成表示所限制的步骤的信息。通过以下参考附图的典型实施例的说明，本专利技术的其它特征将变得明显。附图说明图1是示出根据本专利技术的第一实施例的摄像设备的结构示例的框图。图2A和2B是根据本专利技术的第一实施例的摄像设备的一部分的详细的框图。图3是示出根据本专利技术的第一实施例的摄像设备的状态转换的图。图4是示出根据本专利技术的第一实施例的摄像设备所记录的RAW文件的结构示例的图。图5是示出根据本专利技术的第二实施例的摄像设备的结构示例的框图。图6是示出根据本专利技术的第二实施例的摄像设备所记录的RAW文件的结构示例的图。图7是示意性示出摄像元件的像素阵列的示例的图。具体实施方式近年来的摄像设备包括先进的图像传感器并且每个图像的像素数量显著增多。此外，每秒可以连续拍摄的图像的数量趋于增多。因此，诸如去拜尔、噪声去除和光学失真校正等的构成对RAW图像的显像处理的各处理步骤的处理量相应地增大，并且为了与摄像一起实时进行显像处理，会耗费庞大的电路和电力消耗。由于显像处理占用电路以及电力消耗限制等，导致可能存在无法实现高摄像性能的情况。另一方面，对于如PTL 1那样RAW图像在未进行显像的情况下被记录的结构，减少了摄像期间的处理量，并且作为结果，可以预期：在不会被与摄像并列进行的显像处理所拖累的情况下，提高了作为照相机的摄像性能。然而，注意，由于RAW图像在没有进行显像的状态下被记录，因而在摄像之后，需要进行特定的RAW显像处理。然而，如上所述，除了图像大小和图像数据方面的增大以外，在摄像之后RAW显像处理所花费的时间增加并且在显示图像之前需要长时间的情况下，对用户而言存在损害摄像设备的便利性的压力。现在，参考附图来详细说明本专利技术的实施例。图1是示出根据本专利技术的第一实施例的摄像设备的结构示例的框图。图1所示的摄像设备100不仅将通过拍摄被摄体的图像所获得的图像数据记录在记录介质上，而且还具有从记录介质再现图像数据并且对图像数据进行显像处理以进行显示的功能、以及相对于外部设备或服务器(云)等发送和接收图像数据的功能。因此，在关注点聚焦于这些功能的情况下，可以将根据本实施例的摄像设备表述为图像处理设备、记录设备、再现设备、记录和再现设备以及通信设备等。在图1中，控制单元161包括中央处理单元(CPU)和被配置为存储由CPU所要执行的控制程序的存储器，并且对摄像设备100的各单元的处理操作进行控制。操作单元162包括用户所使用的诸如按键、按钮或触摸面板等的输入装置，以向摄像设备100给出指示。控制单元161检测来自操作单元162的操作信号，执行存储器(未示出)中所存储的控制程序，并且对摄像设备的各单元进行控制，以使得执行与操作信号相对应的操作。显示单元123包括用于显示摄像设备100中所拍摄或再现的图像、菜单画面和各种信息等的液晶显示器(LCD)等。在操作单元162发出了用以开始摄像操作的指示的情况下，通过摄像光学单元101将要拍摄的被摄体的光学图像形成在图像传感器单元102上。照相机控制单元104基于评价值计算单元105所获取出的诸如光圈、焦点、照相机抖动等的评价值的计算结果以及识别单元131所提取出的被摄体信息，来对摄像光学单元101和图像传感器单元102在摄像期间的操作进行控制。图像传感器单元102将透过了针对各像素配置的红色、绿色和蓝色(RGB)颜色滤波器的光束转换成电信号。图7是示出配置在图像传感器单元102的摄像面上的颜色滤波器的示例的图，并且表示摄像设备100所应对的图像的像素阵列。如图7所示，针对各像素，以马赛克图案形式配置红色(R)703、绿色(G)701和蓝色(B)702，以形成如下结构，其中在该结构中，针对2行和2列的每4个像素规则地配置一个红色像素、一个蓝色像素和两个绿色像素的组。这些像素的这种配置通常被称为“拜尔阵列”。传感器信号处理单元(获取单元)103针对像素值对利用图像传感器单元102对光学图像进行光电转换所获得的电信号进行修复处理。修复处理包括针对图像传感器单元102的缺失像素和可靠性低的像素的像素值进行的如下处理：使用相邻像素值对要修复的像素值进行插入的处理(针对由于像素的缺陷而导致的缺陷像素值进行校正处理)、以及减去预定的偏移值以补偿图像传感器单元102的输出的黑电平的处理。在本实施例中，将从来自图像传感器单元102的输出到来自传感器信号处理单元103的输出的电信号(数据)称为“RAW数据(RAW图像)”，这表示原始(未显像)图像。传感器信号处理单元103所要进行的各种校正处理可以是在后级设置的显像单元110中所要进行的显像处理之前所要进行的众所周知的处理。另外，传感器信号处理单元103可以仅进行这些处理中的一部分。在显像单元110中对RAW数据进行显像处理。显像单元110包括如下的多个不同的显像处理单元：作为第一显像单元的简单显像单元111和作为第二显像单元的高质量图像显像单元112。显像单元110还包括被配置为在简单显像单元111的输出和高质量图像显像单元112的输出之间进行选择的切换单元121。简单显像单元111和高质量图像显像单元112这两者对RAW数据进行去拜尔(去马赛克)，以将RAW数据转换成包括亮度和色度的信号，并且进行诸如去除包含在各信号中的噪声以及光学失真校正等的用以使图像最优化的所谓的显像处理。特别地，与简单显像单元111相比，高质量图像显像单元112能够应对像素数量较多的图像，并且高精度地进行处理步骤。高精度使得与简单显像单元111相比获得图像质量较高的显像图像，但是另一方面，处理负荷变大。因此，在本实施例中的高质量图像显像单元112不是专门针对与摄像一起本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：获取单元，用于获取摄像单元所拍摄的RAW数据；处理单元，用于以逐步方式对所获取到的RAW数据进行多个不同的图像处理步骤；以及控制单元，用于对所述处理单元进行控制，用于对所述处理单元要进行的多个不同的图像处理步骤的逐步执行进行限制，并且用于生成表示所述控制单元所限制的限制步骤的信息，其中，所述控制单元根据所述RAW数据、拍摄与所述RAW数据相对应的光学图像时的包括所述摄像单元的设备的工作状况、以及对所述RAW数据进行处理时的所述处理单元的工作状况中的至少任一个，来对所述处理单元要进行的多个不同的图像处理步骤的逐步执行进行限制。

【技术特征摘要】
【国外来华专利技术】2014.03.28 JP 2014-069276;2015.03.25 JP 2015-062651.一种图像处理设备，包括：获取单元，用于获取摄像单元所拍摄的RAW数据；处理单元，用于以逐步方式对所获取到的RAW数据进行多个不同的图像处理步骤；以及控制单元，用于对所述处理单元进行控制，用于对所述处理单元要进行的多个不同的图像处理步骤的逐步执行进行限制，并且用于生成表示所述控制单元所限制的限制步骤的信息，其中，所述控制单元根据所述RAW数据、拍摄与所述RAW数据相对应的光学图像时的包括所述摄像单元的设备的工作状况、以及对所述RAW数据进行处理时的所述处理单元的工作状况中的至少任一个，来对所述处理单元要进行的多个不同的图像处理步骤的逐步执行进行限制。2.根据权利要求1所述的图像处理设备，其中，还包括差异单元，所述差异单元用于生成进行了直至所述控制单元所限制的步骤为止的处理的RAW数据和进行了所述限制步骤之前的步骤中的任一步骤的处理的RAW数据之间的差异数据，其中，所述差异单元生成与所述限制步骤之前的关于所述差异数据的生成的步骤有关的信息，以及所述限制步骤之前的步骤中的任一步骤包括所述处理单元开始执行所述多个不同的图像处理步骤的步骤。3.根据权利要求2所述的图像处理设备，其中，还包括缓冲器单元，所述缓冲器单元用于存储进行了直至所述控制单元所限制的步骤为止的图像处理的RAW数据以及进行了所述限制步骤之前的步骤中的任一步骤的图像处理的RAW数据，其中，所述差异单元根据所述缓冲器单元中所存储的RAW数据来生成所述差异数据。4.根据权利要求3所述的图像处理设备，其中，所述处理单元包括用于将所述处理单元处理后的RAW数据供给至下一步骤的处理和所述缓冲器单元中的至少一个的切换器，以及所述控制单元根据所述工作状况对所述切换器的切换进行控制。5.根据权利要求1至4中任一项所述的图像处理设备，其中，所述控制单元根据包括摄像模式、能够摄像时间以及摄像条件的设置的工作状况中的至少任一个作为拍摄与所述RAW数据相对应的光学图像时的包括所述摄像单元的设备的工作状况，来适应性地限制所述多个不同的图像处理步骤的逐步执行。6.根据权利要求1至5中任一项所述的图像处理设备，其中，所述控制单元根据所述处理单元的用于对所述RAW数据进行处理的处理参数作为对所述RAW数据进行处理时的所述处理单元的工作状况，来适应性地限制所述多个不同的图像处理步骤的逐步执行。7.根据权利要求1至6中任一项所述的图像处理设备，其中，所述控制单元根据所述获取单元所获取到的RAW数据的数据量和信噪比中的任一个，来适应性地限制所述多个不同的图像处理步骤的逐步执行。8.根据权利要求1至7中任一项所述的图像处理设备，其中，所述控制单元根据用于向所述图像处理设备供给电力的电池的剩余量，来适应性地限制所述多个不同的图像处理步骤的逐步执行。9.根据权利要求7所述的图像处理设备，其中，还包括：缓冲器单元，用于存储进行了直至所述控制单元所限制的步骤为止的处理的RAW数据以及进行了所述限制步骤之前的步骤中的任一步骤的处理的RAW数据，以及记录单元，用于将所述缓冲器单元中所存储的进行了直至所述控制单元所限制的步骤为止的处理的RAW数据记录在记录介质上，其中，所述记录单元生成至少包括进行了直至所述控制单元所限制的步骤为止的图像处理的RAW数据以及表示所述限制步骤的信息的图像文件，并且将所生成的图像文件记录在所述记录介质上。10.根据权利要求9所述的图像处理设备，其中，还包括差异单元，所述差异单元用于生成进行了直至所述控制单元所限制的步骤为止的处理的RAW数据和进行了所述限制步骤之前的步骤中的任一步骤的处理的RAW数据之间的差异数据，其中，所述图像文件还包括直至所述控制单元所限制的步骤为止的图像处理的处理参数、所述差异单元所生成的差异数据、以及表示所述限制步骤之前的与所述差异数据的生成有关的步骤的信息。11.根据权利要求1至10中任一项所述的图像处理设备，其中，所述处理单元以逐步方式执行的所述多个不同的图像处理步骤包括去马赛克处理和白平衡校正处理中的至少一个。12.根据权利要求1至11中任一项所述的图像处理设备，其中，所述处理单元以逐步方式执行的所述多个不同的图像处理步骤包括周围光量校正处理、失真校正处理、亮度校正处理和噪声校正处理中的至少一个。13.根据权利要求10所述的图像处理设备，其中，还包括再现单元，所述再现单元用于对由所述记录单元记录在所述记录介质上的图像文件进行再现，其中，所述处理单元基于所再现的图像文件中所存储的表示所述限制步骤的信息以及直至所述控制单元所限制的步骤为止的处理的处理参数，针对所再现的图像文件中所存储的进行了直至所述控制单元所限制的步骤为止的处理的RAW数据，进行所述控制单元所限制的步骤之后的步骤的处理。14.根据权利要求13所述的图像处理设备，其中，所述再现单元基于所再现的图像文件中所存储的所述差异数据和进行了直至所述控制单元所限制的步骤为止的处理的RAW数据，对生成所述差异数据时所使用的、进行了所述限制步骤之前的步骤的处理的RAW数据进行恢复，以及所述处理单元根据表示所述限制步骤之前的与所述差异数据的生成有关的步骤的信息，对所恢复的RAW数据进行多个不同的图像处理中的任一个。15.根据权利要求1至14中任一项所述的图像处理设备，其中，所述RAW数据是从所述摄像单元输出的电信号，其中针对所述电信号，进行了针对由于所述摄像单元的像素缺陷而产生的缺陷像素值的校正处理以及黑电平的校正处理中的至少任一个。16.一种图像处理设备的控制方法，所述图像处理设备包括：处理单元，用于对摄像单元所拍摄的RAW数据进行多个不同的图像处理步骤；以及控制单元，用于对所述处理单元进行控制，并且用于对所述处理单元要进行的多个不同的图像处理步骤的逐步执行进行限制，所述控制方法包括：获取所述RAW数据；通过所述处理单元以逐步方式对所述RAW数据进行所述多个不同的图像处理步骤中的至少一部分；以及通过所述控制单元生成表示所述处理单元所进行的图像处理步骤的逐步执行被限制的步骤的信息，其中，在进行所述多个不同的图像处理步骤中的至少一部分时，所述控制单元根据所述RAW数据、拍摄与所述RAW数据相对应的光学图像时的所述摄像单元的工作状况、以及对所述RAW数据进行处理时的所述处理单元的工作状况中的至少任一个，来对所述处理单元要进行的多个不同的图像处理步骤的逐步执行进行限制。17.一种计算机可读记录介质，其上记录有用于控制能够对摄像单元所拍摄的RAW数据进行处理的图像处理设备的程序，所述程序使计算机用作：获取单元，用于获取所述RAW数据；处理单元，用于以逐步方式对所获取到的RAW数据进行多个不同的图像处理步骤；以及控制单元，用于对所述处理单元进行控制，用于对所述处理单元要进行的多个不同的图像处理步骤的逐步执行...

【专利技术属性】
技术研发人员：阿波谷佳朗，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP