本发明专利技术涉及能够生成合成视频图像的图像处理设备及其控制方法。一种图像处理设备，其能够在HDR合成处理中，在保持视频图像的平滑表现的同时，获得良好的HDR效果。第一计算单元基于以相互不同的曝光所连续拍摄的图像的帧中的至少一个的亮度，计算出所述图像的帧的第一合成比。第二计算单元基于所述图像的帧之间的亮度差，计算出所述图像的帧的第二合成比。第三计算单元基于所述第一合成比、所述第二合成比和在拍摄所述图像的帧时的快门速度，计算出第三合成比，作为用于合成所述图像的帧的最终合成比。合成单元通过基于所述第三合成比合成所述图像的帧，生成一个帧的图像。
【技术实现步骤摘要】
本专利技术涉及一种图像处理设备及其控制方法、以及用于存储用于其的控制程序的 存储介质，尤其涉及一种能够通过利用高动态范围（HDR)合成来合成多个帧的图像从而生 成视频图像的图像处理设备。
技术介绍
作为图像处理设备之一，有诸如数字照相机或者数字摄像机等的摄像设备。这些 摄像设备中的一些进行合成处理，其中，该合成处理通过合成在相互不同的曝光量下所拍 摄的多个帧的图像，获得高动态范围（HDR)图像（以下称为HDR合成处理）。在HDR合成处 理中，通过合成具有适当曝光的图像，获得不会包括所谓的光晕和黑色崩溃的图像。 顺便提及，在HDR合成处理中，通过重复根据时间序列将多个拍摄帧合成在一个 帧中的处理，在视频图像中同样获得HDR图像。然而，通过HDR合成处理所获得的视频图像 的帧频变得低于摄像时的帧频。因此，特别地，当快门速度快时，运动被摄体的运动可能看 起来不平滑。 此外，在视频图像的情况下，通常根据HDR合成处理的特性，以多个帧其中一帧中 的像素替换运动被摄体。因此，当运动被摄体检测的精度不够时，由于利用不同帧的像素替 换运动被摄体的部分，因而用户可能感觉合成图像不协调。 为了解决这一问题，在对于视频图像的HDR合成处理中，例如，已知这样一种技 术：该技术利用长时间曝光和短时间曝光，拍摄不同曝光的两个图像，通过向长时间曝光图 像添加模糊效果，生成预测图像，通过计算长时间曝光图像和预测图像之间的差，生成差分 图像，并且编码短时间曝光图像和差分图像（参考W02010/116731)。与编码短时间曝光图 像和长时间曝光图像的情况相比，这样更大提高编码效率。 此外，存在这样一种技术：该技术基于与前一帧和后一帧中的运动有关的信息，生 成中间图像，以补偿在视频图像的一个帧周期期间的非曝光期中的图像信息（参考日本特 开2009-232382号（JP2009-232382A))。在该公开中，当通过合成原始图像和中间图像生 成一个图像时，根据快门速度计算原始图像和中间图像的合成权重系数。 如上所述，在W02010/116731中，尽管补偿两个帧之间的差以尝试提高编码效率 (即，尽管减小帧之间的差以尝试提高编码效率），但是在HDR合成处理中难以平滑地显示 视频图像。 此外，在日本特开2009-232382号（JP2009-232382A)中，由于在通过合成原始图 像和中间图像生成一个图像时，根据快门速度计算原始图像和中间图像的合成权重系数， 从而提高视频图像的表现的平滑性。然而，降低了由HDR合成处理所产生的HDR效果。 也就是说，上述两个公开所述的方法难以在保持视频图像的平滑表现的同时获得 充分的HDR效果。
技术实现思路
本专利技术提供一种能够在HDR合成处理中，在保持视频图像的平滑表现的同时获得 充分的HDR效果的图像处理设备及其控制方法、以及用于存储用于其的控制程序的存储介 质。 因此，本专利技术的第一方面，提供一种图像处理设备，其包括：第一计算单元，用于基 于以相互不同的曝光所连续拍摄的多个帧的图像中的至少一个图像的亮度，计算出所述多 个帧的图像的第一合成比；第二计算单元，用于基于所述多个帧的图像之间的亮度差，计算 出所述多个帧的图像的第二合成比；第三计算单元，用于基于所述第一合成比、所述第二合 成比和在拍摄所述多个帧的图像时的快门速度，计算出第三合成比，作为用于合成所述多 个帧的图像的最终合成比；以及合成单元，用于通过基于所述第三合成比合成所述多个帧 的图像，生成一个帧的图像。 因此，本专利技术的第二方面，提供一种图像处理设备的控制方法，其包括以下步骤： 第一计算步骤，用于基于以相互不同的曝光所连续拍摄的多个帧的图像中的至少一个图像 的亮度，计算出所述多个帧的图像的第一合成比；第二计算步骤，用于基于所述多个帧的图 像之间的亮度差，计算出所述多个帧的图像的第二合成比；第三计算步骤，用于基于所述第 一合成比、所述第二合成比和在拍摄所述多个帧的图像时的快门速度，计算出第三合成比， 作为用于合成所述多个帧的图像的最终合成比；以及合成步骤，用于通过基于所述第三合 成比合成所述多个帧的图像，生成一个帧的图像。因此，本专利技术的第三方面，提供一种非暂时性计算机可读存储介质，其用于存储用 于使得计算机执行所述第二方面的控制方法的控制程序。 根据本专利技术，基于第一合成比、第二合成比和获得多个帧的图像时的快门速度，计 算合成这些多个帧的图像时的第三合成比，并且通过基于第三合成比合成这些多个帧的图 像，生成一个帧的图像。因此，在HDR合成处理中，在保持视频图像的平滑表现的同时，获得 充分的HDR效果。 通过以下参考附图对典型实施例的说明，本专利技术的其它特征将显而易见。【附图说明】 图1是示意性示出根据本专利技术第一实施例的图像处理设备的结构的框图。 图2是示意性示出图1所示的HDR处理单元的结构的框图。 图3是示出被输入至图2所示的HDR处理单元中的、以帧为单位的图像信号的流 的例子的图。 图4是示意性示出图1所示的显像单元的结构的框图。 图5是示出通过图4所示的伽马转换器所使用的伽马特性的图。 图6是示出通过图2所示的亮度合成比计算单元所计算出的曝光不足帧图像数据 的亮度合成比和亮度之间的关系的图。 图7是示出通过图2所示的亮度差合成比计算单元所计算出的曝光不足帧图像数 据的亮度差合成比和亮度差之间的关系的图。 图8A是示出通过图2所示的亮度差合成比计算单元所计算出的、曝光不足帧图像 数据的亮度差合成比与两个帧之间的亮度差之间的关系的图。 图8B是示出在图2所示的合成比计算单元改变合成程度之后，曝光不足帧图像数 据的亮度差合成比与两个帧之间的亮度差之间的关系的图。 图9是示出在对于视频图像的HDR合成处理期间，为了通过合成比计算单元计算 曝光不足帧图像数据的亮度差合成比所使用的变量G和快门速度之间的关系的图。 图10是示出在对于静止图像的HDR合成处理期间，为了通过合成比计算单元计算 曝光不足帧图像数据的亮度差合成比所使用的变量G和快门速度之间的关系的图。 图11是示意性示出根据本专利技术第二实施例的照相机中的HDR处理单元的结构的 框图。 图12是示出被输入至图11所示的HDR处理单元中的、以帧为单位的图像信号的 流的例子的图。 图13是示出通过图11所示的亮度合成比计算单元所计算出的、除第一适当帧图 像数据以外的图像数据的亮度合成比和亮度之间的关系的图。 图14是示出在对于视频图像的HDR合成处理期间，通过图11所示的合成比计算 单元所计算出的合成比之间的关系的图。 图15是示出在对于视频图像的HDR合成处理期间，为了通过图11所示的合成比 计算单元计算最大合成比所使用的变量G和快门速度之间的关系的图。 图16是示出在对于静止图像的HDR合成处理期间，通过图11所示的合成比计算 单元所计算出的合成比和快门速度之间的关系的图。 图17是示意性示出作为根据本专利技术第三实施例的图像处理设备的信息处理设备 的结构的框图。 图18是示出被加载至图17所示的存储器的应用程序的存储状态的图。 图19是示出通过图17所示的信息处理设备所执行的视频处理的流程图。 图20是示出图19的步骤S4中的图像处理的流程图。【具体实施方式】 下面参考附图，详细说本文档来自技高网...
【技术保护点】
一种图像处理设备，其包括：第一计算单元，用于基于以相互不同的曝光所连续拍摄的多个帧的图像中的至少一个图像的亮度，计算出所述多个帧的图像的第一合成比；所述图像处理设备的特征在于还包括：第二计算单元，用于基于所述多个帧的图像之间的亮度差，计算出所述多个帧的图像的第二合成比；第三计算单元，用于基于所述第一合成比、所述第二合成比和在拍摄所述多个帧的图像时的快门速度，计算出第三合成比，作为用于合成所述多个帧的图像的最终合成比；以及合成单元，用于通过基于所述第三合成比合成所述多个帧的图像，生成一个帧的图像。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：青景弘典，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。