图像处理设备、图像处理方法、成像设备和程序技术

本技术涉及一种图像处理设备、一种图像处理方法、一种成像设备和一种程序，利用其可以更适当地校正运动。本发明专利技术具有：合成单元，用于合成在不同定时捕获的多个图像；以及运动校正单元，用于进行校正，以减少对图像的运动相关影响。所述运动校正单元：基于合成多个图像时的合成比率，设定参考与以规定的间隔提供的运动量相关的运动量信息的区间的参考点；基于设定的参考点来参考运动量信息；并进行校正。所述多个图像包括在长时间曝光周期中捕获的长时间曝光图像和在短时间曝光周期中捕获的短时间曝光图像。所述合成单元通过以合成比率合成长时间曝光图像和短时间曝光图像来生成宽动态范围图像。本技术可应用于成像设备。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备、图像处理方法、成像设备和程序
本技术涉及一种图像处理设备、一种图像处理方法、一种成像设备和一种程序，并且例如涉及一种能够更适当地减少运动对图像质量的影响图像处理设备、一种图像处理方法、一种成像设备和一种程序。
技术介绍
传统上，存在用于成像设备的动态范围扩展技术。例如，已知一种分时技术，其中，通过分时以不同灵敏度捕获图像，并且合成通过分时捕获的多个图像(例如，参考专利文献1)。引文列表专利文献专利文献1：日本专利申请公开号2001-346096
技术实现思路
本专利技术要解决的问题例如，在执行用于减少由于诸如相机抖动等运动引起的偏差的影响的校正(在下文中称为运动校正)的情况下，记录帧用作基准。在如上所述合成通过分时以不同灵敏度捕获的图像的情况下，将合成后的图像用作基准来进行运动校正。然而，存在不考虑以何种比例合成了以不同灵敏度捕获的图像来进行运动校正，从而降低校正精度的可能性。鉴于这种情况作出了本技术，并且使得可以更适当地进行校正，用于减少由于运动而造成的影响。问题的解决方案根据本技术的一个方面的图像处理设备包括：合成单元，对在不同定时捕获的多个图像进行合成；以及运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，所述运动校正单元：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考运动量信息，以进行校正。根据本技术的一个方面的图像处理方法包括包含以下步骤的处理：对在不同定时捕获的多个图像进行合成；以及执行减小对与运动相关的图像的影响的运动校正，所述处理通过以下步骤进行运动校正：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考运动量信息。根据本技术的一个方面的成像设备包括图像处理设备，所述图像处理设备包括：合成单元，对在不同定时捕获的多个图像进行合成；以及运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，所述运动校正单元：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考所述运动量信息，以进行校正。根据本技术的一个方面的程序促使计算机执行：包括以下步骤的处理：对在不同定时捕获的多个图像进行合成；以及执行减小对与运动相关的图像的影响的运动校正，所述处理通过以下步骤进行运动校正：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考所述运动量信息。在根据本技术的一个方面的图像处理设备、图像处理方法和程序中，对在不同定时捕获的多个图像进行合成，并且执行减小对与运动相关的图像的影响的运动校正。通过以下步骤进行该运动校正：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考运动量信息。在根据本技术的一个方面的成像设备中，提供了图像处理设备。注意，图像处理设备和成像处理设备均可以是构成一个设备的独立设备或内部块。此外，可以通过经由传输介质传输或者通过记录在记录介质上来提供程序。本专利技术的效果根据本技术的一个方面，可以更适当地执行减少由于运动而造成的影响的校正。注意，在本文中描述的效果不一定是限制性的，并且可以应用本公开中描述的任何效果。附图说明[图1]是用于说明高动态范围图像的生成处理的示图。[图2]是用于说明应用本技术的成像设备的配置的示图。[图3]是用于说明图像处理单元的配置的示图。[图4]是用于说明找到每个帧的参考时间重心的情况的示图。[图5]是用于说明合成的示图。[图6]是用于说明参考时间重心的偏差的示图。[图7]是用于说明校正效果的示图。[图8]是用于说明找到每行的参考时间重心的情况的示图。[图9]是用于说明图像处理单元的另一配置的示图。[图10]是用于说明记录介质的示图。具体实施方式在下文中，将描述用于执行本技术的模式(在下文中称为实施方式)。下面描述的本技术可以应用于进行校正以减小由于运动而造成的偏差(模糊)影响的设备(在下文中称为运动校正)。此外，本技术可以应用于捕获具有高动态范围的图像并且对具有高动态范围的这种图像进行运动校正以提高图像质量的设备。此外，本技术还可以应用于通过执行多次具有相同曝光时间的成像(具有相同曝光时间但在不同定时的成像)以及通过位置对准和合成处理执行降低噪声的处理来提高图像质量的设备。在此处，将描述捕获具有高动态范围的图像并且对这种具有高动态范围的图像进行运动校正的情况，作为示例。<关于高动态范围图像的生成处理的概要>首先，将描述高动态范围图像的生成处理的概要。可以通过合成长时间曝光图像和短时间曝光图像来生成高动态范围图像。将参照图1描述高动态范围图像的生成处理。图1示出了合成(混合)短时间曝光图像51和长时间曝光图像52以生成高动态范围(HDR)图像55的处理的示例。在本公开的处理中的合成(混合)处理是根据混合系数β针对短时间曝光图像51和长时间曝光图像52的对应像素值的混合处理，并且通过该混合处理，设置输出图像(合成图像)的每个像素值。首先，在步骤S11和S12中，通过将短时间曝光图像51和长时间曝光图像52乘以根据曝光率的常数来进行曝光校正。例如，在曝光率为16的10位传感器的情况下，在曝光校正阶段，短时间曝光图像乘以16，长时间曝光图像乘以1；此后，在步骤S13中，合成(混合)相应像素的像素值，以确定作为输出图像的HDR图像55的像素值。注意，在曝光校正之后的短时间曝光图像将称为曝光校正的短时间曝光图像，在曝光校正之后的长时间曝光图像将称为曝光校正的长时间曝光图像。将描述作为输出图像的HDR图像55的像素值确定处理的特定顺序。例如，假设DS：曝光校正的短时间曝光图像的像素值，DL：曝光校正的长时间曝光图像的像素值，以及DH：要输出的高动态范围图像的像素值，在步骤S13中，在混合处理期间根据下面表示的公式来计算HDR图像55的像素值。DH＝(1.0-β)×DS+β×DL注意，对于曝光校正的短时间曝光图像和曝光校正的长时间曝光图像的每个对应像素位置，执行根据上述公式的像素值的混合。换言之，对同一对象的每个成像像素位置执行混合处理，使得确定输出图像(HDR图像)的每个像素值。例如，通过这种处理，由于将曝光校正的短时间曝光像素的饱和像素值给定为1023×16＝16368(14位)，所以也将要输出的像素值给定为14位，并且实现了动态范围的扩展。然而，在步骤S11和S12中，在通过乘以根据曝光率的常数执行曝光校正而获得的曝光校正的短时间曝光图像53和曝光校正的长时间曝光图像54中，有可能不保持作为像素值的精确值。换言之，短时间曝光图像53的暗部可能由于噪声而具有区块阴影(blockedupshadows)，而长时间曝光图像54的亮部可能具有高光溢出(blownouthighlights)。因此，在步骤S13的混合处理中，执行不利用这些误差像素的像素值的混合处理。通过这种处理，可以获得本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：合成单元，对在不同定时捕获的多个图像进行合成；以及运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，所述运动校正单元：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考所述运动量信息，以进行校正。

【技术特征摘要】
【国外来华专利技术】2016.05.16 JP 2016-0978831.一种图像处理设备，包括：合成单元，对在不同定时捕获的多个图像进行合成；以及运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，所述运动校正单元：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考所述运动量信息，以进行校正。2.根据权利要求1所述的图像处理设备，其中，所述多个图像是在长时间曝光周期内捕获的长时间曝光图像和在短时间曝光周期内捕获的短时间曝光图像，并且所述合成单元以所述合成比率对所述长时间曝光图像和所述短时间曝光图像进行合成，以生成具有高动态范围的图像。3.根据权利要求1所述的图像处理设备，其中，所述多个图像是以相同曝光时间捕获的、并且在不同定时捕获的多个图像，并且所述合成单元对所述多个图像进行合成，以生成具有减小了噪声的图像。4.根据权利要求1所述的图像处理设备，其中，所述运动校正单元：指定与时间相关的直方图作为统计量，在所述时间处，通过在所述合成单元中合成所述多个图像而生成的合成图像参考所述多个图像，并且根据所述统计量设置所述基准。5.根据权利要求4所述的图像处理设备，其中，为每个所述合成图像设定所述基准。6.根据权利要求4所述的图像处理设备，其中，为每行所述合成图像设定所述基准。7.根据...

【专利技术属性】
技术研发人员：见城幸直，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP