图像处理装置、图像处理方法以及计算机可读存储介质制造方法及图纸

本发明专利技术涉及图像处理装置、图像处理方法以及程序。图像处理装置包括：确定单元，其使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

【技术实现步骤摘要】
图像处理装置、图像处理方法以及计算机可读存储介质相关申请的交叉引用本申请要求2013年8月7日提交的日本在先专利申请JP2013-163789的权益，将其全部内容通过引用结合于此。
本技术涉及图像处理装置。具体地，本技术涉及处理图像的图像处理装置、图像处理方法、以及使该方法在计算机中执行的程序。
技术介绍
在现有技术中，图像处理装置(诸如通过使用图像传感器对目标(诸如人)进行成像来生成图像(图像数据)的成像装置)已变得很普遍。此外，作为图像传感器，例如具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。此外，诸如再现以这种方式生成的图像的再现装置的图像处理装置已经广泛普及。例如，已经提出校正由于在CMOS图像传感器等中的焦平面现象而引起的成像图像的失真(焦平面失真)的校正装置(例如，参照日本待审专利申请公开No.2007-208580)。
技术实现思路
在上述现有技术中，由于在装置(诸如成像装置)中的校正是目标，并且CMOS图像传感器的垂直成像方向在装置中是已知的，因此可以基于垂直成像方向来适当地校正成像图像的焦平面失真。在本文中，例如，将假设在未使用成像装置执行焦平面失真校正的情况下所记录的运动图像内容被移动到另一个再现装置并在该再现装置中再现图像的情况。在该情况下，假设再现装置对运动图像内容执行焦平面失真校正，并且再现经历焦平面失真校正的运动图像内容。然而，还假设在对运动图像内容成像时CMOS图像传感器的垂直成像方向是不同的情况。在该情况下，当再现装置基于错误的垂直成像方向对运动图像内容执行焦平面失真校正时，不能适当地校正焦平面失真。此外，例如，使用全局快门图像传感器(例如，CCD图像传感器)来成像的运动图像内容原则上不具有焦平面失真。为此，没有必要对使用全局快门图像传感器来成像的运动图像内容执行焦平面失真校正。即，当处理运动图像内容时，重要的是适当地获得成像信息(诸如在成像操作时的垂直成像方向和快门系统)并使用该信息。期望适当获得在成像操作时的成像信息。根据本技术的实施方式，提供了一种图像处理装置、图像处理方法以及使该方法在计算机中执行的程序，该图像处理装置包括：确定单元，使用从配置运动图像内容的帧中的多个区获得的特征量，确定在运动图像内容的成像操作时的捕捉成像元件的像素值的方案。以这种方式，可以使用从配置运动图像内容的帧中的多个区所获得的特征量来确定当对运动图像内容成像时的成像元件的像素值的捕捉方案。在图像处理装置中，确定单元可确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案。以这种方式，可以确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案。在图像处理装置中，确定单元可通过获得多个区中的每一个中的局部运动矢量作为特征量，基于在配置运动图像内容的帧之中的时间顺序相邻的帧之间的局部运动矢量的连续性进行确定。以这种方式，可以基于在配置运动图像内容的帧之中的时间顺序相邻的帧之间的局部运动矢量的连续性来确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。在图像处理装置中，确定单元可获得多个区中的每一个的局部运动矢量作为特征量，可将在配置运动图像内容的帧之中的时间顺序相邻的帧设置为第一帧和第二帧，并且可基于从第一帧的特定方向中的一端侧上的区所获得的局部运动矢量与从第二帧的特定方向中的另一端侧上的区所获得的局部运动矢量的比较结果进行确定。以这种方式，可以基于从第一帧的特定方向中的一端侧上的区所获得的局部运动矢量以及从第二帧的特定方向中的另一端侧上的区所获得的局部运动矢量的比较结果来确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。在图像处理装置中，确定单元可使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值进行确定，第一运动矢量是从在第一帧的一端侧上的区所获得的局部运动矢量，第二运动矢量是从在第一帧另一端侧上的区所获得的局部运动矢量，第三运动矢量是从在第二帧的一端侧上的区所获得的局部运动矢量，以及第四运动矢量是从在第二帧的另一端侧上的区所获得的局部运动矢量。以这种方式，可以使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值来确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。在图像处理装置中，可进一步包括校正单元，该校正单元基于所确定的捕捉方案，对运动图像内容执行焦平面失真校正。以这种方式，可以基于所确定的捕捉方案来对运动图像内容执行焦平面失真校正。在图像处理装置中，确定单元可确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案，并且当由确定单元确定快门系统是焦平面快门系统时，校正单元可基于所确定的成像方向，对运动图像内容执行焦平面失真校正，并且当由确定单元确定快门系统是全局快门系统时，可不对运动图像内容执行焦平面失真校正。以这种方式，当确定快门系统是焦平面快门系统时，基于所确定的成像方向对运动图像内容执行焦平面失真校正，并且当确定快门系统是全局快门系统时，不对运动图像内容执行焦平面失真校正。在图像处理装置中，确定单元可基于在配置运动图像内容的目标帧与另一个帧中的多个区的比较结果，获得在多个区的每一个中的特征量。以这种方式，可以基于在配置运动图像内容的目标帧与另一个帧中的多个区的比较结果来获得多个区的每一个中的特征量。根据本技术，可以适当地获得在成像操作时的成像信息。此外，并不一定限于在此所描述的效果，并且可以是在本公开中所描述的效果中的任意一个。附图说明图1是示出根据本技术的第一实施方式的图像处理装置的功能配置实例的框图；图2是示出作为本技术的基础的CMOS图像传感器的配置实例的示图；图3是示意性地示出在作为本技术的基础的CMOS图像传感器中的每个行与每个行的曝光周期之间的关系的示图；图4A至图4C是示出使用包括作为本技术的基础的CMOS图像传感器成像装置所生成的图像及其校正实例的示图；图5是示出作为本技术的基础的CMOS图像传感器的成像方向的示图；图6是示出作为本技术的基础的CMOS图像传感器的运动、CMOS图像传感器的成像方向和焦平面失真的生成形式之间的关系的示图；图7A至图7E是示出在使用作为本技术的基础的CMOS图像传感器所生成的图像中发生的焦平面失真形式的实例的示图；图8A至图8C是示意性地示出配置变成使用根据本技术的第一实施方式的确定单元的确定目标的运动图像内容的帧的示图；图9A和图9B是示出对应于通过根据本技术的第一实施方式的确定单元所检测的局部运动矢量的运动量与帧中的区之间的关系的示图；图10是示出对应于通过根据本技术的第一实施方式的确定单元所检测到的局部运动矢量的运动量与帧中的区之间的关系的示图；图11是示出根据本技术的第一实施方式的校正单元的功能配置实例的框图；图12A至图12E是示出作为使用根据本技术的第一实施方式的校正单元的校正处理的目标的图像、校正图像与在校正处理中所使用的每条信息之间的关系的示图；图13A至图13D是示出作为使用根据本技术的第一实施方式的校正单元的校正处理的目标的图像与在校正处理中所使用的每条信息之间的关系的示图；图14A至图14C是示出作为使用根据本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：确定单元，使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在所述运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

【技术特征摘要】
2013.08.07 JP 2013-1637891.一种图像处理装置，包括：确定单元，使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在所述运动图像内容的成像操作时的成像元件的像素值的捕捉方案，其中，所述确定单元获得所述多个区的每一个的局部运动矢量作为特征量，将在配置所述运动图像内容的帧之中的时间顺序相邻的帧设置为第一帧和第二帧，并且基于从在所述第一帧的特定方向中的一端侧上的区所获得的局部运动矢量与从在所述第二帧的特定方向中的另一端侧上的区所获得的局部运动矢量的比较结果进行所述确定。2.根据权利要求1所述的图像处理装置，其中，所述确定单元确定在所述成像操作时的所述成像元件的成像方向和快门系统中的至少一个作为所述捕捉方案。3.根据权利要求1所述的图像处理装置，其中，所述确定单元通过获得在所述多个区的每一个中的局部运动矢量作为所述特征量，基于在配置所述运动图像内容的帧之中的时间顺序相邻的帧之间的所述局部运动矢量的连续性进行所述确定。4.根据权利要求1所述的图像处理装置，其中，所述确定单元使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值进行所述确定，所述第一运动矢量是从在所述第一帧的所述一端侧上的区所获得的局部运动矢量，所述第二运动矢量是从在所述第一帧的所述另一端侧上的区所获得的局部运动矢量，所述第三运动矢量是从在所述第二帧的所述一端侧上的区所获得的局部运动矢量，以及所述第四运动矢量是从在所述第二帧的所述另一端侧上的区所获得的局部运动矢量。5.根据权利要求2所述的图像处理装置，进一步包括：校正单元，基于所确定的捕捉方案，对所述运动图像内容执行焦平面失真校正。6.根据权利要求5所述的图像处理装置，其中，所述确定单元确定在所述成...

【专利技术属性】
技术研发人员：见城幸直，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP