图像处理装置、摄像装置以及图像处理方法制造方法及图纸

本发明专利技术的目的是提供一种图像处理装置、摄像装置、图像处理方法以及程序，能够使用如下图像准确地进行主要被摄体区域和背景区域的判定，所述图像通过包括实际拍摄在内的两次拍摄而获得，并且是抑制了噪声的影响、由于被摄体的移动产生的抖动以及手抖的影响的图像。本发明专利技术的优选方式所涉及的图像处理部(31)具备：图像获取部(41)，其获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，第1闪光发射图像通过发射闪光进行实际拍摄而得，第2闪光发射图像通过以与第1闪光发射图像的曝光时间不同的曝光时间对与第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算部(43)，其计算各区域中的第1摄像信号与第2摄像信号的信号比例；以及判定部(45)，其根据阈值判定为主要被摄体区域和背景区域。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像装置、图像处理方法以及程序
本专利技术涉及一种图像处理装置、摄像装置、图像处理方法以及程序，尤其涉及在图像数据中分离主要被摄体区域和背景区域的技术。
技术介绍
在发射闪光进行拍摄的情况下，在被摄体距离近的主要被摄体和被摄体距离远的背景中，主要是受影响的光源不同。即，被摄体距离近且闪光容易到达的主要被摄体主要受到来自闪光的影响而被拍摄，被摄体距离远且闪光难以到达的背景主要受来自环境光的影响而被拍摄。在主要被摄体和背景中受影响的光源不同的情况下，要求对主要被摄体映现出的图像的区域(以下，称作“主要被摄体区域”)和背景映现出的图像的区域(以下，称作“背景区域”)进行适于各区域的图像处理。具体而言，在通过白平衡处理(以下，称作“WB处理”)使主要被摄体区域的色相(色彩平衡)良好的情况下，要求将消除闪光的影响的白平衡增益(以下，称作“WB增益”)应用于主要被摄体区域。另一方面，在通过WB处理使背景区域的色相(色彩平衡)良好的情况下，要求将消除环境光的影响的WB增益应用于背景区域。因此，有时很难通过对构成图像的整个区域应用共同的WB增益来兼顾主要被摄体区域的色相(色彩平衡)和背景区域的色相(色彩平衡)。因此，已知有通过多区域白平衡处理(以下，称作“多区域WB处理”)在主要被摄体区域和背景区域应用不同的白平衡增益(以下，称作“WB增益”)的方法。根据多区域WB处理，即使是来自多个光源的光线按照每一个区域不同的比率照射于被摄体的图像，也能够适当地校正各区域的色相(色彩平衡)。但是，在进行多区域WB处理的情况下，需要准确地判定主要被摄体区域和背景区域，如果主要被摄体区域和背景区域的判定不准确，反而会成为不自然的图像。因此，关于主要被摄体区域和背景区域的判定，一直以来考虑了各种方法。例如，在专利文献1中，作为分离主要被摄体区域和背景区域的技术，公开有获取对同一场景发射闪光而拍摄的图像和不发射闪光而拍摄的图像，并根据所获取的两张图像的差分分离主要被摄体区域和背景区域的方法。在专利文献2中，公开有对同一场景加强闪光的发射强度而拍摄的图像和减弱闪光的发射强度而拍摄的图像，并根据该获取的两张图像的差分分离主要被摄体区域和背景区域的方法。现有技术文献专利文献专利文献1：日本特开2000-308068号公报专利文献2：日本特开2009-200924号公报
技术实现思路
专利技术所要解决的问题然而，专利文献1所记载的技术在不发射闪光而对黑暗场景进行拍摄的情况下，需要放慢快门速度获得足够的光量，以防止产生过黑。在放慢快门速度拍摄的图像中，产生因主要被摄体移动导致的图像的抖动或因手抖导致的图像的抖动的可能性变高。有抖动的图像的主要被摄体区域和背景区域的边界变得不清晰，无法准确地进行主要被摄体区域和背景区域的分离。若对这种未准确地进行主要被摄体区域和背景区域的分离的图像进行多区域WB处理，则反而成为不自然的图像。另一方面，即使在不发射闪光的情况下也为了抑制抖动的产生而高速维持快门速度时，光量(例如用亮度值表示)不足的区域无法判别图像的摄像信号和噪声。另外，若将快门速度从1/4秒加快到1/64秒，则基于环境光的亮度变成1/16。具体而言，就以8比特(bit)计为70的亮度而言，若亮度成为1/16，则下降到4.375，亮度下降到4.375的区域难以与噪声进行区分。而且，专利文献1所记载的技术存在无法准确地判定接近室内灯的主要被摄体区域的情况。即，在多个人物为主要被摄体的情况下，接近室内灯且闪光也照射到的人物的明度由于动态范围的上限而无法准确地被呈现，即使是主要被摄体区域，闪光的发射图像与非发射图像的差分也成为阈值以下，有时无法准确地判定主要被摄体区域和背景区域。并且，在专利文献2所记载的技术中，通过实际拍摄(适当曝光的拍摄)获取的图像无法使用于分离主要被摄体区域和背景区域。即，专利文献2所记载的技术需要获取实际拍摄而得的图像、闪光的发射强度强的图像以及闪光的发射强度弱的图像，导致需要对同一场景进行至少3次拍摄。本专利技术是鉴于这种情况而完成的，其目的在于提供一种能够使用通过包括实际拍摄在内的两次拍摄而获得的图像、并且是抑制了噪声的影响、由于被摄体的移动产生的抖动以及手抖的影响的图像，准确地进行主要被摄体区域和背景区域的判定的图像处理装置、摄像装置、图像处理方法以及程序。用于解决问题的手段作为本专利技术的一方式的图像处理装置，其具备：图像获取部，其获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，第1闪光发射图像通过发射闪光进行实际拍摄而得，第2闪光发射图像通过以与第1闪光发射图像的曝光时间不同的曝光时间对与第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算部，其计算与第1摄像信号的各区域对应的第2摄像信号的各区域中的第1摄像信号与第2摄像信号的信号比例；以及判定部，其在第1闪光发射图像中根据信号比例和阈值判定主要被摄体区域和背景区域。根据本方式，由于根据对同一场景发射闪光而获得的两张闪光发射图像的信号比例判定主要被摄体区域和背景区域，因此可以在图像中抑制噪声的影响、被摄体的抖动的影响以及手抖的影响，从而能够准确地进行主要被摄体区域和背景区域的判定。尤其根据本方式，可以在主要被摄体区域和背景区域的边界进行适当的判定。并且，根据本方式，由于通过实际拍摄而获得的图像也用于主要被摄体区域和背景区域的判定，因此能够利用通过包括实际拍摄在内的至少两次拍摄而获得的图像进行判定。优选比例计算部获取与第1摄像信号的各区域对应的第2摄像信号的各区域中的第1摄像信号和第2摄像信号的信号变化量，并计算信号变化量与基于各区域的第1摄像信号或第2摄像信号的值的比例即信号比例，判定部在第1闪光发射图像中，将信号比例为阈值以下的区域判定为主要被摄体区域，将信号比例大于阈值的区域判定为背景区域。根据本方式，计算第1闪光发射图像和第2闪光发射图像的信号变化量，根据基于信号变化量的信号比例进行主要被摄体区域和背景区域的判定。由此，本方式能够根据第1闪光发射图像与第2闪光发射图像的差分准确地进行主要被摄体区域和背景区域的判定。优选判定部在第1闪光发射图像中，将信号比例为阈值以上的区域判定为主要被摄体区域，将信号比例小于阈值的区域判定为背景区域。根据本方式，由于根据阈值进行主要被摄体区域和背景区域的判定，因此能够进行更加准确的判定。优选第1闪光发射图像的曝光时间比闪光的发射时间长。根据本方式，由于通过实际拍摄而获得的第1闪光发射图像的曝光时间比闪光的发射时间长，因此能够使用确保了通过实际拍摄而获得的足够的明度的图像进行判定。优选第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。根据本方式，由于通过参照拍摄而拍摄的第2闪光发射图像的曝光时间比通过实际拍摄而拍摄的第1闪光发射图像的曝光时间短，因此既能在实际拍摄中确保足够的曝光时间，又能在短时间内获取第1闪光发射图像以及第2闪光发射图像的获取。优选第1闪光发射图像的曝光时间根据第1闪光发射图像的适当曝光确定。根据本方式，由于通过适当曝光而拍摄第1闪光发射图像，因此能够利用具有优质的画质的第1闪光发射图像进行判定。优选图像处理装置具备信号处理部，信号处理部对由判定部判定的主要被摄体区域和本文档来自技高网...

【技术保护点】
一种图像处理装置，其具备：图像获取部，获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，所述第1闪光发射图像通过发射闪光进行实际拍摄而得，所述第2闪光发射图像通过以与所述第1闪光发射图像的曝光时间不同的曝光时间对与所述第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算部，计算出与所述第1摄像信号的各区域对应的所述第2摄像信号的各区域中的、所述第1摄像信号与所述第2摄像信号的信号比例；以及判定部，在所述第1闪光发射图像中，根据所述信号比例和阈值判定主要被摄体区域和背景区域。

【技术特征摘要】
【国外来华专利技术】2014.07.16 JP 2014-1457941.一种图像处理装置，其具备：图像获取部，获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，所述第1闪光发射图像通过发射闪光进行实际拍摄而得，所述第2闪光发射图像通过以与所述第1闪光发射图像的曝光时间不同的曝光时间对与所述第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算部，计算出与所述第1摄像信号的各区域对应的所述第2摄像信号的各区域中的、所述第1摄像信号与所述第2摄像信号的信号比例；以及判定部，在所述第1闪光发射图像中，根据所述信号比例和阈值判定主要被摄体区域和背景区域。2.根据权利要求1所述的图像处理装置，其中，所述比例计算部获取与所述第1摄像信号的各区域对应的所述第2摄像信号的各区域中的、所述第1摄像信号和所述第2摄像信号的信号变化量，并计算出所述信号变化量与基于各区域的所述第1摄像信号或所述第2摄像信号的值的比例即所述信号比例，所述判定部在所述第1闪光发射图像中，将所述信号比例为阈值以下的区域判定为主要被摄体区域，将所述信号比例大于所述阈值的区域判定为背景区域。3.根据权利要求1所述的图像处理装置，其中，所述判定部在所述第1闪光发射图像中，将所述信号比例为阈值以上的区域判定为主要被摄体区域，将所述信号比例小于所述阈值的区域判定为背景区域。4.根据权利要求1～3中任一项所述的图像处理装置，其中，所述第1闪光发射图像的所述曝光时间比闪光的发射时间长。5.根据权利要求1～4中任一项所述的图像处理装置，其中，所述第2闪光发射图像的所述曝光时间比所述第1闪光发射图像的所述曝光时间短。6.根据权利要求1～5中任一项所述的图像处理装置，其中，所述第1闪光发射图像的所述曝光时间根据所述第1闪光发射图像的适当曝光确定。7.根据权利要求1～6中任一项所述的图像处理装置，其中，上述图像处理装置具备信号处理部，所述信号处理部对由所述判定部判定的所述主要被摄体区域和所述背景区域进行不同的信号处理。8.根据权利要求7所述的图像处理装置，其中，所述信号处理部对所述主要被摄体区域和所述背景区域进行不同的白平衡处理。9.根据权利要求7或8所述的图像处理装置，其中，上述图像处理装置具备：亮度信息获取部，获取所述第1闪光发射图像的亮度信息和所述第2闪光发射图像的亮度信息；以及亮度信息比较部，对所述第1闪光发射图像的所述亮度信息与所述第2闪光发射图像的所述亮度信息进行比较，所述信号处理部根据所述亮度信息比较部的比较结果不进行所述信号处理。10.根据权利要求9所述的图像处理装置，其中，所述亮度信息比较部通过计算所述第1闪光发射图像的所述亮度信息与所述第2闪光发射图像的所述亮度信息的重叠来进行比较。11.根据权利要求7或8所述的图像处理装置，其中，在拍摄所述第1闪光发射图像以及所述第2闪光发射图像的快门速度比闪光的发射时间短的情况下，所述信号处理部不进行所述信号处理。12.根据权利要求1～11中任一项所述的图像处理装置，其中，在拍摄所述第1闪光发射图像，接着拍摄所述第2闪光发射图像的情况下，在后帘同步的闪光发射时刻拍摄所述第...

【专利技术属性】
技术研发人员：斋藤太郎，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本,JP