图像处理设备、图像处理方法以及程序技术

本发明专利技术涉及图像处理设备、图像处理方法以及程序。该图像处理设备包括：运动预测处理单元，其检测标准图像与参考图像之间的图像间运动；运动补偿处理单元，其通过移动参考图像以便在像素位置中与标准图像对准，来生成经运动补偿的图像；相加处理单元，其生成降低了标准图像的噪声的噪声降低图像；以及相加确定单元，其计算经运动补偿的图像的相加权重。相加确定单元包括：第一运动区域检测单元，其计算运动区域确定值；第二运动区域检测单元，其计算运动区域确定值；控制映射生成单元，其选择并输出两个运动区域确定值之一；噪声确定表格生成单元，其生成或校正噪声确定表格；以及相加确定处理执行单元，其确定相加权重。

【技术实现步骤摘要】

本专利技术涉及图像处理设备、图像处理方法以及程序，更特别地，涉及能够生成经运动补偿的图像或者降低图像中的噪声的图像处理设备、图像处理方法以及程序。
技术介绍
利用诸如照相机或视频设备的成像设备拍摄的图像包括很多噪声。特别地，在低照明度下或者以短曝光时间来拍摄的图像通常包括很多噪声。当在低照明度下或者以短曝光时间来拍摄图像时，图像包括很多噪声的原因之一是由于入射光量小，因此在成像元件中积累的电荷量降低。为了基于成像数据来获取明亮的图像，需要对信号进行放大。当信号被放大时，在成像元件中或者在模拟电路中生成的噪声被放大，因此图像包括很多噪声。为了降低噪声，长时间曝光是有效的。然而，当长时间执行曝光时，存在如下可能性由于在曝光期间照相机抖动，因此出现图像模糊。降低噪声的方法包括如下方法该方法通过执行连拍来以高快门速度反复拍摄图像、并对通过连拍在不同时刻拍摄的多个图像执行相加平均以使得曝光模糊几乎不出现，减少(降低)与时间不相关的噪声。然而，产生如下问题由于对多个图像的相加处理引起相当大的计算量，因此处理效率退化。例如，根据现有技术的日本未审查专利申请公布第2009-290827号公开了一种在时间方向上减少(降低)噪声的方法，作为通过对通过连拍在不同时刻拍摄的多个图像执行相加平均来降低噪声的方法。在日本未审查专利申请公布第2009-290827号中，基本执行对如下多个图像的对应像素的像素值执行相加平均处理这多个图像被确定为是通过调整不同时刻拍摄的多个图像的位置来拍摄同一对象而形成的。例如，使用作为噪声降低目标的标准图像和该标准图像的一帧之前的参考图像，通过将参考图像上的对象移动到该对象在标准图像上的同一位置，生成经运动补偿的图像(MC图像)。然后，对标准图像与经运动的补偿图像(MC)之间的对应像素执行相加平均，以生成噪声降低的图像。然而，当执行该处理时，经运动补偿的图像(MC图像)的像素例如可能变成具有与整个图像的运动不同的运动的移动对象的区域(例如，诸如车或人的运动对象的区域)中与标准图像的对应像素不同的对象像素。在运动区域中，执行控制以便通过减少经运动补偿的图像(MC图像)的像素相对于标准图像的相加权重来提高标准图像的像素值的权重。S卩，执行噪声降低处理，以使得在被确定为是除移动对象的区域之外的非运动区域中积极地执行标准图像与经运动补偿的图像(MC图像)之间的对应像素的相加平均，而在移动对象的区域中将相加平均的影响减少到相当大地反映标准图像的像素值。在日本未审查专利申请公布第2009-290827号中，通过对与整个图像的运动对应的全局运动向量(GMV)和作为块区域(其是图像的划分区域)的运动向量的局部运动向量 (LMV)进行比较、并且确定具有通过比较获得的较大差异的块为运动区域，执行检测运动区域的处理。当向量精度取决于所生成的向量的精度而下降时，通过对全局运动向量(GMV)和局部运动向量(LMV)进行比较的处理而获得的运动确定精度显著下降。例如，包括比被设置为计算局部运动向量的块区域更小的局部区域的运动区域的块有时不会被确定为运动区域块。在这种情况下，在局部的运动区域中，可产生如下问题执行与非运动区域相同的多个图像的对应点的相加平均，从而噪声被进一步提高。当执行检测运动向量的处理时，执行通过比较连续拍摄的多个图像的像素值而进行的匹配处理来搜索对应点。然而，例如，当在图像的拍摄期间照明条件改变时，难以搜索对应的图像点，因此不能适当地算出运动向量。在这种情况下，可产生如下问题在对全局运动向量(GMV)与局部运动向量(LMV)进行比较的处理中，运动区域的检测精度退化，因此不能生成有效地降低噪声的图像。
技术实现思路
期望提供一种图像处理设备、图像处理方法以及程序，其能够在通过多个图像的合成来生成噪声降低图像的配置中，通过改进确定运动区域的处理并且以高精度计算相加权重，实现生成高质量、噪声降低的图像。期望提供一种图像处理设备、图像处理方法以及程序，其能够通过既执行经由全局运动向量(GMV)与局部运动向量(LMV)之间的比较而确定运动区域的处理，也执行还使用基于标准图像和经运动补偿的图像的像素差异信息而算出的运动估计(ME)成功确定信息来确定运动区域的处理两者，并且通过使用由这两种不同方式进行的运动区域的检测信息来以高精度计算相加权重，来实现生成高质量、噪声降低的图像。根据本专利技术的实施例，提供了一种图像处理设备，其包括运动预测处理单元，其检测标准图像与参考图像之间的图像间运动；运动补偿处理单元，其通过使用关于由运动预测处理单元检测到的图像间运动的信息移动参考图像以便在像素位置中与标准图像对准，来生成经运动补偿的图像；相加处理单元，其通过将标准图像与经运动补偿的图像相加的相加处理，生成降低了标准图像的噪声的噪声降低图像；以及相加确定单元，其以像素单位计算经运动补偿的图像的相加权重，该相加权重被应用于由相加处理单元在标准图像与经运动补偿的图像之间执行的相加处理。相加确定单元包括第一运动区域检测单元，其基于标准图像与经运动补偿的图像之间的像素差异信息来计算运动区域确定值，该运动区域确定值表示以构成标准图像的区域单位来包括有移动对象的区域；第二运动区域检测单元，其通过应用作为区域单位的运动信息的局部运动向量(LMV)与作为整个图像的运动信息的全局运动向量(GMV)之间的差异信息，计算区域单位的运动区域确定值；控制映射生成单元，其依据各运动区域确定值的组合，选择并输出从第一运动区域检测单元和第二运动区域检测单元输出的两个运动区域确定值之一；噪声确定表格生成单元，其根据从控制映射生成单元输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及相加确定处理执行单元，其根据基于由噪声确定表格生成单元生成的噪声确定表格而估计的像素单位的噪声量，确定相加权重。在根据本专利技术的实施例的图像处理设备中，在由从第一运动区域检测单元和第二运动区域检测单元输出的两个运动区域确定值的至少之一确定为很可能是运动区域的区域中，控制映射生成单元可将第一运动区域检测单元的确定值输出为最终确定值。在根据由第一运动区域检测单元和第二运动区域检测单元输出的两个运动区域确定值两者确定为并非很可能是运动区域的区域中，控制映射生成单元可将第二运动区域检测单元的确定值输出为最终确定值。在根据本专利技术的实施例的图像处理设备中，在其中根据从控制映射生成单元输出的区域单位的运动区域确定信息而设置了表示区域不太可能是运动区域的确定值的区域中，噪声确定表格生成单元可生成或校正噪声确定表格，以增加与像素值对应的估计噪声量。在其中根据从控制映射生成单元输出的区域单位的运动区域确定信息而设置了表示区域很可能是运动区域的确定值的区域中，噪声确定表格生成单元可生成或校正噪声确定表格，以减少与像素值对应的估计噪声量。在根据本专利技术的实施例的图像处理设备中，相加确定处理执行单元可执行如下确定相加权重的处理在噪声量大的区域中将相加权重设置为大，并且在像素单位的噪声量小的区域中将相加权重设置为小，像素单位的噪声量是通过由噪声确定表格生成单元生成的噪声确定表格来估计的。在根据本专利技术的实施例的图像处理设备中，第一运动区域检测单元可对标准图像和经运动补偿的图像本文档来自技高网...

【技术保护点】
１．一种图像处理设备，其包括：运动预测处理单元，其检测标准图像与参考图像之间的图像间运动；运动补偿处理单元，其通过使用关于由所述运动预测处理单元检测到的图像间运动的信息移动所述参考图像以便在像素位置中与所述标准图像对准，来生成经运动补偿的图像；相加处理单元，其通过将所述标准图像与所述经运动补偿的图像相加的相加处理，生成降低了所述标准图像的噪声的噪声降低图像；以及相加确定单元，其以像素单位计算所述经运动补偿的图像的相加权重，所述相加权重被应用于由所述相加处理单元在所述标准图像与所述经运动补偿的图像之间执行的相加处理，其中，所述相加确定单元包括：第一运动区域检测单元，其基于所述标准图像与所述经运动补偿的图像之间的像素差异信息来计算运动区域确定值，该运动区域确定值表示以构成所述标准图像的区域单位来包括有移动对象的区域；第二运动区域检测单元，其通过应用作为所述区域单位的运动信息的局部运动向量ＬＭＶ与作为整个图像的运动信息的全局运动向量ＧＭＶ之间的差异信息，计算所述区域单位的运动区域确定值；控制映射生成单元，其依据各运动区域确定值的组合，选择并输出从所述第一运动区域检测单元和所述第二运动区域检测单元输出的两个运动区域确定值之一；噪声确定表格生成单元，其根据从所述控制映射生成单元输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及相加确定处理执行单元，其根据基于由所述噪声确定表格生成单元生成的噪声确定表格而估计的像素单位的噪声量，确定所述相加权重。...

【技术特征摘要】
...

【专利技术属性】
技术研发人员：罗俊，名云武文，近藤雄飞，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP