图像处理设备、图像处理方法以及程序技术

一种图像处理设备、图像处理方法以及程序。该图像处理设备包括：参考背景存储单元，存储参考背景图像；估算单元，从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；背景差异图像生成单元，生成基于输入图像与参考背景图像之间的差值获得的背景差异图像；故障判断单元，基于由背景差异图像生成单元生成的背景差异图像与由估算单元估算出的对象之间的比较来判断在背景差异图像中是否出现故障；故障类型识别单元，识别故障的类型；以及背景图像更新单元，以与故障的类型相对应的方式更新参考背景图像。

【技术实现步骤摘要】

本专利技术涉及图像处理设备、图像处理方法以及程序。特别地，本专利技术涉及可以从输入图像中准确地提取作为前景图像的对象的图像处理设备、图像处理方法以及程序。
技术介绍
用以从由摄像装置等拾取的输入图像提取作为前景图像和对象的动物身体区域的技术得以广泛传播。在这些技术之中，广泛使用背景差异图像生成处理作为可以简单迅速地提取动物身体区域的方法。在背景差异图像生成处理中，预先拾取无运动参考背景图像以及针对每个像素获得在由摄像装置拾取的图像与参考背景图像之间的差异，以便专门提取动物身体区域。日本待审查专利申请公开No. 63-187889公开了如下这种技术只提取存在于从摄像装置的图像拾取位置起的近侧的人以及把通过计算机图形(CG)等生成的图像与背景区域合成，以使得当在电视电话上显示人时，例如可以在电视电话的显示单元上专门显示人而不示出作为人的背景的他或她的生活环境。更详细地，差异计算单元1针对每个像素计算预先拾取的参考背景图像Π的像素的像素值与然后拾取的图像f2的像素的像素值之间的差异，如图1中所示。随后，当差值小于预定阈值时，差异计算单元1把像素值设置为零，即，删除背景以便生成专门留下动物身体区域的背景差异图像f3。然而，如图2的输入图像f5中所示，在改变照明条件(诸如照明色温或亮度等)， 或者改变摄像装置参数(诸如光圈、增益以及白平衡等)的情形中，也改变除了动物身体区域之外的区域。因此，如图2中所示，参考背景图像fl的像素的像素值与输入图像f5的像素的像素值之间的差值不小于预定阈值，因此未专门提取动物身体区域，相应地，有时生成如同也留下背景图像的图像f7 —样的状态。针对这种问题，提出了一种相对于照明条件等的变化而言稳定耐用的技术作为背景差异图像生成处理技术。在该技术中，获得目标像素的亮度与周边像素的亮度之间的增加/减小关系，通过使用关系的差值作为估算值来提取动物身体区域(参考Y. Sato、 S. Kaneko 以及 S. Igarashi"Robust Object Detection and Segmentation by Peripheral Increment Sign Correlation Image，，，Institute of Electronics, Information and Communication Engineers Transactions，第 J84-D—II卷，No. 12，第2585—2594页，2001年 12月)。根据该技术，由于临近像素之间亮度的关系即使通过照明变化的出现也几乎不改变，所以可以提取稳定耐用的背景差异图像。作为用于处理逐步改变照明条件等的情形的技术，提出了采用高斯混合模型 (GMM)的背景差异图像生成处理。美国专利申请公开No. 6044166公开了即使在逐步改变照明条件时也实现稳定耐用的背景差异图像的生成处理的技术。在此技术中，执行在拾取的输入图像与参考背景图像之间背景差异图像的生成处理，把多个帧的彼此相对应的像素值彼此相比较。在改变迅速的情形中，不更新参考背景图像的像素值，在改变是逐步的情形中，以预定比率改变参考背景图像的像素值以便接近拾取的输入图像的像素值。进一步地，日本待审查专利申请公开No. 2009-265827公开了用于处理照明条件变化的这种技术。在该技术中，初步获取由在不同照明条件等下获得的多个背景图像组成的背景图像组，把输入图像划分成进行对象存在预测的预测区域以及作为除了预测区域之外的区域的非预测区域，从背景图像组中选择特性最接近非预测区域中的图像特性的背景图像。此外，作为用于自动确定迅速照明变化出现的情形的方法，公开了如下这种技术 当作为背景差异图像的前景的尺寸变得大于预定尺寸时，确定故障的出现(参考Toyama等人，“Wallflower !Principles and practice of background maintenance”，ICCV1999，禾斗孚岛，希腊)。此技术基于如下这种前提当迅速照明变化出现时，背景差异中出现故障，放大作为背景差异图像的前景图像。
技术实现思路
@胃，$以±弓Iffi 的ilj^“Robust Object Detection and Segmentation by Peripheral Increment Sign Correlation Image”的技术中，在对象的纹理较小的情形中， 由于照明变化或像素噪声导致破坏临近像素之间的关系，从而，易于出现错误检测。此夕卜，在以上引用的文献“Wallflower Principles and practice of background maintenance"的技术中，假定当前景的尺寸大于预定尺寸以及前景的尺寸达到例如整个屏幕的70%时，认为故障出现。在此情形中，当人占据屏幕的大面积时，例如，即使无故障出现也会错误地识别出故障出现。美国专利申请公开No. 6044166的技术能够处理逐步改变，但是该技术在迅速照明变化出现时无效，这是因为假定在迅速改变出现的区域中存在动物身体。日本待审查专利申请公开No. 2009-265827的技术能够通过基于作为前景的对象不存在的部分的信息估算可以是前景的背景来处理照明条件的迅速改变。然而，必须预先获取在不同照明条件下获得的多个背景图像。期望即使在根据图像拾取状态而改变输入图像时也以高准确性专门提取作为前景图像的对象。根据本专利技术实施例的图像处理设备包括参考背景存储装置，用于存储参考背景图像；估算装置，用于从输入图像中检测对象并估算检测到的对象的概略形状和概略位置； 背景差异图像生成装置，用于生成基于输入图像与参考背景图像之间的差值获得的背景差异图像；故障判断装置，用于基于由背景差异图像生成装置生成的背景差异图像与由估算装置估算出的对象之间的比较来判断在背景差异图像中是否出现故障；故障类型识别装置，用于识别故障的类型；以及背景图像更新装置，用于以与故障的类型相对应的方式更新参考背景图像。可以允许故障判断装置把对象与背景差异图像相比较，以便基于背景差异图像的区域与对象的区域的比率是否大于预定比率来判断是否出现故障。图像处理设备可以进一步包括改变量计算装置，用于计算参考背景图像和输入图像中的除了由估算装置估算出的对象的区域以外的区域中的彼此对应的像素之间的改变量。在改变量大于预定值的情形中，可以允许故障类型识别装置把故障类型识别为基于颜色改变的颜色故障，在改变量并未大于预定值的情形中，可以允许故障类型识别装置把故障类型识别为基于所述输入图像的图像拾取方向的偏移的偏移故障。图像处理设备可以进一步包括运动向量计算装置，用于比较输入图像和参考背景图像以便获得输入图像的图像拾取方向的偏移作为运动向量；运动补偿装置，用于基于运动向量针对参考背景图像执行运动补偿以便生成运动补偿背景图像；计算装置，用于计算输入图像中除了由估算装置估算出的对象的区域以外的区域与参考背景图像中的彼此对应的像素之间像素值的关系式；以及转换装置，用于基于关系式对参考背景图像的像素值进行转换以便生成像素值转换背景图像。当由故障类型识别装置识别出的故障类型是偏移故障时，可以允许背景图像更新装置用运动补偿背景图像替代参考背景图像以便更新参考背景图本文档来自技高网...

【技术保护点】
１．一种图像处理设备，包括：参考背景存储装置，用于存储参考背景图像；估算装置，用于从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；背景差异图像生成装置，用于生成基于所述输入图像与所述参考背景图像之间的差值获得的背景差异图像；故障判断装置，用于基于由所述背景差异图像生成装置生成的所述背景差异图像与由估算装置估算出的所述对象之间的比较来判断在所述背景差异图像中是否出现故障；故障类型识别装置，用于识别所述故障的类型；以及背景图像更新装置，用于以与所述故障的类型相对应的方式更新所述参考背景图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：小柳津秀纪，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP