图像处理设备和图像处理方法技术

本发明专利技术涉及一种图像处理设备和图像处理方法。该图像处理设备存储从图像数据的追踪区域中提取出的亮度信号和颜色信号，并确定与所存储的亮度信号的相关度，由此提取出其它图像数据中指定被摄体存在的区域，从而使用所提取的区域的位置信息来更新追踪区域。如果从亮度信号未能获得充分的相关度，则该图像处理设备进行与所存储的颜色信号的比较，以判断指定被摄体是否丢失。每当更新追踪区域时，该图像处理设备更新亮度信号，但是即使更新追踪区域也不更新颜色信号，或者以比更新亮度信号的周期长的周期来更新颜色信号。

【技术实现步骤摘要】

本专利技术涉及一种用于追踪图像中的指定被摄体的功能。
技术介绍
一些数字照相机、摄像机或将照相机可通信地连接至计算机的监视照相机系统具 有用于通过连续检测动画中的指定被摄体来追踪图像中的指定被摄体的功能。例如，日本特开平04-170870号公报讨论了如下结构从帧图像中指定要追踪的 被摄体，存储该被摄体的区域的亮度信号，并且从其它帧图像中提取与所存储的亮度信号 最相似的区域，从而追踪该被摄体。图7A和7B是示出用于使用被摄体的区域的亮度信号追踪该被摄体的方法的示意 图。图7A示出数字照相机所拍摄的动画中的帧图像。假设将向右看的人物的面部指定为 要追踪的被摄体。将表示要追踪的被摄体的追踪框显示在数字照相机的监视器上，其中叠 加在图像上的追踪框包围该人物的面部。数字照相机存储由追踪框所包围的要追踪的被摄体区域中各个像素的亮度信号。 之后，在帧图像中，设置与要追踪的被摄体区域大小相等的比较区域，并且获得要追踪的被 摄体区域中的像素和比较区域中的像素之间的亮度信号的差的总和。顺次移位比较区域的 位置，并获得各位置时亮度信号的差的总和，以检测差的总和最小的比较区域的位置。在其它帧图像中，将亮度信号的图案(形状)与帧图像中要追踪的被摄体区域的 亮度信号的图案最相似的区域判断为存在与要追踪的被摄体相同的被摄体的区域，并且更 新追踪框。图7B示出更新的状态。在图7B中，更新追踪框的位置，以使得该追踪框中的亮 度信号存在于亮度信号的图案与图7A的追踪框中的区域的亮度信号的图案最相关的区域 中。将所存储的亮度信号的图案更新为新设置的追踪框中的亮度信号的图案。重复该操作， 以追踪动画中的指定被摄体。图8A 8C是示出在用于使用被摄体区域的亮度信号追踪被摄体的方法中要解决 的问题的示意图。在图8A所示的帧图像中，将人物的面部指定为要追踪的被摄体。在图8B所示的 帧图像中，作为要追踪的被摄体的人物的面部位于作为障碍物的树的后面。在图8B所示的 帧图像中，如果检测到与图8A所示的追踪框中的区域的亮度信号的图案最相关的区域并 将该区域设置为新的追踪框，则面部的一部分和作为障碍物的树的一部分包括在新的追踪 框的区域内。在图8C所示的帧图像中，选择存在作为障碍物的树的一部分的区域作为与追 踪框中的亮度信号的图案高度相关的区域。在随后的帧图像中，可能继续追踪该树。为了避免该问题，即使在亮度信号的图案与所存储的追踪框中的区域的亮度信号 的图案最相关的区域中，如果相关度(correlation)不大于预定值，则也判断为要追踪的 被摄体丢失并且停止追踪。换句话说，在图8B所示的帧图像中，检测到亮度信号的图案与 图8A所示的帧图像的追踪框中的亮度信号的图案最相关的区域。然而，由于判断为相关度没有达到预定值，因此在图8C所示的帧图像中删除追踪框。由此，如果在追踪过程中将不 同的被摄体设置为要追踪的被摄体，则可以停止追踪。这种用于停止追踪的处理引起了其它问题。当使用亮度信号的图案之间的相关度 进行追踪时，被摄体的方向的变化或被摄体的姿势的变化暂时且极大地改变亮度信号的图 案之间的相关度。图9A 9D示出上述这种变化。图9A 9D是示出在用于使用被摄体的区域的亮 度信号追踪该被摄体的方法中要解决的另一问题的示意图。在图9A所示的帧图像中，将人物的面部指定为要追踪的被摄体。在图9B所示的帧 图像中，该人物转向其它侧，以隐藏向右看的人物的面部，这使得仅出现该人物的头部的背 面。在图9C所示的帧图像中，该人物转向左侧，以隐藏头部的背面，这使得出现向左看的人 物的面部。在图9A 9C所示的帧图像中，作为要追踪的被摄体的人物仅改变其方向。然 而，亮度信号的图案之间的相关度在该期间没有达到预定值，因此可能在图9C和9D所示的 帧图像中删除追踪框。因此，难以得出亮度信号之间的相关度降低的原因是由于追踪了不同的被摄体还 是仅由于要追踪的被摄体的方向发生了变化。在代替亮度信号使用色度(chroma)信号或色相(hue)信号等的颜色信号而基于 图案之间的相关度进行追踪的情况下，存在同样的困难。
技术实现思路
根据本专利技术的一方面，提供一种图像处理设备，用于通过根据包括多个图像数据 的动画检测被摄体的追踪区域来进行追踪，所述图像处理设备包括设置单元，用于设置图 像数据中的所述追踪区域；存储单元，用于存储从所述追踪区域中提取出的第一信号和第 二信号；以及检测单元，用于从所述图像数据中提取具有与所述第一信号之间的差最小的 信号的区域，并利用所提取的区域来更新所述追踪区域；其中，如果所述检测单元从所述图 像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则所述检测单 元判断是否能提取出具有与存储在所述存储单元中的所述第二信号之间的差小于阈值的 信号的区域，如果未能提取出该区域，则所述检测单元复位所述追踪区域，如果能够提取出 该区域，则所述检测单元继续更新所述追踪区域，以及当更新所述追踪区域时，所述存储单 元更新所述第一信号。根据本专利技术的另一方面，提供一种图像处理设备，用于通过根据包括多个图像数 据的动画检测被摄体的追踪区域来进行追踪，所述图像处理设备包括设置单元，用于设置 图像数据中的所述追踪区域；存储单元，用于存储从所述图像数据中的所述追踪区域中提 取出的第一信号和第二信号；以及检测单元，用于从所述图像数据中提取具有与所述第一 信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；其中，如果所 述检测单元从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号 的区域，则所述检测单元判断从所述图像数据中是否能提取出具有与所述第二信号之间的 差小于阈值的信号的区域，如果未能提取出该区域，则所述检测单元复位所述追踪区域，如 果能够提取出该区域，则所述检测单元继续更新所述追踪区域，以及在继续更新所述追踪 区域期间，所述第二信号的更新周期长于所述第一信号的更新周期。6根据本专利技术的另一方面，提供一种图像处理方法，用于通过根据包括多个图像数 据的动画检测被摄体的追踪区域来进行追踪，所述图像处理方法包括以下步骤设置图像 数据中的所述追踪区域；存储从所述追踪区域中提取出的第一信号和第二信号；从所述图 像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更 新所述追踪区域；如果从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈 值的信号的区域，则判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小 于阈值的信号的区域，如果未能提取出该区域，则复位所述追踪区域，如果能够提取出该区 域，则继续更新所述追踪区域；以及当更新所述追踪区域时，更新所述第一信号。根据本专利技术的又一方面，提供一种图像处理方法，用于通过根据包括多个图像数 据的动画检测被摄体的追踪区域来进行追踪，所述图像处理方法包括以下步骤设置图像 数据中的所述追踪区域；存储从所述追踪区域中提取出的第一信号和第二信号；从所述图 像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更 新所述追踪区域；如果从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈 值的信号的区域，则判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小本文档来自技高网...

【技术保护点】
一种图像处理设备，用于通过根据包括多个图像数据的动画检测被摄体的追踪区域来进行追踪，所述图像处理设备包括：设置单元，用于设置图像数据中的所述追踪区域；存储单元，用于存储从所述追踪区域中提取出的第一信号和第二信号；以及检测单元，用于从所述图像数据中提取具有与所述第一信号之间的差最小的信号的区域，并利用所提取的区域来更新所述追踪区域；其中，如果所述检测单元从所述图像数据中未能提取出具有与所述第一信号之间的差小于阈值的信号的区域，则所述检测单元判断从所述图像数据中是否能提取出具有与所述第二信号之间的差小于阈值的信号的区域，如果未能提取出该区域，则所述检测单元复位所述追踪区域，如果能够提取出该区域，则所述检测单元继续更新所述追踪区域，以及当更新所述追踪区域时，所述存储单元更新所述第一信号。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：宫崎康嘉，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]