跟踪点检测设备和方法、程序及记录介质技术

本发明专利技术涉及跟踪点检测设备和方法、程序及记录介质。该跟踪点检测设备包括：帧抽取单元，用于对由时间上连续的多个帧图像组成的运动图像的帧间隔进行抽取；第一检测单元，用于在被抽取的运动图像的两个连续帧中检测与时间上前一帧的预定像素相对应的时间上后一帧的像素；前向检测单元，用于在与时间相同的方向上、在每个被抽取的帧上检测与被抽取的运动图像的时间上前一帧的预定像素相对应的像素；反向检测单元，用于在与时间相反的方向上、在每个被抽取的帧上检测与被抽取的运动图像的时间上后一帧的检测出的像素相对应的像素；和第二检测单元，用于采用在前向和反向上检测出的像素位置来检测每个被抽取的帧的预定像素。

【技术实现步骤摘要】

本专利技术涉及跟踪点检测设备和方法、程序及记录介质，尤其涉及 允许用户简单、可靠地跟踪预期的跟踪目标的跟踪点检测设备和方 法、程序及记录介质。
技术介绍
迄今为止，已有大量的用于跟踪运动图像内由用户指定的目标的技术，例如在日本未实审公开的专利申请No.2005-303983中已提出了 这样的技术。在日本未实审/>开的专利申请No.2005-303983中提出的净支术采 用这样一种方法，其中最初指定的跟踪目标的运动被检测，并且跟踪 点根据该运动而发生移动。因此，存在这样的问题，即当跟踪目标涉 及到旋转或变形时，跟踪点的运动试图与该旋转或变形保持一致，由 此J艮踪点逐渐偏离i 艮踪目标。相应地，已提出了一种技术，其中当用户判定尚未获得预期的跟 踪结果时，用户对跟踪点执行修正操作，从而修正跟踪点的偏离(例 如参考日本未实审公开的专利申请No.2007-274543)。
技术实现思路
然而，若采用日本未实审公开的专利申请No.2007-274543的技 术，用户不得不确定跟踪点的偏离，修正跟踪点的偏离的操作也是由 用户完成的。因此存在用户负担过重的问题。现在的需求是允许用户简单、可靠地跟踪预期的跟踪目标。 根据本专利技术的一个实施例， 一种跟踪点检测设备包括帧抽取 (decimation)单元，；故配置为对由时间上连续的多个帧图像组成的9运动图像的帧间隔进行抽取；第一检测单元，被配置为在帧被抽取后 的运动图像的两个连续帧中检测与时间上前一帧的预定像素相对应 的时间上后一帧的像素作为跟踪点；前向检测单元，被配置为执行前 向检测，即在与时间相同的方向上依次在被抽取的帧中的每一帧上检 测与帧被抽取后的运动图像的时间上前 一 帧的预定4象素相对应的 <象 素；反向检测单元，被配置为执行反向检测，即在与时间相反的方向 上依次在被抽取的帧中的每一帧上检测与帧被抽取后的运动图像的 时间上后一帧的所述检测出的像素相对应的像素；和第二检测单元， 被配置为通过采用代表前向检测所检测出的像素的位置和反向检测 所检测出的像素的位置的信息进行的运算，来检测每个被抽取的帧的 预定像素作为跟踪点。该跟踪点检测设备还可以包括缩小单元，被配置为缩小由时 间上连续的多个帧图像组成的运动图像；其中帧抽取单元对缩小后的 运动图像的帧间隔进行抽取;并且其中第一检测单元和第二检测单元 分别检测缩小后的运动图像的各帧的跟踪点。该跟踪点检测设备还可以包括转换单元，被配置为将由第二检测 单元检测出的跟踪点的像素位置转换为未被缩小的运动图像的各帧 的跟踪点的像素位置。该跟踪点检测设备还可以包括候选设置单元，被配置为在帧被 抽取的运动图像的时间上前一帧中设置多个像素用作候选；其中第一 检测单元检测时间上后一帧中与时间上前一帧的每个用作候选的像 素相对应的每个像素作为跟踪点候选；并且其中前向检测单元在前向 上、在每个被抽取的帧上检测与时间上前一帧中用作候选的每个像素 相对应的每个像素；并且其中反向检测单元在反向上、在每个被抽取 的帧上检测与时间上后一帧中被检测为所述跟踪点候选的像素相对 应的每个像素；并且其中第二检测单元通过采用代表前向检测所检测 出的每个像素的位置和反向检测所检测出的每个像素的位置的信息 进行的运算，在每个被抽取的帧上检测多个像素中的每一个用作跟踪点候选o在代表由候选设置单元设置的、时间上前一帧上用作候选的多个像素中的预定像素的位置的信息；代表时间上后一帧上被第 一检测单 元检测为跟踪点候选的、与所述预定像素相对应的像素的位置的信 息；代表每个被抽取的帧上由前向检测单元在前向上检测出的、与所 述预定像素相对应的像素的位置的信息；代表每个被抽取的帧上由反 向检测单元在反向上检测出的、与所述预定像素相对应的像素的位置 的信息；代表所述预定像素和与所述跟踪点候选相对应的、每个被抽 取的帧上被第二检测单元检测为跟踪点候选的像素的位置的信息被 相互关联并被取作一组跟踪点候选群的情况下，该跟踪点检测设备还 可以包括存储单元，被配置为存储与由候选设置单元设置的、用作候 选的像素的数量相同组数的跟踪点候选群。第 一检测单元可以计算时间上前一帧中以预定〗象素为中心、由多 个像素组成的 一 个块的像素值和时间上后 一 帧中以与所述预定像素 相对应的位置上的像素周围的多个像素中的每一个为中心、由多个像 素组成的多个块的像素值之间的绝对差之和，在所述多个块中检测用 作所述绝对差之和的值最小的块的中心的像素作为跟踪点。第 一检测单元可以设置以运动检测像素范围内的每个像素为中 心、由多个像素组成的多个块，该运动检测像素范围是以时间上前一 帧的预定像素为中心的预定区域，检测与所述运动检测像素范围内的 每个像素相对应的跟踪点的像素，并且检测基于与所述运动检测像素 范围内的每个像素相对应的跟踪点的像素的坐标值计算出的坐标值 作为时间上后 一 帧中与时间上前 一 帧的预定像素相对应的跟踪点的 位置。该跟踪点检测设备还可以包括差值计算单元，被配置为计算在 以时间上比时间上前一帧更靠前的帧中预先检测出的跟踪点的像素 为中心的预定区域内的像素值和以由候选设置单元设置的、时间上前 一帧的用作候选的多个像素中的每一个为中心的预定区域内的像素 值之间的绝对差之和的值；和距离计算单元，被配置为基于被存储在 存储单元中的、代表在前向上检测出的每个被抽取的帧的像素位置的信息以及代表在反向上检测出的每个被抽取的帧的像素位置的信息， 计算时间上位于被抽取的帧的中间的帧上的、在前向上检测出的像素 和在反向上检测出的像素之间的距离。计算出的绝对差之和的值以及计算出的距离可以分别与预定值 进行比较，从而从由候选设置单元设置的用作候选的多个像素中检测 出满足预先设定的条件的多个像素，并且基于满足该预先设定的条件 的每个像素的位置的信息来确定由候选设置单元设置的用作候选的 多个像素中的一个像素，并且在存储单元存储的多个跟踪点群中，与 被确定的一个像素相对应的跟踪点群被取作每一 帧上的跟踪点。该跟踪点检测设备还可以包括帧间隔增大/减小单元，被配置 为在帧被抽取后的运动图像的连续两帧当中，基于以时间上前一帧的 预定像素为中心的预定区域内的像素值和以时间上后一帧中由第一 检测单元检测出的像素为中心的预定区域内的像素值之间的绝对差 之和的值，来增大/减小要由帧抽取单元抽取的帧间隔。该跟踪点检测设备还可以包括模板保存单元，被配置为保存预 先拍摄的图像作为模板；对象提取单元，被配置为从运动图像的预定 帧的图像中提取未显示在模板上的对象；和像素确定单元，被配置为 从提取出的对象的图像中确定用于检测跟踪点的像素。第一检测单元可以包括区域提取单元，被配置为在帧被抽取后 的运动图像中、基于关注帧、该关注帧的时间上前一帧以及该关注帧 的时间上后一帧来提取与运动对象相对应的区域；和区域内检测单 元，被配置为从区域提取单元提取出的区域中检测与时间上前一帧的 预定像素相对应的关注帧的像素。区域提取单元可以包括第一画面位置移动单元，被配置为基于 在关注帧和该关注帧的时间上前一帧之间获得的画面运动向量来移 动该关注帧的画面位置；第一帧差计算单元，被配置为计算画面位置 被移动的关注帧的图像和该关注帧的时间上前一帧的图像之间的差； 本文档来自技高网...

【技术保护点】
一种跟踪点检测设备，包括：　帧抽取装置，被配置为对由时间上连续的多个帧图像组成的运动图像的帧间隔进行抽取；　第一检测装置，被配置为在帧被抽取后的所述运动图像的两个连续帧中检测与时间上前一帧的预定像素相对应的时间上后一帧的像素作为 跟踪点；　前向检测装置，被配置为执行前向检测，即在与时间相同的方向上依次在所述被抽取的帧中的每一帧上检测与帧被抽取后的所述运动图像的时间上前一帧的预定像素相对应的像素；　反向检测装置，被配置为执行反向检测，即在与时间相反的方向上 依次在所述被抽取的帧中的每一帧上检测与帧被抽取后的所述运动图像的时间上后一帧的所述检测出的像素相对应的像素；和　第二检测装置，被配置为通过采用代表所述前向检测所检测出的像素的位置和所述反向检测所检测出的像素的位置的信息进行的运算，来检 测每个所述被抽取的帧的预定像素作为跟踪点。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：近藤哲二郎，山元左近，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]