本发明专利技术涉及对象形状对准装置、对象处理装置及其方法。对象形状对准装置包括：从多个训练样本获取包含平均对象形状、多个回归函数和多个特征选择图的对象形状回归模型的单元；基于平均对象形状设定初始对象形状的单元；计算关于初始对象形状的多个特征点的至少一个特征向量的单元；对于初始对象形状的所述多个特征点的每个坐标，基于所述多个特征选择图中的相应一个从计算出的特征向量选择特征片段并将特征片段组装成子特征向量的单元；以及对于初始对象形状的至少一个特征点的至少一个坐标，基于相应的子特征向量和所述多个回归函数中的相应一个预测坐标增量的单元。本发明专利技术的装置和方法可减小模型尺寸、实现更高精度和/或速度和/或鲁棒性等。
【技术实现步骤摘要】
本专利技术一般涉及图像处理、计算机视觉和模式识别的领域，特别涉及对象形状对 准装置、对象处理装置及其方法。
技术介绍
在图像处理、计算机视觉和模式识别的领域中，自动且精确地对准通过一组特征 点描述的对象形状（或检测特征点）是关键的任务，并且这可被广泛用于例如面部识别、姿 势识别、表情分析、3D面部模拟、面部卡通动画等。 当前的对象形状对准方法采用基于模型的方法（诸如主动形状模型（Active ShapeModel,ASM)和主动外观模型（ActiveAppearanceModel,AAM))或基于回归的方法 (诸如显形回归（ExplicitShapeRegression,ESR)和监管下降方法（SupervisedDescent Method,SDM)) 〇 由于对象形状对准自然是回归问题，因此，基于回归的方法在近些年已取得了大 的进步。基于回归的方法通常通过初始化对象形状而开始，并然后更新初始的对象形状，以 接近真值。各种基于回归的方法之间的区别主要在于特征提取步骤和回归形状增量预测步 骤。 以SDM为例。该方法通过最小化非线性最小二乘（Non-linearLeastSquare,NLS) 函数来估计形状增量。在训练期间，SDM学习使在不同的点处采样的NLS函数的平均值最 小化的一系列下降方向；并且，在对准期间，SDM通过在不计算Jacobian或Hessian的情况 下使用学习到的下降方向使NLS目标最小化。 图1示意性地示出SDM的流程图。步骤10属于训练过程，而步骤20至40属于对 准过程。 如图1所示，首先，在步骤10处，从多个训练样本获取包含一个回归函数（或回归 器（regressor))的对象形状回归模型。 然后，在步骤20处，设定用于对象图像的初始对象形状。 接下来，在步骤30处，计算关于初始对象形状的多个特征点的一个特征向量。 更具体而言，例如，从所述多个特征点周围的局部图像块提取SIFT(Scale InvariantFeatureTransform,尺度不变特征变换）特征，以针对照明实现鲁棒的表示(robustrepresentation)，然后，所述多个特征点的提取的SIFT特征被组装成关于所述多 个特征点的一个特征向量。图11示意性地示出三个特征点（即，两个眼睛的外眼角和左嘴 角，其位于各自的局部图像块的中心处）的提取的SIFT特征描述符（S卩，提取的SIFT特征 的结构示意）。在图11中，例如，从每个特征点周围的4X4格子的图像块提取SIFT特征， 并且每个格子中的提取的SIFT特征的维数是8。图12示意性地解释了如何关于图11的包 围区域得到SIFT特征描述符。在图12中，每个格子包括例如4X4个像素，并且，在每个像 素中，可以获得图像梯度并将其表示为向量（具有某个长度且指向某个方向的箭头）。对于 每个格子，可从其中的图像梯度获得维数为8的SIFT特征描述符。图13给出与图12中的 图像梯度对应的在图11的包围区域内所获得的SIFT特征描述符的放大图。从以上可以看 出，对于每个特征点，提取的SIFT特征的维数可如4X4X8 = 128那样高，由此，对于关于 所述多个特征点的一个特征向量，其维数可如128X(特征点的数量）那样高。这意味着， 在SDM中，获得的特征向量包含非常丰富的特征，但又具有非常高的维数。 最后，在步骤40处，对于初始对象形状的特征点的多个坐标，基于获得的所述一 个特征向量和所述一个回归函数预测坐标增量。 例如，SDM通过将所述一个特征向量投影到学习到的一个回归函数（S卩，学习到的 下降方向）上来预测所述多个坐标的坐标增量。这可由下式（1)表示： AS=F*Rt(1) 这里，ΛS表示所述多个坐标的坐标增量，F表示获得的关于所述多个特征点的一 个特征向量，1^表示对于某个对准处理（即，第t次对准处理）的学习到的一个回归函数， 并且符号表示双方的投影或交互作用（诸如相乘、点积等）。图14给出式（1)的结构 示意。要注意，虽然F表示组装的关于所述多个特征点的一个特征向量，但在图14中，为了 简化，仅示出1个特征点的4个格子的SIFT特征描述符。从以上可以看出，SDM采用包含 多个特征的一个高维数特征向量（即，致密特征集）和用于整个对象形状的一个统一的回 归函数来预测多个坐标的坐标增量。 可选地，图1中的对准处理可被重复几次（例如，T次）以逐步接近对象形状的真 值（这是为什么式（1)中的所述一个回归函数具有上标"t"的原因）。换句话说，可在对准 期间采用级联的T个回归器。图2给出级联SDM的示意流程图。其主要步骤与图1的基本 上相同，由此在这里省略其描述。 但是，SDM具有许多限制。 第一，由于对象形状上的特征点的坐标通常是高度相关的，因此，提取的特征通常 具有两个或更多个高度相关的维数（称为多重共线性（multicolinearity))。这使得难以 在特征点的数量增加（例如，大于50)时创建有效的回归器，并由此使得模型训练过程不稳 定。 第二，这种方法在每个特征点周围提取诸如SIFT的丰富特征，并且，为了得到较 好的预测性能，直接使用具有几千个维数的特征（包含有用特征和无用特征两者）。该高维 数特征向量对于对准处理来说是高度冗余的，并由此使模型尺寸或者字典尺寸太大。 第三，由于特征向量的高维数，因此这种方法在训练期间需要巨量的训练样本，以 避免过拟合（over-fitting)问题。 因此，希望可以提供能够应对以上问题中的至少一个的新的对象形状对准装置、 新的对象处理装置及其方法。
技术实现思路
鉴于以上问题中的至少一个，提出了本专利技术。 本专利技术的一个目的是提供新的对象形状对准装置、新的对象处理装置及其方法。 本专利技术的另一目的是提供使得能够减小模型尺寸的对象形状对准装置、对象处理 装置及其方法。 本专利技术的又一目的是提供使得能够实现更高的精度和/或更高的速度和/或更高 的鲁棒性的。 根据本专利技术的第一方面，提供一种用于对象图像的对象形状对准装置，该对象形 状对准装置包括：被配置为从多个训练样本获取对象形状回归模型的单元，所述对象形状 回归模型包含平均对象形状、多个回归函数和多个特征选择图；被配置为基于平均对象 形状设定对象图像的初始对象形状的单元；被配置为计算关于初始对象形状的多个特征 点的至少一个特征向量的单元；被配置为对于初始对象形状的所述多个特征点的每个坐 标，基于所述多个特征选择图中的相应一个从计算出的特征向量选择特征片段（feature fragment)并将特征片段组装成子特征向量的单元；以及被配置为对于初始对象形状的至 少一个特征点的至少一个坐标，基于相应的子特征向量和所述多个回归函数中的相应一个 预测坐标增量的单元。 根据本专利技术的第二方面，提供一种用于对象图像的对象处理装置，该对象处理装 置包括：被配置为检测对象图像中的对象的单元；被配置为通过本专利技术的对象形状对准装 置对准检测到的对象的单元；以及被配置为基于对准的对象识别对象的属性的单元。 根据本专利技术的第三方面，提供一种用于对象图像的对象形状对准方法，该对象形 状对准方法包括以下步骤：从多个训练样本获取对象形状回归模型，所述对象形状回归模 型包含平均对象形状、多个回归函数本文档来自技高网...
【技术保护点】
一种用于对象图像的对象形状对准装置，包括：被配置为从多个训练样本获取对象形状回归模型的单元，所述对象形状回归模型包含平均对象形状、多个回归函数和多个特征选择图；被配置为基于平均对象形状设定对象图像的初始对象形状的单元；被配置为计算关于初始对象形状的多个特征点的至少一个特征向量的单元；被配置为对于初始对象形状的所述多个特征点的每个坐标，基于所述多个特征选择图中的相应一个从计算出的特征向量选择特征片段并将特征片段组装成子特征向量的单元；以及被配置为对于初始对象形状的至少一个特征点的至少一个坐标，基于相应的子特征向量和所述多个回归函数中的相应一个来预测坐标增量的单元。
【技术特征摘要】
【专利技术属性】
技术研发人员：朱福国，姜涌，李献，胥立丰，温东超，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。