关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法制造方法及图纸

一种关节区域显示装置（100），具备：关节特征计算部（104），根据任意移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，计算表示各移动轨迹间相对应的区域彼此是经由同一个节连接的程度即关节似然度的关节特征量；关节检测部（105），根据关节特征计算部（104）计算的任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与第二移动轨迹对应的区域以及与第三移动轨迹对应的区域经由同一个节而连接时的、与第一移动轨迹对应的区域检测为关节区域；以及显示控制部（106），将关节检测部（105）检测的关节区域变换为用户能够视觉识别的形态而输出。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及根据由多张图像构成的动态图像中的运动信息、来提取并显示图像中 的移动体的区域的技术。尤其涉及对于人物那样在轮廓形状变化的同时进行移动的对象， 检测并显示这种对象所具有的特征性关节的关节区域显示装置等。
技术介绍
从包含移动体的像(以下简称为“移动体”。)的图像中、提取图像中的移动体的区 域的技术的研究开发被广泛进行。特别是在移动体为人的情况下，提取人的区域的技术，是 在数码摄像机或数码相机中的焦点控制、画质改善处理、影像制作中的图像合成处理、汽车 的安全运转支援系统或者人物的行动预测或动作解析等在广泛范围内共用的基础技术。在对图像中的移动体的区域进行提取的技术中，作为一般的方法可以列举如下的 方法对预先准备的移动体的模型与图像中的移动体的候补区域之间的相似度进行评价， 而检测移动体的区域。作为代表性的方法，存在如下方法在从图像中提取了移动体区域的候补之后，对 于提取的移动体区域候补与预先准备的移动体模型之间的相似度进行评价，而将相似度较 高的区域提取为移动体区域。并且，存在如下方法在对如步行的人物等那样在变形的同时 移动的移动体的区域进行提取的情况下，利用考虑了变形的移动体模型。例如，在专利文献I中公开了如下方法作为移动体区域候补，从多个图像中提取 移动体的轮廓图像，然后，将与预先参数化了的移动体的变形相关的模型、与提取的轮廓图 像之间的相似度进行评价，并推断相似度较高的区域和模型的参数。由此，即使对于形状在 周期性地变化的同时移动的人物，也能够适用参数化了的模型，因此能够提取人物那种的 移动体的区域。此外，提出一种图像解析方法，以生成人物那种关节物体的图像为目的，而从图像 中提取更详细的人物的运动数据或者形状。例如，在专利文献2中，根据通过对所取得的图像中的关节物体适用预先保持的 具有关节的模型而得到的粗略的关节以及部位的运动信息，来进一步推断更详细的关节以 及部位的位置以及运动信息。由此，生成对图像中存在的关节物体的部位形状以及运动等 信息进行了反映的新图像。与仅适用预先计算的参数的情况相比，从图像中的关节物体中 提取信息，因此能够进行更正确的图像中人物的部位形状以及运动等的参数化。由此，即使 对于形状在变化的同时移动的人物，也能够更正确地适用参数化了的模型，因此能够提取 更高精度的移动体的区域。现有技术文献专利文献专利文献1:日本特开平8-214289号公报专利文献2 :日本特开2007-4732号公报
技术实现思路
专利技术要解决的课题然而，根据以往的区域提取的技术，例如在多个人物步行的场景等中，在由于姿势 或者大小等的变化而伴随有移动体形状的显著变化那样的情况等下，存在不能够正确地提 取移动体这种问题。在专利文献I所示的、使用预先准备的模型的区域提取方法中，需要从图像中提 取移动体区域的候补。此时，如果不能适当地提取移动体区域候补，则不能够对移动体区域 候补正确地适用将移动体参数化了的模型。特别是，在上述那种场景中，由于移动体的姿势 或者大小等的变化而移动体的形状较大地变化，因此难以适当地提取移动体区域候补。并 且，即使能够适当地提取移动体区域候补，也存在以下那样的课题。即，在将人物等具有关节的运动的物体作为移动体的情况下，由于移动体的各种 姿势、位置或者大小引起的图像变化的幅度变得非常大。因此，在进行移动体模型的参数化 时需要庞大数量的参数。该情况会诱发模型的适用错误。因此，例如，存在如下课题将一 个移动体错误地作为多个移动体而提取区域、或将不存在成为提取对象的移动体的区域错 误地作为移动体而提取区域等，不能够正确地检测移动体。在专利文献2所示的方法中，不仅如专利文献I那样对预先制作的模型适用关节 物体，还根据对准备的模型进行适用的结果，来推断与图像中的关节物体有关的更详细的 参数，因此能够正确地提取移动体的可能性变高。但是，与专利文献I同样，在不能够适当地提取移动体区域候补的情况、向准备的 模型的适用失败的情况下，之后的参数推断失败，不能够正确地将关节物体进行参数化，作 为结果有时不能够正确地进行移动体区域的提取。因此，在本专利技术中提出一种方法，不进行移动体的模型适用，而根据关节的“运动 信息”来进行关节以及包含关节的移动体的区域的提取。特别是，即使对于以人物为代表的 那种移动体，即具有关节状的运动、由于姿势等的变化而形状伴随有随时间显著变化的那 种移动体，也能够从动态图像中提取区域。此外，在本说明书中，“关节状运动”例如是指以人的关节运动为代表的那种关节 状的运动。作为进行关节状运动的物体，除了人以外，例如也可以是蛇或者蜈蚣那样的、关节 间的距离微小、由多个关节构成的那种物体，也可以是伞骨那样的、从一个接头(关节)伸出 多个骨(臂)那种的物体，也可以是运动物体那样的。 在以往的区域提取方法中，在呈现这种关节状运动的部分，对象物被分离提取的 情况较多。根据本专利技术，通过检测“关节”的位置，由此即使在这种事例中，也能够使对象物 不被分离而将对象物整体进行提取及显示。本专利技术的目的在于提供一种关节区域显示装置等，在进行关节状运动的移动体 中，同一移动体上的小区域不会被分离提取，并且不受移动体自身的形状变化的影响，而正 确地检测该区域，因此能够对上述移动体上具有关节状运动的关节位置进行检测并显示。此外，目的在于提供一种关节区域检测装置，在进行关节状运动的移动体中，同一移动体上的小区域不会被分离提取，并且不受移动体自身的形状变化的影响，而正确地检 测该区域，因此能够对上述移动体上具有关节状运动的关节位置进行检测。此外，目的在于提供一种关节区域归属度计算装置，能够不受移动体的形状变化 的影响，而正确地计算移动体的移动轨迹向关节区域的归属度。此外，目的在于提供一种关节状区域归属度计算装置，能够不受移动体的形状变 化的影响，而正确地计算移动轨迹向经由关节区域连接的区域即关节状区域的归属度。用于解决课题的手段本专利技术是为了解决上述课题而进行的，本专利技术某个方面的关节区域显示装置，从 与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域并显 示，该关节区域显示装置具备关节特征计算部，对于跨在构成动态图像的多张图片之间的 多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移 动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离 是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹 对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动 轨迹的路径的距离，该关节特征计算部根据任意移动轨迹间的两点间距离的时间变化以及 测地距离的时间变化，计算表示关节似然度的关节特征量，该关节似然度表示各移动轨迹 间相对应的区域彼此是经由同一个节连接的程度；关节检测部，根据上述关节特征计算部 计算出的上述任意移动轨迹间的关节特征量，将与第一移动轨迹对应的区域以及与第二移 动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨 迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动 轨迹对应区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.01.26 JP 2011-0144221.一种关节区域显示装置，从与构成动态图像中的移动体的多个区域分别对应的多个移动轨迹中，检测关节区域并显示，该关节区域显示装置具备关节特征计算部，对于跨在构成动态图像的多张图片之间的多个移动轨迹中包含的任意移动轨迹对计算两点间距离以及测地距离，其中，上述多个移动轨迹分别是由构成上述图片的一个以上的像素所构成的块的运动轨迹，上述两点间距离是将构成上述移动轨迹对的移动轨迹间直接连接的距离，上述测地距离是将上述移动轨迹对以外的移动轨迹作为中继点而从构成上述移动轨迹对的一方移动轨迹到达另一方移动轨迹的路径的距离，该关节特征计算部根据任意移动轨迹间的两点间距离的时间变化以及测地距离的时间变化，计算表示关节似然度的关节特征量，该关节似然度表示各移动轨迹间相对应的区域彼此是经由同一个节连接的程度；关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量， 将与第一移动轨迹对应的区域以及与第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域；以及显示控制部，将上述关节检测部检测出的上述关节区域变换为用户能够视觉识别的形态而输出。2.如权利要求1记载的关节区域显示装置，其中，上述关节检测部根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，计算节似然度特征量，并根据计算出的上述节似然度特征量检测关节区域，该节似然度特征量用于如下判断越是与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域经由同一个节而连接，则判断为与上述第一移动轨迹对应的区域包含于关节区域的可能性越高。3.如权利要求2记载的关节区域显示装置，其中，上述关节检测部，将上述图片上的、与计算出的上述节似然度特征量的极大值对应的移动轨迹所归属的区域，检测为关节区域。4.如权利要求2记载的关节区域显示装置，其中，上述关节检测部，从除了着眼的移动轨迹以外的上述多个移动轨迹中选择多个移动轨迹的对，按照选择出的每个对，对将上述着眼的移动轨迹作为上述第一移动轨迹、将该移动轨迹的对作为上述第二移动轨迹以及上述第三移动轨迹时的上述关节特征量进行相加，由此计算上述着眼的移动轨迹的节似然度特征量，并根据计算出的上述节似然度特征量来判断与上述着眼的移动轨迹对应的区域是否为关节区域。5.如权利要求1 4中任一项记载的关节区域显示装置，其中，上述关节检测部，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，判断与上述任意移动轨迹的对相对应的区域彼此是否存在于同一刚体上，由此检测出包含于同一刚体上的移动轨迹，之后，将与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域。6.如权利要求1 4中任一项记载的关节区域显示装置，其中，上述关节检测部仅使用上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量为规定阈值以下的移动轨迹，根据上述关节特征计算部计算出的上述任意移动轨迹间的关节特征量，判断与上述任意移动轨迹的对相对应的区域彼此是否存在于同一刚体上， 由此检测出包含于同一刚体上的移动轨迹，之后，将与上述第一移动轨迹对应的区域以及与上述第二移动轨迹对应的区域存在于同一刚体上、与上述第一移动轨迹对应的区域以及与上述第三移动轨迹对应的区域存在于同一刚体上、且与上述第二移动轨迹对应的区域以及与上述第三移动轨迹对应的区域经由同一个节而连接时的、与上述第一移动轨迹对应的区域，检测为关节区域。7.如权利要求1 6中任一项记载的关节区域显示装置，其中，上述任意移动轨迹间的测地距离的时间变化，是跨在预定的一系列的处理帧集合之间的测地距离的时间变化的绝对值和。8.如权利要求1 7中任一项记载的关节区域显示装置，其中，上述任意移动轨迹间的两点间距离的时间变化，是跨在预定的一系列的处理帧集合之间的两点间距离的时间变化的绝对值和。9.如权利要求1 8中任一项记载的关节区域显示装置，其中，上述关节特征计算部，根据将上述任意移动轨迹间的测地距离的时间变化用上述任意移动轨迹间的两点间距离的时间变化去除而得到的值，计算上述任意移动轨迹间的关节特征量。10.如权利要求1 8中任一项记载的关节区域显示装置，其中，上述关节特征计算部，参照表示上述测地距离的时间变化和上述两点间距离的时间变化和上述关节特征量之间的对应关系的数据表，来计算上述任意移动轨迹间的关节特征量。11.如权利要求1 8中任一项记载的关节区域显示装置，其中，上述关节特征计算部对于上述任意移动轨迹间，在上述测地距离的时间变化比预定的测地距离阈值小、且上述两点间距离的时间变化比预定的两点间距离阈值大的情况下，将上述关节特征量计算为1，在上述测地距离的时间变化为预定的测地距离阈值以上的情况下、或者在上述两点间距离的时间变化为预定的两点间距离阈值以下的情况下，将上述关节特征量计算为O。12.如权利要求2记载的关节区域显示装置，其中，上述显示控制部，将上述图片上的、与上述关节检测部检测出的关节区域所包含的移动轨迹对应的区域的位置，用特定的颜色涂覆并输出。13.如权利要求2记载的关节区域显示装置，其中，上述显示控制部，将上述图片上的、与经由关节区域连接的区域即关节状区域之中除了上述关节检测部检测出的关节区域以外的刚体区域所包含的移动轨迹对应的区域的位置，用特定的颜色涂覆并输出。14.如权利要求2记载的关节区域显示装置，其中，上述显示控制部，将上述图片上的、与经由关节区域连接的区域即关节状区域之中除了上述关节检测部检测出的关节区域以外的刚体区域所包含的移动轨迹对应的区域的位置、和上述关节检测部检测出的关节区域所包含的移动轨迹对应的区域的位置，用分别不同的特定的颜色涂覆并输出。15.如权利要求12或14记载的关节区域显示装置，其中，用于涂覆与上述关节检测部检测出的关节区域所包含的移动轨迹对应的区域的位置的上述特定的颜色，是与上述关节检测部检测出的关节区域的节似然度特征量的值相对应的颜色。16.如权利要求1 15中任一项记载的的关节区域显示装置，其中，上述显示控制部，在上述图片上重叠将共用的刚体区域所包含的关节区域彼此连接的直线并输出。17.如权利要求1 15中任一项记载的的关节区域显示装置，其中，还具备图像输入部，受理构成动态图像的多张图片；以及移动轨迹计算部，按照由构成所受理的上述图片的一个以上像素构成的每个块，检测该块在构成上述动态图像的时间上相邻的2张图片之间的运动，将检测出的运动关于上述多张图片进行连接，由此计算多个移动轨迹。18.如权利要求2记载的关节区域显示装置，其中，上述关节特征计算部，进一步在将纵轴及横轴设为移动轨迹的对的两点间距离的时间变化以及测地距离的时间变化的曲线图中，根据从两点间距离的时间变化以及测地距离的时间变化为相等的直线起、到着眼的移动轨迹的对即着眼对的两点间距离的时间变化及测地距离的时间变化为止的距离，计算表示该着眼对包含于同一刚体的程度的同一刚体特征量。19.如权利要求18记载的关节区域显示装置，其中，上述关节区域显示装置还具备关节状区域检测部，该关节状区域检测部对于着眼的移动轨迹，将含有一对上述着眼的移动轨迹的移动轨迹对间的同一刚体特征量与该对之中上述着眼的移动轨迹以外的移动轨迹的节似然度特征量的积，计算为关节状区域似然度，并检测关节状区域，该关节状区域似然度表示上述着眼的移动轨迹包含于经由关节区域而连接的区域即关节状区域的程度。20.一种关节区域显示装置，从与构成动...

【专利技术属性】
技术研发人员：甲本亚矢子，登一生，岩崎正宏，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：