轮廓校正方法和系统以及轮廓提取方法和系统技术方案

本发明专利技术公开了一种轮廓校正方法和系统，用于通过将每个像素标记为人或者背景从而校正从图像中提取出的人的轮廓。目标区域中的像素通过以下步骤被校正：通过利用人的直方图和背景直方图来计算第一连接成本的步骤；对于在目标区域中的每个像素，像素的第二连接成本被计算出来的步骤；以及校正步骤，其中顶点是目标区域中的像素且顶点之间的边缘是第一连接成本和第二连接成本的图被制作出，且最小割被计算出来，并基于所述最小割，在目标区域中的像素被重新标记以便校正轮廓。更进一步地，一种轮廓提取方法和系统被公开。

【技术实现步骤摘要】

本专利技术涉及用于校正从包括人和在背景中的一些事物的静止图像中提取出的人的轮廓的方法和系统，以及用于从捕捉自挥舞高尔夫球杆的人的活动图像的多个帧中提取出人的轮廓的方法和系统。
技术介绍
对于希望提高高尔夫技术的高尔夫球手，获得正确的高尔夫挥杆非常重要。为此，传统的方法是，例如专业教练的人利用高尔夫球手挥舞高尔夫球杆的视频对高尔夫挥杆做出判断，指明问题所在。近年来，在另一方面，基于通过图像处理提取出的高尔夫球手的轮廓，已经提出了从捕捉自高尔夫球手进行挥杆的活动图像的帧(显示他/她在瞄准击球、后挥上顶等状态的静态图像)中对高尔夫球手挥杆执行判断的尝试。在很多情况下，需要仅仅从包括人以及在背景中的一些事物的静止图像中提取出准确的人的轮廓。为了提取出轮廓，静止图像的每个像素被标记为人或者背景。并且可以通过只使用被标记为人的像素来再现图像从而获得人的轮廓。这种方法已经由本申请人在下面的专利文献中提出:日本专利申请公开N0.2011-78069。根据在这个专利文献中公开的技术，在轮廓提取中可以获得一定程度的精确度，但是存在有人的轮廓具有一定的噪声的问题。
技术实现思路
轮廓校正方法和系统因此本专利技术的一个目标是提供轮廓校正方法和轮廓校正系统，从而使被标记为轮廓或者背景的每个像素都被校正，进而减少包含在被提取出的轮廓中的噪声。根据本专利技术的轮廓校正方法是用于通过将帧的每个像素标记为人或者背景来校正人的轮廓，人的轮廓是从包含人和背景的帧中提取出来的，其中，在作为帧的至少一部分的目标区域中的像素被重新标记。该轮廓校正方法包括:通过利用在目标区域中被标记为人的像素，生成频率和等级分别为像素的数量和像素的色彩数据的人直方图的步骤，通过利用在目标区域中被标记为背景的像素，生成频率和等级分别为像素的数量和像素的色彩数据的背景直方图的步骤，对于在目标区域中的每个像素，通过利用在目标区域中的人直方图、背景直方图和每个像素的色彩数据，计算像素的第一连接成本的步骤，像素的第一连接成本代表与人的色彩数据的相似度和与背景的色彩数据的相似度连接成本，对于在目标区域中的每个像素，通过利用相邻像素之间的差分，计算像素的第二连接成本的步骤，像素的第二连接成本代表相邻像素之间的色彩数据的连续性连接成本，校正步骤，在校正步骤中，制作出顶点是目标区域中的像素、且顶点之间的边缘是第一连接成本和第二连接成本的曲线图制作出，并且计算最小切割，通过最小切割，曲线图被分成两部分，以使第一连接成本和第二连接成本的总和变得最小，并且基于最小切割，在目标区域中的像素被重新标记，以便校正轮廓。因此，对人的色彩数据的相似度较低且与相邻像素在色彩数据上的连续性较低的像素被重新标记为背景，并且对背景的色彩数据的相似度较低且与相邻像素在色彩数据上的连续性较低的像素被重新标记为人。因此，包含在最初提取出的轮廓中的噪声或者错误可以被降低，且人的精确的轮廓可以被获得。根据本专利技术的轮廓校正方法可以具有以下特性F1-F4:Fl:第一连接成本通过以下表达式被计算出来Ph⑴(x，y)=nh⑴(C⑴(x,y)) X λ /th以及Pb ⑴(x，y) =nb ⑴(C⑴(x，y)) X λ /tb其中Ph(I)(x,y):对于具有X-Y坐标(x，y)和色彩数据(I)的目标像素的人的色彩数据的第一连接成本，nh(I) (CG)(xj y)):在人直方图中，具有目标像素C(I)(x,y)的色彩数据⑴的像素的频率，th:在目标区域中被标记为人的像素的总数，Pb(I)(x,y):对于具有X-Y坐标(x，y)和色彩数据(I)的目标像素的背景的色彩数据的第一连接成本，nb(I) (CG)(xj y)):在背景直方图中，具有目标像素C(I)(x,y)的色彩数据⑴的像素的频率，tb:在目标区域中被标记为背景的像素的总数，且λ:常数。F2:第二连接成本通过以下表达式被计算出来Pd=kX ε /Dp其中Pd:目标像素的第二连接成本，k:常数，ε:常数，当目标像素位于人的轮廓的边界时为大于O且小于1，否则为1，以及Dp:目标像素和相邻像素之间的差分值。F3:考虑到从背景被重新标记为人的每个像素，频率nb(I) (C(I)(x,y))被乘以大于I的常数，以便提高与背景的色彩数据的相似度，以及再次计算第一连接成本和第二连接成本，然后再次执行校正步骤。F4:该方法进一步包括校正之前的轮廓和校正之后的轮廓的逻辑乘积的图像被制作出并被替换的步骤。根据本专利技术，用于实现如上所述的轮廓校正方法的轮廓校正系统包括:存储器，关于帧的像素的数据被储存在存储器中，以及运算部，该运算部包括:人直方图生成部、背景直方图生成部、第一连接成本计算部、第二连接成本计算部、以及校正部，其中，人直方图生成部通过利用在目标区域中被标记为人的像素，生成频率和等级分别为像素的数量和像素的色彩数据的人直方图，背景直方图生成部通过利用在目标区域中被标记为背景的像素，生成频率和等级分别为像素的数量和像素的色彩数据的背景直方图，第一连接成本计算部通过利用在目标区域中的人直方图、背景直方图和每个像素的色彩数据，对于在目标区域中的每个像素，计算像素的第一连接成本，像素的第一连接成本代表与人的色彩数据的相似度和与背景的色彩数据的相似度连接成本，第二连接成本计算部通过利用相邻像素之间的差分，对于在目标区域中的每个像素，计算像素的第二连接成本的步骤，像素的第二连接成本代表相邻像素之间的色彩数据的连续性连接成本，校正部制作出顶点是目标区域中的像素、且顶点之间的边缘是第一连接成本和第二连接成本的曲线图，并且计算最小切割，通过最小切割，曲线图被分成两部分，以使第一连接成本和第二连接成本的总和变得最小，并且基于最小切割，在目标区域中的像素被重新标记，以便校正轮廓。轮廓提取方法和系统如所说明的，根据上述所提及的专利文献中公开的技术，在轮廓提取中可以获得一定程度的精确度，但是存在有这样的问题，如果人所具有的颜色接近背景在它们边界的邻近处的颜色，则难以将它们区分开来从而难以正确地将轮廓提取出来。因此，本专利技术的另一个目标是提供轮廓提取方法和轮廓提取系统，通过该轮廓提取方法和轮廓提取系统，即使人和背景具有相近的颜色，也可以将它们区分开来。根据本专利技术的轮廓提取方法用于通过应用从多个帧获得的色彩数据，从捕捉自人挥动高尔夫球棒的活动图像的多个帧中的一个帧中提取人挥动高尔夫球棒的轮廓。该方法包括以下步骤:关于一个帧中的每个像素，生成跨帧子集的步骤，跨帧子集是在所关心的像素的位置处的帧的像素的子集的步骤，关于跨帧子集组中的每一个跨帧子集，生成频率和等级分别为帧的数目和像素的色彩数据的直方图的步骤，从捕捉到的帧中提取瞄准击球状态帧的步骤，瞄准击球状态帧是包含正在瞄准击球的人的帧，对于瞄准击球状态帧，使用高尔夫球棒的人的预定的特征点被定位的步骤，基于特征点所在的位置，设定遮盖区域的步骤，遮盖区域是包含人、高尔夫球棒以及在人和高尔夫球棒周围的背景的一部分的区域，基于特征点所在的位置，在遮盖区域中定义人体区段的步骤，在人体区段中，所包含的像素具有代表人的大可能性，基于瞄准击球状态帧的人体区段中的像素的色彩数据和关于人体区段中的每个像素的直方图，对于直方图中的每一个直方图，确定人体范围的步骤，人体范围是代表人的直本文档来自技高网...

【技术保护点】
一种轮廓校正方法，其特征在于，用于通过将帧的每个像素标记为人或者背景来校正所述人的轮廓，所述人的轮廓是从包含所述人和所述背景的所述帧中提取出来的，其中，在作为所述帧的至少一部分的目标区域中的像素被重新标记，所述轮廓校正方法包括：通过利用在所述目标区域中被标记为所述人的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的人直方图的步骤，通过利用在所述目标区域中被标记为所述背景的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的背景直方图的步骤，对于在所述目标区域中的每个像素，通过利用在所述目标区域中的所述人直方图、所述背景直方图和每个像素的色彩数据，计算所述像素的第一连接成本的步骤，像素的所述第一连接成本代表与所述人的所述色彩数据的相似度和与所述背景的所述色彩数据的相似度连接成本，对于在所述目标区域中的每个像素，通过利用相邻像素之间的差分，计算所述像素的第二连接成本的步骤，所述像素的所述第二连接成本代表相邻像素之间的色彩数据的连续性连接成本，校正步骤，在所述校正步骤中，制作出顶点是所述目标区域中的所述像素、且所述顶点之间的边缘是所述第一连接成本和所述第二连接成本的曲线图制作出，并且计算最小切割，通过所述最小切割，所述曲线图被分成两部分，以使所述第一连接成本和所述第二连接成本的总和变得最小，并且基于所述最小切割，在所述目标区域中的所述像素被重新标记，以便校正所述轮廓。...

【技术特征摘要】
2011.12.07 JP 2011-268286;2011.12.07 JP 2011-26821.一种轮廓校正方法，其特征在于，用于通过将帧的每个像素标记为人或者背景来校正所述人的轮廓，所述人的轮廓是从包含所述人和所述背景的所述帧中提取出来的，其中，在作为所述帧的至少一部分的目标区域中的像素被重新标记， 所述轮廓校正方法包括: 通过利用在所述目标区域中被标记为所述人的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的人直方图的步骤， 通过利用在所述目标区域中被标记为所述背景的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的背景直方图的步骤， 对于在所述目标区域中的每个像素，通过利用在所述目标区域中的所述人直方图、所述背景直方图和每个像素的色彩数据，计算所述像素的第一连接成本的步骤，像素的所述第一连接成本代表与所述人的所述色彩数据的相似度和与所述背景的所述色彩数据的相似度连接成本， 对于在所述目标区域中的每个像素，通过利用相邻像素之间的差分，计算所述像素的第二连接成本的步骤，所述像素的所述第二连接成本代表相邻像素之间的色彩数据的连续性连接成本， 校正步骤，在所述校正步骤中，制作出顶点是所述目标区域中的所述像素、且所述顶点之间的边缘是所述第一连接成本和所述第二连接成本的曲线图制作出，并且计算最小切害I]，通过所述最小切割，所述曲线图被分成两部分，以使所述第一连接成本和所述第二连接成本的总和变得最小，并且基于所述最小切割，在所述目标区域中的所述像素被重新标记，以便校正所述轮廓。2.如权利要求1所述的轮廓校正方法，其特征在于， 通过以下表达式计算所述第一连接成本 Ph(D (x,y)=nh(I) (C⑴(x,y)) X λ/th 以及Pb⑴(x，y)=nb⑴(Cm(x,y)) X 入 /tb 其中 Ph(I)(x,y):对于具有X-Y坐标(x，y)和色彩数据(I)的目标像素的所述人的所述色彩数据的所述第一连接成本， nh(I) (CGHx,y)):在所述人直方图中，具有所述目标像素C(I)(x,y)的所述色彩数据(I)的像素的频率， th:在目标区域中被标记为所述人的所述像素的总数， Pb(I)(x,y):对于具有X-Y坐标(x，y)和色彩数据(I)的所述目标像素的所述背景的所述色彩数据的所述第一连接成本， nb(I) (CGHx,y)):在所述背景直方图中，具有所述目标像素C(I)(x,y)的所述色彩数据(I)的像素的频率， tb:在所述目标区域中被标记为所述背景的所述像素的总数，且 λ:常数。3.如权利要求1或2所述的轮廓校正方法，其特征在于， 通过以下表达式计算所述第二连接成本:Pd=kX ε /Dp其中 Pd:目标像素的所述第二连接成本， k:常数， ε:常数，当所述目标像素位于所述人的所述轮廓的边界时ε为大于O且小于1，否则ε为1，以及 Dp:所述目标像素和相邻像素之间的差分值。4.如权利要求2所述的轮廓校正方法，其特征在于， 对于从所述背景被重新标记为所述人的每个像素，所述频率nb(I) (CGHx,y))被乘以大于I的常数，以便提高与所述背景的所述色彩数据的所述相似度，以及再次计算所述第一连接成本和所述第二连接成本，然后再次执行所述校正步骤。5.如权利要求1至4中任一项所述的轮廓校正方法，其特征在于，进一步包括: 校正之前的轮廓和校正之后的轮廓的逻辑乘积的图像被制作出并被替换的步骤。6.一种轮廓校正系统，用于实现如权利要求1所述的根据本发明的所述轮廓校正方法，其特征在于，包括: 存储器，关于所述帧的所述像素的数据被储存在所述存储器中，以及 运算部，所述运算部包括: 人直方图生成部， 背景直方图生成部， 第一连接成本计算部， 第二连接成本计算部，以及 校正部， 其中， 所述人直方图生成部通过利用在所述目标区域中被标记为所述人的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的人直方图， 所述背景直方图生成部通过利用在所述目标区域中被标记为所述背景的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的背景直方图， 所述第一连接成本计算部通过利用在所述目标区域中的所述人直方图、所述背景直方图和每个像素的色彩数据，对于在所述目标区域中的每个像素，计算所述像素的第一连接成本，所述像素的第一连接成本代表与所述人的所述色彩数据的相似度和与所述背景的所述色彩数据的相似度连接成本， 所述第二连接成本计算部通过利用相邻像素之间的差分，对于在所述目标区域中的每个像素，计算所述像素的第二连接成本的步骤，所述像素的所述第二连接成本代表相邻像素之间的色彩数据的连续性连接成本， 所述校正部制作出顶点是所述目标区域中的所述像素、且所述顶点之间的边缘是所述第一连接成本和所述第二连接成本的曲线图，并且计算最小切割，通过所述最小切割，所述曲线图被分成两部分，以使所述第一连接成本和所述第二连接成本的总和变得最小，并且基于所述最小切割，在所述目标区域中的所述像素被重新标记，以便校正所述轮廓。7.一种轮廓提取方法，其特征在于， 用于通过应用从多个帧获得的色彩数据，从捕捉自人挥动高尔夫...

【专利技术属性】
技术研发人员：植田胜彦，白井良明，岛田伸敬，
申请(专利权)人：邓禄普体育用品株式会社，住友橡胶工业株式会社，
类型：发明
国别省市：