一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法技术

本发明专利技术公开了一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法。方法的步骤如下：预先采集投篮动作到数据库并按类分组，每组构建运动图，将所有动作渲染成多视角下的二维图像后提取关键特征，计算每个姿态的图像特征值。运行时拍下人投篮的图片序列对其进行精细的轮廓提取，计算轮廓图的特征值，在数据库中找到与其特征值最相似姿态所在组为击中组，找到该投篮动作所有轮廓击中最多的组，再找到每帧轮廓图在该组运动图上与其特征值最相近的姿态所在节点，分析这些点并修复成连续的一段，作为动作识别结果。本发明专利技术能只利用图像获取设备快速而准确地识别出投篮动作。

【技术实现步骤摘要】

本专利技术涉及，具体涉及一种通过人的轮廓图像和人的投篮动作数据组成的运动图进行人的投篮动作识别的方法。
技术介绍
人体运动的识别技术一直都是计算机视觉领域的研究热点，它的研究目的就是让机器能够识别出人的动作，包括体态、手势等，它也是一种全新的人与机器交互的方式，这种交互不通过标记点等附着在人身上的硬件设备，只通过人自身的运动。在工业的应用中有着潜在的广泛的应用，此外在影视、游戏这些数字娱乐产业中也有着巨大的前景甚至已经加以应用。 在现有的较成熟的运动识别技术中主要依靠的是一些特种的硬件设备，如运动捕捉设备，但它需要在人身体上粘贴标记点来记录人的三维位置信息而识别运动，这很影响人的交互体验。无标记点的运动识别是一种良好的代替方式，它不需要给用户附加额外的硬件设备，这种方法主要依靠摄像机获取图像再对二维图像进行分析来估计三维运动，从二维恢复三维本质上是多解问题，所以不可能达到百分之百的识别精度，但是在一些应用中(如交互式游戏)，它的识别精度已经能够满足要求。 本专利技术通过剔除图像中人的阴影和环境的干扰获得高质量的人物轮廓，又通过有机的组织运动图，在运动图上使用多段扩展和局部搜索的查找策略，实现了较快速的无标记点的篮球运动识别。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供。基于人体轮廓图提取与分组运动图查询的投篮动作识别方法包括如下步骤 1)将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动 2)对于每个组的运动图上的姿态，将其渲染成多个视角下的二维图像，使用机器学习的方法对每个组在各个视角上的图像提取图像特征向量； 3)将步骤2)中的每个姿态的各个视角的二维图像拼接成一张图，并用步骤2)中的特征向量计算这个拼接图像的特征值，称为该姿态的特征值； 4)拍下篮球动作识别系统的场景内在没有人时的各个视角下图片，称为背景； 5)在进行动作识别时，拍下人的各个视角下的整个投篮动作序列的图片，称为前景图片； 6)在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图； 7)将每个视角的轮廓图拼接起来，用步骤2)中提取出来的特征向量计算出特征值，在步骤1)所述的每个组上寻找与他特征值最相似的姿态，并将与其特征值最近姿态所在的组称为这帧图像的击中组。 8)找出投篮动作的每帧图像的击中组，投票选出击中最多的组，称为整个动作的击中组； 9)找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果。 所述的将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动图步骤包括 1)将用动作捕捉设备捕获下来的三维运动分成四组，第一组包括正向左手、正向双手、左侧身左手，第二组包括正向右手单手、正向双手、右侧身右手，第三组包括背向双手、背向左手、左侧身左手，第四组包括背向双手、背向右手、右侧身右手，分组原则是每一个组内的动作自然过渡； 2)将每组内的所有动作的每一帧都截取下来，每一帧称为一个姿态； 3)在每组内计算任意两个姿态间的三维距离，用一张运动图来表示这些姿态和他们之间的距离，运动图上的节点是姿态，运动图上的边是它所连接的两个节点所表示的姿态间的三维骨架距离，为每一个组都构建一个运动图。所述的在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图步骤包括 1)对于一张输入的由摄像机拍摄下来的图像，计算出输入图像与背景图像的差异I麵，定义背景图像上某点(X， y)的颜色值为(Rba—d(x， y)， G—und(x， y)，B一，d(x， y))，输入图像上对应点的颜色值为(Ri,t(x， y) ， G—(x， y) ， B—(x， y))，工di^r是一张灰度图，它表示了输入图像和背景图像对应点的差异，产《 计算的公式是s (x ， y) 一 max (| Rbackgr。ud (x ， y) —Rbackgr。ud (x ， )0 I ， I Gbackgroud (x ， y) _Gbackgroud (x ， y) | ， | Bbackgroud (X ，y)_Bbackgroud(x， y) I) ;Idiffer(x， y) = s(x， y)/3+s(x_l， y)/6+s(x+l， y)/6+s(x， y_l)/6+s(x，y+l)/6 ; 2)先用一个大的阈值来将Idiff6r二值化，前景为白色，背景为黑色，然后再进行膨胀，将会得到一些粗略的人体的团块，而小的噪声已被滤去，首先找到这些团块中最大的那个团块，然后设定一个距离为阈值，将那些距离主要团块小于这个阈值的团块吸附到这个主团块上，最后找到这个图像中的前景的矩形区域R是人体出现的区域； 3)先对包围盒里面的图像用一个小的阈值进行二值化，这将得到一个清晰的轮廓图； 4)在这个包围盒的底部用一个大阈值来进行二值化，这将剔除人的影子； 5)最后再对提取出来的图像进行简单的平滑降噪处理，并且将人体轮廓縮放成统一大小后放置在图片正中央，得到轮廓图。 所述的找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点 之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这 段序列所代表的动作序列就是人投篮运动的识别结果步骤包括 1)轮廓图像序列在击中组的运动图上将映射成一些点，首先将那些明显偏离群体 的点去除，动作图上的点将形成一些序列段； 2)从每个段开始向前和向后去拓展缺少的节点，对于一个要进行推测的节点，以 最邻近它的帧所映射到的节点为中心，以设定距离为半径的一个区域，对于这个区域的每 一个点，计算它的二维图像与以该推测节点号为帧号的轮廓图在特征值上的海明距离，找 到那个距离最小的点就认为是该帧匹配的节点； 3)找出运动图上节点所形成的所有序列段，对于每段序列，用上一步所述的拓展 方法，推断出整个动作序列所有节点，这些节点组成新的序列，对于推断出来的每一个新的 序列，计算它的每个节点的二维图像与原始轮廓图相对应帧的特征值的海明距离的和，最 后挑选出这个和最小的那个序列就是我们匹配到的结果； 4)对结果动作序列进行插值，适当地增加帧数以提高动作的平滑连贯。 本专利技术使用人的轮廓图信息这一动作的载体作为系统的输入，通过动作图将各种预先采集的投篮动作有机的组织起来作为数据库支持，用通过各种简单的机器学习方法寻找到的图像特征作为匹配工具，将三维的动作识别转变成二维的图像匹配问题.本专利技术主要对影响最终结果的重要因素-轮廓图的质量和运动图的组织和查询进行改善来提高识别的准确率.在对人的轮廓提取的时候，首先通过对前背景差值图的大阈值滤波和形态学操作获得图像上人本文档来自技高网...

【技术保护点】
一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法，其特征在于包括如下步骤：１）将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动图；２）对于每个组的运动图上的姿态，将其渲染成多个视角下的二维图像，使用机器学习的方法对每个组在各个视角上的图像提取图像特征向量；３）将步骤２）中的每个姿态的各个视角的二维图像拼接成一张图，并用步骤２）中的特征向量计算这个拼接图像的特征值，称为该姿态的特征值；４）拍下篮球动作识别系统的场景内在没有人时的各个视角下图片，称为背景；５）在进行动作识别时，拍下人的各个视角下的整个投篮动作序列的图片，称为前景图片；６）在每个视角下进行如下过程的轮廓提取：将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图；７）将每个视角的轮廓图拼接起来，用步骤２）中提取出来的特征向量计算出特征值，在步骤１）所述的每个组上寻找与他特征值最相似的姿态，并将与其特征值最近姿态所在的组称为这帧图像的击中组。８）找出投篮动作的每帧图像的击中组，投票选出击中最多的组，称为整个动作的击中组；９）找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果。...

【技术特征摘要】

【专利技术属性】
技术研发人员：耿卫东，魏知晓，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]