一种基于哈尔特征和动态时序匹配的投篮动作识别方法技术

本发明专利技术公开了一种基于哈尔特征和动态时序匹配的投篮动作识别方法。方法的步骤如下：预先捕获投篮动作到数据库，将所有动作处理成多视角下的二维轮廓图像后储存并标记和分类，再建立姿势分类样本库和姿势区分样本库分别抽取分类哈尔特征和度量哈尔特征。运行时通过多视点摄像机拍摄人投篮的图片序列并处理为轮廓图序列作为输入，判断投篮出手时刻，计算该时刻姿势的分类哈尔特征值并判断所属类，再从数据库中索引同一类的动作作为备选相似动作，将这些动作与输入以度量哈尔特征值为相似性度量做动态时序匹配，取匹配代价最优者为输入的识别结果。本发明专利技术能在无标记点的情况下快速而准确地识别出投篮动作，可应用于实时交互设备。

【技术实现步骤摘要】

本专利技术涉及一种投篮动作识别方法，尤其涉及。
技术介绍
动作捕捉设备对场地、服装和演员都有较高的限制，以光学捕捉设备为例，演员需要穿着特定的服装并贴上标记点，需要十分繁琐的准备过程。应用从多视点轮廓图识别动作的方法，可以做到无标记点，以改善用户体验，提高交互性。 在近年来动作识别的相关研究中，很多学者结合计算机视觉和机器学习等知识，针对不同的应用领域和需求，提出了从二维图像序列恢复三维动作的解决方案，其研究成果主要被应用于智能监控、感知接口、运动分析和虚拟现实等方面。如，K.Takahashi等人基于手部动作提出了一种全帧匹配方案，使用spatio-temporal vector fields作为识别依据，使用CDP(Continuous DynamicProgramming)定位，用于人的有限个手部动作的识别。而LIU REN等则以舞蹈动作为基础，使用AdaBoost学习得到的矩形特征计算轮廓图在这些特征上的海明距离，后基于预先生成的动作图(Motion Graph)进行单幅图像的局部敏感匹配，最后合成与输入最相近的姿势序列。
技术实现思路
本专利技术的目的在于克服动作捕捉设备对场地、服装和演员高限制，避免繁琐的准备过程，在无标记点的情况下快速而准确地识别出投篮动作。 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于包括以下步骤 1)预先用动作捕捉设备捕获各种投篮动作存入数据库中，将所有动作向两侧轻微旋转后渲染成多视角下的二维图像，然后处理为轮廓图储存； 2)标记所有动作的投篮出手时刻、出手位置和出手方式，将所有动作分为左手单手、右手单手和双手三大类，并建立索引； 3)依据动作分类，在每一类中平均随机取若干动作，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库； 4)依据动作分类，在每一类中平均随机取若干姿势对，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库； 5)对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征； 6)使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量； 7)运行时，通过多视点摄像机拍摄人投篮的图片序列，并处理为轮廓图序列作为输入； 8)从图像序列中篮球轮廓是否与人体轮廓分离及其速度、位置，判断投篮出手时刻； 9)使用分类哈尔特征向量，计算出手时刻对应姿势的分类哈尔特征值，判断所属类； 10)从数据库中索引同一类的所有动作，作为备选相似动作； 11)对每一个备选相似动作，将其与输入按出手时刻对齐，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价； 12)取匹配代价最优的备选相似动作，作为输入的识别结果。 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征步骤包括 1)选择若干哈尔特征样式，按照图像大小和移动步长，选取不同的长度、宽度和位置，定义若干哈尔特征； 2)对样本库中的每一个样本所对应的二值轮廓图像，对每个已定义的哈尔特征，计算哈尔特征值； 3)对每个已定义的哈尔特征，将其值域等分为K个子域，对每个类c统计每个子域中哈尔特征值落于该子域的样本个数，得到样本分布统计； 4)对每个已定义的哈尔特征，根据样本分布统计，计算每个子域的类属偏向值，得到基于LUT扩展的浮点哈尔特征，类属偏向值的计算公式是 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量步骤包括 1)挑选若干样本姿势分为k类，共n个，初始化样本W权重为1/n，并标记类别c； 2)在每一轮特征选取过程中，对每个浮点哈尔特征，根据样本分布统计和样本权重，重新计算每个子域的类属偏向值，同时计算其对样本的错判误差 挑选错判误差最小的浮点哈尔特征为本轮中选特征，然后更新样本权重 最后归一化新样本权重； 3)重复步骤2)直至特征集合个数满足要求或错判误差过大，得到哈尔特征向量。 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价步骤包括 1)对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，建立匹配矩阵； 2)以出手时刻前若干帧为匹配起点集合，后若干帧为匹配终点集合，按照定义的局部连续性约束和全局连续性约束，从起点集合开始依次扩展匹配路径至终点集合，匹配路径上的每个点始终记录从起点开始到达该点的最优匹配代价和生成该代价的最优父节点； 3)从匹配终点集合中挑选匹配代价最优的点作为终点，根据每个点记录的最优父节点，回溯得到最优匹配路径和最优匹配代价。 本专利技术是通过多视点摄像机采集动作图片序列，提取轮廓并抽取图像特征，再以此为依据在数据库中寻找最优匹配动作，以快速并准确地达到识别投篮动作的目的。不同于动作捕捉设备对场地、服装和演员的高要求和繁琐的准备过程，本专利技术无标记点，无演员身高、性别、服装限制，具有良好的用户体验，且具有较高的计算效率，可满足交互装置等的准实时响应要求，考虑动作的时序性，结合轮廓图的特征相似性，具有较高的识别准确率。 附图说明 图1是基于时序匹配的多视点轮廓图序列识别动作方法流程图； 图2(a)是动作捕捉设备捕获投篮动作的场景； 图2(b)是动作捕捉设备捕获到的动作； 图2(c)是动作的轮廓图； 图3是本专利技术数据库组织与索引形式； 图4(a)是哈尔特征示意； 图4(b)是基于LUT扩展的浮点哈尔特征类属偏向值示意； 图4(c)是根据偏向值判断样本的类别示意； 图5(a)是动态时序匹配的匹配矩阵和匹配路径示意； 图5(b)是动态时序匹配的局部连续性约束示意； 图6(a)是本专利技术右手抛球的识别结果； 图6(b)是本专利技术双手右侧投篮的识别结果； 图6(c)是本专利技术双手抛球的识别结果。 具体实施例方式 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于包括以下步骤 1)预先用动作捕捉设备捕获各种投篮动作存入数据库中，将所有动作向两侧轻微旋转后渲染成多视角下的二维图像，然后处理为轮廓图储存； 2)标记所有动作的投篮出手时刻、出手位置和出手方式，将所有动作分为左手单手、右手单手和双手三大类，并建立索引； 3)依据动作分类，在每一类中平均随机取若干动作，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库； 4)依据动作分类，在每一类中平均随机取若干姿势对，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库； 本文档来自技高网...

【技术保护点】
一种基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于包括以下步骤：１）预先用动作捕捉设备捕获各种投篮动作存入数据库中，将所有动作向两侧轻微旋转后渲染成多视角下的二维图像，然后处理为轮廓图储存；２）标记所有动作的投篮出手时刻、出手位置和出手方式，将所有动作分为左手单手、右手单手和双手三大类，并建立索引；３）依据动作分类，在每一类中平均随机取若干动作，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库；４）依据动作分类，在每一类中平均随机取若干姿势对，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库；５）对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于ＬＵＴ扩展的浮点哈尔特征；６）使用ＭｕｌｔｉｃｌａｓｓＧｅｎｔｌｅＡｄａＢｏｏｓｔ算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量；７）运行时，通过多视点摄像机拍摄人投篮的图片序列，并处理为轮廓图序列作为输入；８）从图像序列中篮球轮廓是否与人体轮廓分离及其速度、位置，判断投篮出手时刻；９）使用分类哈尔特征向量，计算出手时刻对应姿势的分类哈尔特征值，判断所属类；１０）从数据库中索引同一类的所有动作，作为备选相似动作；１１）对每一个备选相似动作，将其与输入按出手时刻对齐，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价；１２）取匹配代价最优的备选相似动作，作为输入的识别结果。...

【技术特征摘要】

【专利技术属性】
技术研发人员：耿卫东，林驰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]