一种基于节体对象的动作识别方法技术

本发明专利技术中提出的一种基于节体对象的动作识别方法，其主要内容包括：预处理和获得初始姿态、姿态估计、跟踪、动作识别，其过程为，先从输入的图像中提取感兴趣对象的点，进行预处理和获得初始姿态；在生成的多个初始姿态中筛选成最佳的作为最终估计姿态；接着利用粒子滤波器解决跟踪问题；最后利用学习预测器，提取将要描述的专用特征，并输出预测的动作类别。本发明专利技术中光照、遮挡等对识别的影响较小，提高识别效率；它可以自动识别动物或人体的动作，解决了传统识别动作方法耗费时间、人力和物力的问题。

An action recognition method based on segment object

The present invention in an action recognition method based on object section, the main contents include: pretreatment and obtain the initial attitude and attitude estimation, tracking and action recognition, the process is to extract the object of interest, from the input image, pre-processing and obtain the initial attitude; in an initial attitude the screening into the best as the final pose estimation; then using particle filter to solve the tracking problem; finally learning predictor, special feature extraction will be described, and output forecast action categories. The invention of illumination and occlusion has little effect on recognition, improve the recognition efficiency; it can automatically identify the animal or human action, to solve the traditional recognition action method takes time, manpower and material resources problem.

【技术实现步骤摘要】
一种基于节体对象的动作识别方法
本专利技术涉及动作识别领域，尤其是涉及了一种基于节体对象的动作识别方法。
技术介绍
随着科学技术的高速发展与社会进步，人们的日常生活中对于动作识别的需求越来越大。比如识别在视频监控中的某个人物的某一动作，分析篮球比赛中的投篮动作以及其他资料中动物、人类的动作分析等，而人为地去看这些视频、图片会耗费时间、人力和物力，效率很低。而如果采用智能的动作识别，则可以自动对视频图像数据中的动作进行标注。动作识别技术还可以用于许多领域，比如自动对互联网上的视频进行动作标注，公共场合的智能监控，司机姿势的监控，人群中危险姿势的监控，通过人体动作的自动识别调用家具设备的相应功能，或者是监控老人，小孩的安全情况等。本专利技术提出了一种基于节体对象的动作识别方法，先从输入的图像中提取感兴趣对象的点，进行预处理和获得初始姿态；在生成的多个初始姿态中筛选成最佳的作为最终估计姿态；接着利用粒子滤波器解决跟踪问题；最后利用学习预测器，提取将要描述的专用特征，并输出预测的动作类别。本专利技术中光照、遮挡等对识别的影响较小，提高识别效率；它可以自动识别动物或人体的动作，解决了传统识别动作方法耗费时间、人力和物力的问题。
技术实现思路
针对光照、遮挡等对识别有影响的问题，本专利技术的目的在于提供一种基于节体对象的动作识别方法，先从输入的图像中提取感兴趣对象的点，进行预处理和获得初始姿态；在生成的多个初始姿态中筛选成最佳的作为最终估计姿态；接着利用粒子滤波器解决跟踪问题；最后利用学习预测器，提取将要描述的专用特征，并输出预测的动作类别。为解决上述问题，本专利技术提供一种基于节体对象的动作识别方法，其主要内容包括：(一)预处理和获得初始姿态；(二)姿态估计；(三)跟踪；(四)动作识别。其中，所述的预处理和获得初始姿态，假设在输入深度图像或补丁中存在一个且只有一个节体对象，从图像中提取感兴趣对象的点，通过设置这些姿势作为基础关节对象的主姿态来获得初始姿态；对于每个初始姿态，通过从(-π,π)上的均匀分布扰动平面内基础关节的方向来生成对象的初始取向。其中，所述的姿态估计，包括测试和训练。进一步地，所述的测试过程，给定一组nt个训练图像，定义为J个关节集合的第j个关节的训练图像的平均偏差；偏差Δθj表示估计姿态和地面真实姿态之间的变化量；全局误差函数可以被定义在评估来自平均偏差的和的一组示例中，例如以下形式其中，‖·‖2是欧氏空间中的标准向量范数；假设每个J关节有C个循环或迭代，给定测试图像和初始姿态估计，对于来自基本关节的长度J的运动链，每个关节j∈{1,…,J}，在当前循环c∈{1,…,C}处，关节的当前姿态将由lie群动作纠正，其中扭曲rj(c)是本地回归者的输出换句话说，表示速记符号和可以通过以下的左组动作来更新第j个关节空间坐标，其中是最近的组元素，用于进一步校正在循环c的第c个关节的空间位置；在测试运行时，为每个输入图像生成多个初始姿态，通过逆运动学回归，产生相应的候选姿势；这些输出姿态将通过度量来筛选，挑选其中最佳姿态将作为最终估计姿态。进一步地，所述的训练过程，在训练阶段，以与测试阶段相同的方式获得输入图像的一组K个初始姿态；训练数据集的每个示例由一个实例组成：一对姿态包括估计姿态和地面真实姿态以及其标记：估计与地面真实的偏差θj，如对于第一关节j＝1(运动链中的基本关节)和第一个循环c＝1，示例的标签将是从初始姿态的第一关节到地面真实的第一关节的变化量；然后在所有循环c通过执行当前部分运动学模型直到前一个循环c-1获得其对应的初始姿态。其中，所述的跟踪，粒子滤波器可以解决跟踪问题，考虑离散的时间步长t，并且使用x表示潜在随机变量，用y观察它；跟踪对象的状态(即，在时间t的估计姿态)被表示为xt，并且其函数关系为x1:t＝(x1,…,xt)；类似地，当前观察被表示为yt，其函数关系被表示为y1:t＝(y1,…,yt)；基本的一阶时间马尔可夫链诱导条件独立性，其定义为p(xt|x1:t-1)＝p(xt|xt-1)；遵循这种状态空间动态模型的典型因式分解，有以及我们还需要用于滤波的后验概率p(xt|y1:t)，定义为p(xt|y1:t)∝p(yt|xt)p(xt|y1:t-1)(7)以及p(xt|y1:t-1)＝∫p(xt|xt-1)p(xt-1|y1:t-1)dxt-1(8)即通过递归方式，用来自先前时间步长的后者p(xt-1|y1:t-1)进行评估；粒子过滤器范例的实现涉及选择-传播-测量的三步概率推理过程，其用作粒子过滤器中的一个时间步长更新规则；特别地，在当前时间步骤t的处理对应于选择标准测量三元组步骤的执行：先前时间步骤的输出包含一组Kr加权粒子这里每个粒子i，对应唯一确定姿态的切向量参数集合其中每个向量连接到运动链之后的关节；粒子与其重量相关；总体上，这组加权粒子被认为是后验分布p(xt-1|y1:t-1)的近似；选择步骤通过从p(xt-1|y1:t-1)的累积分布函数(CDF)进行均匀采样操作，以产生具有相等权重的一组新粒子Kr。进一步地，所述的传播步骤，使用公式(11)的基于流形的布朗运动采样来实现p(xt|xt-1)，即基于与先前时间步长的离散布朗运动偏差获得新状态；该布朗运动采样仅在基本联合上执行，而剩余关节通过直接执行与姿态估计算法中的公式(3)相同的推理过程来获得；样本集构成了对于p(xt|y1:t-1)的预测分布函数的近似。进一步地，所述的布朗运动，可认为是高斯随机变量在流形上的泛化，其中增量是独立的并且是高斯分布的，布朗运动的发生器是拉普拉斯-贝尔拉米算子；令表示连续变量，δ>0是一个小步长；令表示从正态分布中采样的随机向量，对于k＝0,1,…，是协方差矩阵；具有起点g(0)∈SE(3)的左不变布朗运动可近似于此外，这些采样点可以通过测地学来内插以形成连续的采样路径，即对于有公式如上所示。进一步地，所述的测量步骤，为每个粒子提供如下的更新的权重令是通过应用我们学习的度量获得的第i个粒子的预测误差值；因此，重量被评价为在获得所有Kr权重之后，每个权重被进一步标准化为更新的样本集合现在共同近似在时间t的对应的后验分布p(xt|y1:t)；加权粒子集合表示整个分布；最终姿态估计，(即在时间t的)，通过对这组粒子进行加权平均来产生公式如上所示。其中，所述的动作识别，考虑学习预测器，提取将要描述的专用特征，并且输出预测的动作类别。附图说明图1是本专利技术一种基于节体对象的动作识别方法的系统流程图。图2是本专利技术一种基于节体对象的动作识别方法的姿态估计过程。图3是本专利技术一种基于节体对象的动作识别方法的跟踪过程。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于节体对象的动作识别方法的系统流程图。主要包括预处理和获得初始姿态，姿态估计，跟踪，动作识别。其中，预处理和获得初始姿态，假设在输入深度图像或补丁中存在一个且只有一个节体对象，从图像中提取感兴趣对象的点，通过设置这些姿势作为基础关节对象的主姿态来获得初始姿态；对于每个初始姿态，通过从(-π,π)上的均匀分布扰动平面内基础关节的方向来生成本文档来自技高网...

【技术保护点】
一种基于节体对象的动作识别方法，其特征在于，主要包括预处理和获得初始姿态(一)；姿态估计(二)；跟踪(三)；动作识别(四)。

【技术特征摘要】
1.一种基于节体对象的动作识别方法，其特征在于，主要包括预处理和获得初始姿态(一)；姿态估计(二)；跟踪(三)；动作识别(四)。2.基于权利要求书1所述的预处理和获得初始姿态(一)，其特征在于，假设在输入深度图像或补丁中存在一个且只有一个节体对象，从图像中提取感兴趣对象的点，通过设置这些姿势作为基础关节对象的主姿态来获得初始姿态；对于每个初始姿态，通过从(-π,π)上的均匀分布扰动平面内基础关节的方向来生成对象的初始取向。3.基于权利要求书1所述的姿态估计(二)，其特征在于，包括测试和训练。4.基于权利要求书3所述的测试过程，其特征在于，给定一组nt个训练图像，定义为J个关节集合的第j个关节的训练图像的平均偏差；偏差Δθj表示估计姿态和地面真实姿态之间的变化量；全局误差函数可以被定义在评估来自平均偏差的和的一组示例中，例如以下形式其中，‖·‖2是欧氏空间中的标准向量范数；假设每个J关节有C个循环或迭代，给定测试图像和初始姿态估计，对于来自基本关节的长度J的运动链，每个关节j∈{1,…,J}，在当前循环c∈{1,…,C}处，关节的当前姿态将由lie群动作纠正，其中扭曲rj(c)是本地回归者的输出换句话说，表示速记符号和可以通过以下的左组动作来更新第j个关节空间坐标，其中是最近的组元素，用于进一步校正在循环c的第c个关节的空间位置；在测试运行时，为每个输入图像生成多个初始姿态，通过逆运动学回归，产生相应的候选姿势；这些输出姿态将通过度量来筛选，挑选其中最佳姿态将作为最终估计姿态。5.基于权利要求书3所述的训练过程，其特征在于，在训练阶段，以与测试阶段相同的方式获得输入图像的一组K个初始姿态；训练数据集的每个示例由一个实例组成：一对姿态包括估计姿态和地面真实姿态以及其标记：估计与地面真实的偏差θj，如对于第一关节j＝1(运动链中的基本关节)和第一个循环c＝1，示例的标签将是从初始姿态的第一关节到地面真实的第一关节的变化量；然后在所有循环c通过执行当前部分运动学模型直到前一个循环c-1获得其对应的初始姿态。6.基于权利要求书1所述的跟踪(三)，其特征在于，粒子滤波器可以解决跟踪问题，考虑离散的时间步长t，并且使用x表示潜在随机变量，用y观察它；跟踪对象的状态(即，在时间t的估计姿态)被表示为xt，并且其函数关系为x1:t＝(x1,…,xt)；类似地，当前观察被表示为yt，其函数关系被表示为y1:t＝(y1,…,yt)；基本的一阶时间马尔可夫链诱导条件独立性，其定义为p(xt|x1:t-1)＝p(xt|xt-1)；遵循这种状态空间动态模型的典型因式分解，有以及...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44