一种基于多任务随机森林的动作预测方法技术

本发明专利技术公开了一种基于多任务随机森林的动作预测方法，包括如下步骤：利用同时标注有动作类型标签和观测率标签的训练视频，构建基于多任务随机森林的动作预测模型；对于一个新输入的包含不完整动作的视频，利用多任务随机森林预测该视频的动作类型。该基于多任务随机森林的动作预测方法针对动作预测中输入视频不完整且观测率未知的难点，通过联合学习动作分类和视频观测率识别两个任务的分类器，大大提高了动作预测模型的性能。

An action prediction method based on multi task random forest

【技术实现步骤摘要】
一种基于多任务随机森林的动作预测方法
本专利技术涉及计算机视觉领域，特别提供了一种基于多任务随机森林的动作预测方法。
技术介绍
计算机视觉是借助于几何、物理和学习理论来建立模型，并使用统计方法来处理数据的一个研究领域。动作识别是在完整视频的基础上对动作进行判别，然而，在生活中往往需要在动作完成之前，即未观测完整视频前就对该动作做出反应，因此，人们开始研究如何预测包含不完整动作的视频的类别。人的动作预测主要包含两个步骤，动作表示和预测人的动作类别。动作表示是指从输入的视频中提取表观、运动和结构等信息，生成描述视频的特征向量。动作预测通过分析当前时间视频的特征向量，建立视频内容与动作类别之间的关联。目前动作预测方法的研究仍处于发展阶段，现有的动作预测方法可以分为三类：基于序列匹配的方法；基于深度学习的方法；基于视频段分析的方法。第一类方法分别从不完整视频和完整训练视频中提取表观、运动等底层特征，通过序列匹配的方式将未知类别的不完整视频和已知类别的完整训练视频进行匹配，将匹配结果最好的训练视频的类别作为动作预测的结果。第二类方法利用深度神经网本文档来自技高网...

【技术保护点】
1.一种基于多任务随机森林的动作预测方法，其特征在于，包括如下步骤：/nS1：利用训练数据构建一个基于多任务随机森林的动作预测模型，其中，多任务随机森林是一种包含N棵多任务决策树的集成学习模型，/n其中，构建多任务随机森林的步骤如下：/nS11：收集包含M个不完整视频的训练集

【技术特征摘要】
1.一种基于多任务随机森林的动作预测方法，其特征在于，包括如下步骤：
S1：利用训练数据构建一个基于多任务随机森林的动作预测模型，其中，多任务随机森林是一种包含N棵多任务决策树的集成学习模型，
其中，构建多任务随机森林的步骤如下：
S11：收集包含M个不完整视频的训练集训练集D中的每一个样本均是包含特征向量xm∈RF×1、动作类别标签观测率标签的不完整视频，其中F表示特征向量中特征的个数，K表示动作类别个数；
S12：构建一棵多任务决策树，具体步骤如下：
S121：对训练集D进行采样，得到训练集D的子集：样本集D′；
S122：创建节点序列S，序列中的元素为八元组(node,l,f,c1,c2,α,β,v)，这里，node表示节点序号，l表示节点的深度，f表示该节点的父节点，c1表示该节点的左子节点，c2表示该节点的右子节点，α表示该节点的分裂特征，β表示该节点的分裂值，v表示该节点存储的类别向量；特别地，如果该节点为中间节点，那么v为空，如果该节点为叶子节点，那么c1、c2、α、β为空；创建待处理节点序列Q，序列中的元素为四元组(node,l,f,D*)，这里，node表示节点序号，l表示节点的深度，f表示该节点的父节点，D*表示到达该节点的训练样本集合；将S和Q初始化为空；创建一个根节点(1,1,0,D′)，并将其加入Q，通过此操作将样本集D′输入至根节点；初始化节点计数器counter＝1；
S123：取出Q中的第一个节点，将表示节点的四元组保存为(node,l,f,D*)，并将其移除Q，判断该节点的深度l是否等于预设的多任务决策树最大深度Lmax；若l＝Lmax，该节点应为叶子节点，执行S125；若l＜Lmax，则继续判断到达该节点的样本集D*在两个标签上是否都属于同一类别，若均属于同一类别，该节点应为叶子节点，则执行S125；若均不属于同一类别，或者在一个标签上属于同一类别、另一标签上不属于同一类别，该节点为中间节点，执行S124；
S124：将中间节点(node,l,f,D*)分裂为两个子节点，并将数据集D*分配到两个子节点中，具体步骤如下：
(1)随机从F个特征中选取G个候选特征{αg}g＝1:G，并根据D*中的所有样本在每个属性αg上的取值范围，随机生成相应的G个分裂值{βg}g＝1:G，从而得到G个二元组{(αg,βg)}g＝1:G，每个二元组代表一种候选分裂方案；
(2)判断D*中的样本在两个标签上是否属于同一类别，如果在动作类别标签上属于同一类，那么选取动作观测率标签来计算信息增益，执行步骤(4)；如果在观测率标签上属于同一类，那么采用动作类别标签来计算信息增益，执行步骤(3)；如果在两种标签上都不属于同一类，那么从动作标签和观测率标签中随机选择一种，如果选取动作类别标签来计算信息增益，执行步骤(3)，如果选取动作观测率标签来计算信息增益，执行步骤(4)；
(3)根据D*中的样本在各个动作类别上的分布，计算D*的信息熵EntAction(D*)，依次取候选方案集{(αg,βg)}g＝1:G中的每种方案(αg,βg)，将样本集D*分裂为对应左右子节点的两个子集和如果一个样本在第αg个特征上的取值小于分裂值βg，那么该样本属于子集否则，该样本属于子集根据样本在动作类别上的分布计算的信息熵和的信息熵计算二元组(αg,βg)对D*划分的信息增益GainAction(D*,αg,βg)，选取具有最大信息增益的分裂方案(α*,β*)，然后，执行步骤(5)；
(4)根据D*中的样本在各个观测率标签上的分布，计算D*的信息熵EntRatio(D*)，依次取候选方案集{(αg,βg)}g＝1:G中的每种方案(αg,βg)，将样本集D*分裂为对应左右子节点的两个子集和如果一个样本在第αg个特征上的取值小于分裂值βg，那么该样本属于子集否则，该样本属于子集根据样本在观测率标签上的分布计算的信息熵和的信息熵计算二元组(αg,βg)对D*划分的信息增益GainRatio(D*,αg,βg)，选取具有最大信息增益的分裂方案(α*,β*)；
(5)根据分裂方案(α*,β*)，即分裂特征为α*、分裂值为β*，样本集D*分裂为对应左右子节点的两个子集和左子节点的编号为counter+1，左子节点的编号为counter+2；当前中间节点(node,l,f,D*)可进一步表示为八元组(node,l,f,counter+1,counter+2,α*,β*,0)，将该八元组加入到节点序列S中；将左子节点和右子节点加入待处理节点序列Q；
(6)更新节点计数器变量：counter＝counter+2；执行S126；
S125：将节点(node,l,f,D*)视为叶子节点，统计D*中各个动作类别的视频所占比例，...

【专利技术属性】
技术研发人员：刘翠微，于天宇，杜冲，石祥滨，李照奎，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：辽宁;21