一种基于多特征线性时序编码的人体行为识别方法及系统技术方案

本发明专利技术公开了一种基于多特征线性时序编码的人体行为识别方法及系统，首先将原始视频均分为多个子段并在每个子段中构造连续帧集，分别计算每个子段连续帧集之中相邻两个图像帧间的光流，获得光流图集；然后计算运动边界值，获得运动边界图集；以原始视频的代表帧、光流图集和运动边界图集为输入，采用CNN网络获得原始视频各子段的CNN特征；接着按不同模态CNN特征分别进行线性时序编码；根据线性时序编码特征，采用动作分类算法分别进行动作识别；对多个行为识别结果进行加权融合，得到最终的行为识别结果。本发明专利技术融合了运动边界图这一重要行为表征信息，通过线性时序编码方法融合行为卷积特征和时序特征的一体化学习过程，提升了人体行为识别准确率。

【技术实现步骤摘要】
一种基于多特征线性时序编码的人体行为识别方法及系统
本专利技术属于自动视频分析
，涉及一种人体行为识别方法及系统，具体涉及一种基于多特征线性时序编码的人体行为识别方法及系统。
技术介绍
人体行为识别技术能满足智能视频监控分析、智能视频监护等应用领域的自动分析及智能化需求，在提升智慧城市建设水平、促进智慧医疗事业发展等方面具有十分重要的现实意义。目前，人体行为识别技术研究主要集中在基于深度学习的行为识别，包括两个方面的学习：行为卷积特征和行为时序特征。前者借助卷积神经网络从行为视频的RGB图像帧、光流等不同模态数据中学习人体行为局部深度特征；后者则在行为卷积特征基础上对行为发展的多个阶段进行时序特征学习。但现有技术方案忽视了运动边界图的行为表征能力，且未解决行为卷积特征和时序特征一体化学习问题。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种基于多特征线性时序编码的人体行为识别方法及系统。本专利技术的方法所采用的技术方案是：一种基于多特征线性时序编码的人体行为识别方法，其特征在于，包括以下步骤：步骤1：将原始视频平均分为N个子段V1、V2…VN(N为经验值N＝3)，从每个子段Vi中随机采样一帧作为该子段的代表帧fi，然后从原始视频中取fi、fi的前l帧图像和fi的后l帧图像(l为经验值)构成连续帧集Si＝[fi-l,…,fi,…,fi+l]；所述原始视频为原始视频训练样本或待识别原始视频；步骤2：计算连续帧集Si中相邻帧间光流，构成光流图集oftx和oftx分别表示ft与ft+1间的水平方向和垂直方向的帧间光流，t＝i-l,i-l+1,...,i+l-1；步骤3：根据光流图集OF计算运动边界值得到运动边界图集Ptxx、Ptxy、Ptyx和Ptyy分别为oftx和ofty在图像水平和垂直方向上的运动边界值，t＝i-l,i-l+1,...,i+l-1；Ptxx由元素Ptxx(u,v)构成，Ptxx(u,v)＝[oftx(u+1,v)-oftx(u-1,v)]，其中，(u,v)表示图像像素坐标，Ptxx(u,v)表示(u,v)处基于oftx的水平运动边界值；oftx(u+1,v)表示oftx中(u+1,v)处的运动光流值；oftx(u-1,v)表示oftx中(u-1,v)处的运动光流值；Ptxy由元素Ptxy(u,v)构成Ptxy(u,v)＝[oftx(u,v+1)-oftx(u,v-1)]，其中，(u,v)表示图像像素坐标，Ptxy(u,v)表示(u,v)处基于oftx的垂直运动边界值；oftx(u,v+1)表示oftx中(u,v+1)处的运动光流值；oftx(u,v-1)表示oftx中(u,v-1)处的运动光流值；Ptyx由元素Ptyx(u,v)构成，Ptyx(u,v)＝[ofty(u+1,v)-ofty(u-1,v)]，其中，(u,v)表示图像像素坐标，Ptyx(u,v)表示(u,v)处基于ofty的水平运动边界值；ofty(u+1，v)表示oftx中(u+1,v)处的运动光流值；ofty(u-1,v)表示中(u-1,v)处的运动光流值；Ptyy由元素Ptyy(u,v)构成，Ptyy(u,v)＝[ofty(u,v+1)-ofty(u,v-1)]，其中，(u,v)表示图像像素坐标，Ptyy(u,v)表示(u,v)处基于ofty的垂直运动边界值；ofty(u,v+1)表示ofty中(u,v+1)处的运动光流值；ofty(u,v-1)表示ofty中(u,v-1)处的运动光流值；步骤4：以各原始视频训练样本或待识别原始视频N个子段的代表帧fi、光流图集OF和运动边界图集MB作为输入，获取N个子段的代表帧CNN特征光流CNN特征和运动边界CNN特征步骤5：对代表帧CNN特征光流CNN特征和运动边界CNN特征分别进行乘法运算，完成线性时序编码，得到编码结果Crgb、Cof和Cmb，其中步骤6：基于线性时序编码特征Crgb、Cof和Cmb，分别进行行为识别，获得行为识别结果ARrgb、ARof和ARmb；步骤7：对行为识别结果ARrgb、ARof和ARmb进行加权融合，得到最终行为识别结果ARfinal，ARfinal＝α*ARrgb+β*ARof+γ*ARmb(其中α、β和γ为经验值)。本专利技术的系统所采用的技术方案是：一种基于多特征线性时序编码的人体行为识别系统，其特征在于：包括视频帧采样模块、光流图集计算模块、运动边界图集计算模块、卷积特征提取模块、线性时序编码模块、行为识别模块、识别结果融合模块；所述视频帧采样模块，用于将原始视频平均分为N个子段V1、V2…VN(N为经验值)，从每个子段Vi中随机采样一帧作为该子段的代表帧fi，然后从原始视频中取fi、fi的前l帧图像和fi的后l帧图像(l为经验值)构成连续帧集Si＝[fi-l,…,fi,…,fi+l]；所述原始视频为原始视频训练样本或待识别原始视频；所述光流图集计算模块，用于计算连续帧集Si中相邻帧间光流，构成光流图集oftx和ofty分别表示ft与ft+1间的水平方向和垂直方向的帧间光流，t＝i-l,i-l+1,...,i+l-1；所述运动边界图集计算模块，用于根据光流图集OF计算运动边界值得到运动边界图集Ptxx、Ptxy、Ptyx和Ptyy分别为oftx和ofty在图像水平和垂直方向上的运动边界值，t＝i-l,i-l+1,...,i+l-1；Ptxx由元素Ptxx(u,v)构成，Ptxx(u,v)＝[oftx(u+1,v)-oftx(u-1,v)]，其中，(u,v)表示图像像素坐标，Ptxx(u,v)表示(u,v)处基于oftx的水平运动边界值；oftx(u+1,v)表示oftx中(u+1,v)处的运动光流值；oftx(u-1,v)表示oftx中(u-1,v)处的运动光流值；Ptxy由元素Ptxy(u,v)构成，Ptxy(u,v)＝[oftx(u,v+1)-oftx(u,v-1)]，其中，(u,v)表示图像像素坐标，Ptxy(u,v)表示(u,v)处基于oftx的垂直运动边界值；oftx(u,v+1)表示oftx中(u,v+1)处的运动光流值；oftx(u,v-1)表示oftx中(u,v-1)处的运动光流值；Ptyx由元素Ptyx(u,v)构成，Ptyx(u,v)＝[ofty(u+1,v)-ofty(u-1,v)]，其中，(u,v)表示图像像素坐标，Ptyx(u,v)表示(u,v)处基于ofty的水平运动边界值；ofty(u+1,v)表示ofty中(u+1,v)处的运动光流值；ofty(u-1,v)表示ofty中(u-1,v)处的运动光流值；Ptyy由元素Ptyy(u,v)构成，Ptyy(u,v)＝[ofty(u,v+1)-ofty(u,v-1)]，其中，(u,v)表示图像像素坐标，Ptyy(u,v)表示(u,v)处基于ofty的垂直运动边界值；ofty(u,v+1)表示ofty中(u,v+1)处的运动光流值；ofty(u,v-1)表示ofty中(u,v-1)处的运动光流值；所述卷积特征提取模块，用于以各原始视频训练样本或待识别原始视频N个子段的代表帧fi、光流图集OF和运动边界图集MB作为输入，获取N个子段的代表帧CNN特征光流CNN特征本文档来自技高网...

【技术保护点】
1.一种基于多特征线性时序编码的人体行为识别方法，其特征在于，包括以下步骤：步骤1：将原始视频平均分为N个子段V1、V2…VN，N为经验值，从每个子段Vi中随机采样一帧作为该子段的代表帧fi，然后从原始视频中取fi、fi的前l帧图像和fi的后l帧图像构成连续帧集Si＝[fi‑l,…,fi,…,fi+l]，l为经验值；所述原始视频为原始视频训练样本或待识别原始视频；步骤2：计算连续帧集Si中相邻帧间光流，构成光流图集

【技术特征摘要】
1.一种基于多特征线性时序编码的人体行为识别方法，其特征在于，包括以下步骤：步骤1：将原始视频平均分为N个子段V1、V2…VN，N为经验值，从每个子段Vi中随机采样一帧作为该子段的代表帧fi，然后从原始视频中取fi、fi的前l帧图像和fi的后l帧图像构成连续帧集Si＝[fi-l,…,fi,…,fi+l]，l为经验值；所述原始视频为原始视频训练样本或待识别原始视频；步骤2：计算连续帧集Si中相邻帧间光流，构成光流图集oftx和ofty分别表示ft与ft+1间的水平方向和垂直方向的帧间光流，t＝i-l,i-l+1,...,i+l-1；步骤3：根据光流图集OF计算运动边界值得到运动边界图集Ptxx、Ptxy、Ptyx和Ptyy分别为oftx和ofty在图像水平和垂直方向上的运动边界值，t＝i-l,i-l+1,...,i+l-1；Ptxx由元素Ptxx(u,v)构成，Ptxx(u,v)＝[oftx(u+1,v)-oftx(u-1,v)]，其中，(u,v)表示图像像素坐标，Ptxx(u,v)表示(u,v)处基于oftx的水平运动边界值；oftx(u+1,v)表示oftx中(u+1,v)处的运动光流值；oftx(u-1,v)表示oftx中(u-1,v)处的运动光流值；Ptxy由元素Ptxy(u,v)构成，Ptxy(u,v)＝[oftx(u,v+1)-oftx(u,v-1)]，其中，(u,v)表示图像像素坐标，Ptxy(u,v)表示(u,v)处基于oftx的垂直运动边界值；oftx(u,v+1)表示oftx中(u,v+1)处的运动光流值；oftx(u,v-1)表示oftx中(u,v-1)处的运动光流值；Ptyx由元素Ptyx(u,v)构成，Ptyx(u,v)＝[ofty(u+1,v)-ofty(u-1,v)]，其中，(u,v)表示图像像素坐标，Ptyx(u,v)表示(u,v)处基于ofty的水平运动边界值；ofty(u+1,v)表示ofty中(u+1,v)处的运动光流值；ofty(u-1,v)表示ofty中(u-1,v)处的运动光流值；Ptyy由元素Ptyy(u,v)构成，Ptyy(u,v)＝[ofty(u,v+1)-ofty(u,v-1)]，其中，(u,v)表示图像像素坐标，Ptyy(u,v)表示(u,v)处基于ofty的垂直运动边界值；ofty(u,v+1)表示ofty中(u,v+1)处的运动光流值；ofty(u,v-1)表示ofty中(u,v-1)处的运动光流值；步骤4：以各原始视频训练样本或待识别原始视频N个子段的代表帧fi、光流图集OF和运动边界图集MB作为输入，获取N个子段的代表帧CNN特征光流CNN特征和运动边界CNN特征步骤5：对代表帧CNN特征光流CNN特征和运动边界CNN特征分别进行乘法运算，完成线性时序编码，得到编码结果Crgb、Cof和Cmb，其中步骤6：基于线性时序编码特征Crgb、Cof和Cmb，分别进行行为识别，获得行为识别结果ARrgb、ARof和ARmb；步骤7：对行为识别结果ARrgb、ARof和ARmb进行加权融合，得到最终行为识别结果ARfinal，ARfinal＝α*ARrgb+β*ARof+γ*ARmb，其中α、β和γ为经验值。2.一种基于多特征线性时序编码的人体行为识别系统，其特征在于：包括视频帧采样模块、光流图集计算模块、运动边界图集计算...

【专利技术属性】
技术研发人员：陈华锋，高正明，赵运红，贺体刚，胡秀，
申请(专利权)人：荆楚理工学院，
类型：发明
国别省市：湖北,42