基于特征增强和边界匹配网络的多动症动作提名生成方法技术

本发明专利技术公开了一种基于特征增强和边界匹配网络的多动症动作提名生成方法，属于计算机视觉、视频分析领域。对比现有技术，本发明专利技术提出一种特征向量增强技术，有助于提升动作提名生成的准确度。本发明专利技术的主要工作包括三个方面：(1)创建多动症动作数据库：视频序列由手机在不同场景下拍摄，记录了6种动作类别，共50个时长30s左右的视频样本，并由人工标记动作实例的相关信息。(2)提取动作特征：包含初始特征提取和特征增强。首先，采用C3D(Convolution 3D)神经网络提取样本初始特征。其次，通过依次进行特征通道位移、降维、卷积和反复采样等处理，来达到特征增强的目的。(3)生成动作提名：基于BMN(Boundary

【技术实现步骤摘要】
基于特征增强和边界匹配网络的多动症动作提名生成方法
[0001]本专利技术获得国家自然科学基金(No：61902281)资助。


[0002]本专利技术属于计算机视觉、视频分析领域，设计了一种基于动作特征增强和边界匹配网络的生成视频动作提名方法，称为FS BMN(Feature Strengthened Boundary
‑
MatchingNetwork)，针对多动症动作数据库生成多动症动作提名。

技术介绍

[0003]时序动作检测是视频分析领域一个重要且极具挑战性的任务，它一般包含动作提名阶段和动作分类阶段。其中，动作提名阶段是要从未修剪的视频中将动作实例提取出来，并且定位每个动作实例的开始时间和结束时间的任务。如何提高生成的动作提名的质量是时序动作检测首先面临的难点。
[0004]注意缺陷多动障碍(俗称多动症)是儿童常见的一种以行为障碍为特征的综合症，表现为与年龄和发育水平不相称的注意力不集中、活动过度和冲动等。目前，全球学龄儿童多动症发病率为3％～7％，是一种发病率极高的疾病。在漫长的治疗过程中，需持续观察本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于特征增强和边界匹配网络的多动症动作提名生成方法，主要内容包括三个方面：(1)创建多动症动作数据库：视频序列均是通过手机拍摄的，由12个人在9个不同场景下完成的，主要有六种动作类别。采集环境为不同光线(充足、较暗)强度、不同背景环境，采集设备具有不同的分辨率。数据库共有50个视频样本，每个视频样本大概30s，包含各种动作。其中每个视频样本由人工标记出每个动作实例的相关信息，包含动作的开始帧和结束帧、开始时间和结束时间以及动作类别等。(2)提取动作特征：主要包含两步，即视频初始特征向量提取和特征向量增强。首先，本发明采用C3D(Convolution 3D)神经网络提取视频样本的初始特征，并利用线性插值法获得维度一致的特征向量。其次，结合时序评估方法获取起始分数和终止分数，在此基础上进行判别边界分数，同时依次进行特征通道位移、降维、卷积和反复采样等处理，来达到特征向量增强的目的。进行特征向量增强处理的动作特征具有更加丰富的多样性，有助于提升动作提名生成的准确度。(3)生成动作提名：多动症动作提名的生成方法是基于BMN(Boundary
‑
Matching Network)神经网络来实现的，提取的视频动作特征作为BMN的输入，即可输出动作提名。2.根据权利要求1所述的基于特征增强和边界匹配网络的多动症动作提名生成方法，其特征在于，创建多动症动作数据库时所标记的真实动作信息，依次经过归一化和扩充边界等处理得到一系列数据，监督训练神经网络。3.根据权利要求1所述的基于特征增强和边界匹配网络的多动症动作提名生成方法，其特征在于，C3D神经网络的输入为连续的16帧，进行特征提取，有利于完整的提取出视频样本中的每一帧特征，以...

【专利技术属性】
技术研发人员：梁佳瑜，吴晗，卢亚新，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：