基于多源异构数据流的人体行为检测方法技术

本发明专利技术涉及人体行为的技术领域，特别是涉及基于多源异构数据流的人体行为检测方法，针对多源异构数据流，通过多种传感器数据进行特征提取和数据融合完成人体行为识别过程，并使用视频数据流对时间进行精准定位，将两者结果结合共同确认行为所发生的时间和持续时间；包括以下步骤：步骤S1，使用特征提取器提取视频及传感数据的特征；步骤S2，使用Boundary‑matching network(BMN)作为生成候选时段网络，该网络作用于所有多源数据；步骤S3，分类模块采用传感数据和视频特征进行事件识别。

【技术实现步骤摘要】
基于多源异构数据流的人体行为检测方法
本专利技术涉及人体行为的
，特别是涉及基于多源异构数据流的人体行为检测方法。
技术介绍
近年来，随着我国经济的高速发展，国民生活水平也不断提高，同时公众对于个人生活水平的期望也从早期解决温饱问题逐渐过渡到追求健康的生活方式上来。纵观世界各国，对个人健康生活方式的研究都是从人体行为识别开始。人体行为识别不仅对个人生活方式有较大帮助，其在虚拟现实、移动游戏、医疗保健、人机交互和图像识别等诸多领域也有着广泛的应用。随着科学技术的发展，研究人体行为识别的方法也发生了较大变化：数据类型从单一(视觉)走向多元化(视觉、加速度、陀螺仪、心率等多元数据)；采集数据设备从笨重单一(跟拍或者固定活动范围)走向便携式可穿戴的多元化(智能手环、智能手表、智能手机、智能腰带、智能眼镜等)；研究算法也从传统的机器学习算法(k最近邻、支持向量机、随机森林等)走向适合挖掘特征信息的深度学习算法(长短期记忆网络-卷积神经网络、深度玻尔兹曼机等)。无论是传感器数量上增加、数据类型由单一到多元化还是研究方法的改变，目的都是使得人体行为的识本文档来自技高网...

【技术保护点】
1.基于多源异构数据流的人体行为检测方法，其特征在于，包括以下步骤：/n步骤S1，使用特征提取器提取视频及传感数据的特征；/n步骤S2，使用Boundary-matching network(BMN)作为生成候选时段网络，该网络作用于所有多源数据；/n步骤S3，分类模块采用传感数据和视频特征进行事件识别。/n

【技术特征摘要】
1.基于多源异构数据流的人体行为检测方法，其特征在于，包括以下步骤：
步骤S1，使用特征提取器提取视频及传感数据的特征；
步骤S2，使用Boundary-matchingnetwork(BMN)作为生成候选时段网络，该网络作用于所有多源数据；
步骤S3，分类模块采用传感数据和视频特征进行事件识别。


2.如权利要求1所述的基于多源异构数据流的人体行为检测方法，其特征在于，所述步骤S1具体步骤如下：实验数据集S，由第一人称视频及对应的传感数据组成；首先，将训练集合S中的视频按照固定时段划分为q个数据片段，每个片段至少包含一个事件；对传感数据以相同操作进行处理，获得对应传感数据段；使用特征提取器对每个数据片段提取特征，并按时间顺序拼接为特征矩阵；同理，将原始传感数据(加速度，心率)相应地切分成相同数量的片段并依次输入特征提取器，最终得到一个与视频特征相同维度的特征矩阵。


3.如权利要求2所述的基于多源异构数据流的人体行为检测方法，其特征在于，所述步骤S2具体步骤如下：将得到的视频特征与传感特征进行融合，构成多源样本特征；该特征与视频中事件的真实起止时刻(groundtruth)相结合对BMN网络进行训练；该网络输出两个列表，分别包含100个开始(结束)时刻及对应的概率行向量PB(PE)；将两向量相乘得到100*100的时段评估矩阵其中P(i,j)代表事件在第i个时刻开始，第j个时刻结束的概率。

...

【专利技术属性】
技术研发人员：孟文化，徐明亮，郭毅博，胡孟豪，骆明轩，
申请(专利权)人：郑州大学，
类型：发明
国别省市：河南;41