一种基于双向LSTM的复杂环境下实时人体姿势识别方法技术

本发明专利技术公开了一种基于双向LSTM的复杂环境下实时人体姿势识别方法。利用OpenPose作为人体姿态估计模块，获取人体的二维关节点数据。根据数据缺失情况，判断人体是否处于遮挡状态。对于非遮挡情况，构建基于双向LSTM的分类器，将初始的二维关节点信息送入分类器获取非遮挡情况的人体姿势；对于遮挡状态，利用深度摄像机内参进行三维映射，构建躯干向量和关节角度，使用主成分分析对上述高维特征进行处理后送入分类器获取遮挡情况的人体姿势。本发明专利技术方法实现了在复杂环境下对人体姿势的准确识别。

A real-time human pose recognition method in complex environment based on bidirectional LSTM

【技术实现步骤摘要】
一种基于双向LSTM的复杂环境下实时人体姿势识别方法
本专利技术属于人机交互
，更为具体地讲，涉及一种基于双向LSTM的复杂环境下实时人体姿势识别方法。
技术介绍
机器人技术的应用从传统的工业领域逐渐拓展到医疗、服务等与人交互频繁的场景，因为上述场景对安全性及可靠性有极高要求，各种基于机器人与人之间的感知、识别等人机交互技术得到了长足发展。人们需要机器人能够迅速理解人类传递的各种信息，并根据不同信息特征做出更加自然的决策与反馈。人体姿势一方面是表示人类状态最为直观的方式，另一方面也因为其特征明显易于观察而成为人机交互中重要的研究方向。但传统的姿势技术大多依靠一些可穿戴设备，或者静电信号等特殊信息，并以机器人为核心进行编程控制。这样的方法受到成本、计算能力、环境因素等影响导致效果大打折扣，进而使得其在应用层面上受限。且大多数结构过于复杂，很难集成到服务机器人的架构中。以Kinect为代表的视觉传感器摆脱了可戴式设备不方便的问题，同时与静电信号相比，特征的获取更为直接且清晰。但另一方面，视觉获取的特征会因为周围环境的变化产生极本文档来自技高网...

【技术保护点】
1.一种基于双向LSTM的复杂环境下实时人体姿势识别方法，其特征在于，包括以下步骤：/n步骤1：获取人体的二维关键点坐标P＝(p

【技术特征摘要】
1.一种基于双向LSTM的复杂环境下实时人体姿势识别方法，其特征在于，包括以下步骤：
步骤1：获取人体的二维关键点坐标P＝(p0,p1,…,pl)，其中l为关键点的数量，pi＝(ui,vi)，其中，ui,vi分别是点i在x,y方向上的分量；
步骤2：构建基于双向LSTM的分类器；
步骤3：根据步骤1中获取的二维关键点缺失情况，判断当前是否处于遮挡情况；
步骤4：当处于非遮挡情况时，根据步骤1中获取的二维坐标P得到切割边界框后二维坐标上标代表分割后的结果；
步骤5：当处于遮挡情况时，对二维坐标P进行高维数据处理；
步骤6：将步骤5中处理的特征向量送入步骤2中构建的分类器中得到遮挡情况下的人体姿势。


2.根据权利要求1所述的基于双向LSTM的复杂环境下实时人体姿势识别方法，其特征在于，所述步骤1的具体步骤如下：
步骤1.1：使用视觉传感器获取视频流中的每一帧二维图像；
步骤1.2：将图像送入迁移学习后的OpenPose模块，得到人体关键点的二维坐标P。


3.根据权利要求1所述的基于双向LSTM的复杂环境下实时人体姿势识别方法，其特征在于，所述步骤2的具体步骤如下：
步骤2.1：构建双向LSTM层；
步骤2.2：构建全连接层FL1与FL2；两者之间加入批量归一化层。


4.根据权利要求1所述的基于双向LSTM的复杂环境下实时人体姿势识别方法，其特征在于，所述步骤4的具体步骤如下：
步骤4.1：根据P点生成边界框B，长与宽分别为Bw，Bh：



步骤4.2：根据边界框的结构，对原始特征向量进行处理，处理后每个关节点为



其中
步骤4.3：将点P*作为特征向量送入步骤2构建的分类器中得到非遮挡情况下的人体姿势。


5.根据权利要求1所述的基于双向LSTM的复杂环境下实时人体姿势识别方法，其特征在于，所述步骤5的具体步骤如下：
步骤5.1：标定彩色图像的内参，获取内参矩阵R：



其中f代表相机的焦距，fx,fy对应相机在u,v方向的尺度因子，c对应相机主点所在的位置，cx,cy代表c在u,v方向的映射；
步骤5.2：标定彩色摄像头与红外摄像头之间的外参，将彩色图像和与之对...

【专利技术属性】
技术研发人员：周意乔，徐昱琳，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31