一种多视角情况下的3D人体动作识别算法制造技术

本发明专利技术公开了一种多视角情况下的3D人体动作识别算法，分为单视图3D姿势估计和多视图3D姿势估计；关于单视图3D姿势估计可以分为两个子类别，第一类使用高质量的2D姿态估计引擎，随后通过深度神经网络将2D坐标分别提升为3D；第二类使用卷积神经网络直接从图像推断3D坐标；关于多视图3D姿势估计，旨在获得单眼3D人体姿势估计的真实注释，将所有视图中的关节2D坐标串联为一个批次，作为对完全连接的网络的输入，该网络经过训练可以预测全局3D关节坐标。本发明专利技术的优点是：提出一种多视角情况下的3D人体动作识别算法，是通过采用计算机视觉识别算法对涉及人体的动作进行检测和识别并将其转换为用户可理解的数据展示。其转换为用户可理解的数据展示。其转换为用户可理解的数据展示。

【技术实现步骤摘要】
一种多视角情况下的3D人体动作识别算法


[0001]本专利技术涉及计算机视觉识别，实时数据可视化，大数据并行处理领域，具体来说，涉及一种多视角情况下的3D人体动作识别算法。

技术介绍

[0002]随着社会的发展和进步，人体行为识别技术在社会中承担的角色越来越重要，并具有广泛的应用场景。三维人体模型重建和动作识别是目前计算机视觉领域研究中的一个热点，其目的是通过各种图像处理和识别分类技术对视频中的动作进行提取和分析，合理的构建完整的三维人体模型，以判断视频中的人物所进行的动作，从而得出有用的信息，具有十分广泛的用途。人体行为识别技术可被应用到视频监控(学校、食堂、公司等环境)、人机交互(火车站等场景)、足球或者篮球运动自动解说等领域。
[0003]此外，人体姿势识别在计算机视觉领域是一个非常重要的领域。根据最终目标和假设规则制定的不同，可以延伸出很多不同的方向；
[0004](1)预测人体的二维或者三维动作。
[0005](2)从视频中的单一序列或者帧中预测人体动作。
[0006](3)从单一或者多个摄像头中预测人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角情况下的3D人体动作识别算法，其特征在于：该人体动作识别算法分为单视图3D姿势估计和多视图3D姿势估计：关于单视图3D姿势估计分为两个子类别，第一类使用高质量的2D姿态估计引擎，随后通过完全连接，卷积或递归的深度神经网络将2D坐标分别提升为3D；第二类使用深度卷积神经网络直接从图像推断3D坐标；3D人体动作识别算法使用的是第一类方法作为主框架，使用深度卷积神经网络作为高质量的2D姿态估计引擎；关于多视图3D姿势估计，旨在获得单眼3D人体姿势估计的真实注释，将所有视图中的关节2D坐标串联为一个批次，作为对完全连接的网络的输入，该网络经过训练能够预测全局3D关节坐标；其中将2D坐标串联到同一个坐标系下的方法称为多角度信息聚合方法。2.根据权利要求1所述的一种多视角情况下的3D人体动作识别算法，其特征在于：所述深度卷积神经网络是一类包含数学中的卷积计算且具有多层深度结构的前馈神经网络，多维数据可以作为深度卷积神经网络的输入层的输入，我们将一维数据或者二维数据作为输入传递给深度卷积神经网络的输入层，其中一维数组通常为时间序列数据；二维数组大多数为灰度图；本发明采用的卷积神经网络的输入层接收RGB图像的三维数组；深度卷积神经网络的隐含层包含卷积层、池化层和全连接层3类结构；卷积层中的卷积核包含权重系数，池化层不包含权重系数，卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元；其中卷积层的算法为：在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤；池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量；池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制；其一般表示形式为：卷积神经网络中输出层的上游通常是全连接层，其结构和工作原理与传统前馈神经网络中的输出层相同。3.根据权利要求1所述的一种多视角情况下的3D人体动作识别算法，其特征在于：多角度信息聚合方法是一种多视角人体坐标系转换方法，具体形式为代数三角变换；使用三角变换来单独处理每个关节j；是建立在2D坐标中的三角变换方法之上，其中人体关节坐标的信息...

【专利技术属性】
技术研发人员：石昕，邵慧杨，翟庆庆，
申请(专利权)人：上海大学，
类型：发明
国别省市：