视频数据实时姿态识别方法及装置、计算设备制造方法及图纸

本发明专利技术公开了一种视频数据实时姿态识别方法及装置、计算设备，其方法包括：实时获取图像采集设备所拍摄和/或所录制的视频中的包含特定对象的当前帧图像；将当前帧图像输入至第二神经网络中，得到对当前帧图像中特定对象的姿态识别结果；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。本发明专利技术利用训练后层数较少的神经网络快速准确计算得到特定对象的姿态识别结果，方便根据得到的姿态识别结果确定待响应的命令，以便对特定对象的姿态进行响应。

【技术实现步骤摘要】
视频数据实时姿态识别方法及装置、计算设备
本专利技术涉及深度学习领域，具体涉及一种视频数据实时姿态识别方法及装置、计算设备。
技术介绍
姿态识别主要通过两种方式，一种是利用外部设备，如可穿戴的传感器或手柄等设备，具有精确直接的特点，但对肢体动作造成束缚，且对外部设备依赖性高。另一种基于提取人体的各个关节的关键点信息，如手、手肘、肩膀等各个关节，通过计算各关节关键点位置信息交叉或平行等进行姿态识别。现有技术中，在对图像采集设备所采集到的图像进行识别时所使用的神经网络往往具有多层中间层，这样可以得到更精准的识别结果。但多层中间层的计算速度会较慢，不能快速的识别，无法快速的得到当前帧图像中的具体情况。尤其当姿态实时变化时，会使得识别结果延迟于当前帧图像。而使用中间层较少的神经网络时，由于中间层层数较少，其计算速度较快，但受其层数限制，有可能造成计算能力有限、拟合能力较差、得到结果不准确等问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的视频数据实时姿态识别方法及装置、计算设备。根据本专利技术的一个方面，提供了一种视频数据实时姿态识别方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中的包含特定对象的当前帧图像；将当前帧图像输入至第二神经网络中，得到对当前帧图像中特定对象的姿态识别结果；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。可选地，根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待执行的效果处理命令进一步包括：根据特定对象的姿态识别结果，以及当前帧图像中的包含的与其他对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。可选地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。可选地，图像采集设备所在终端设备所显示的图像不是当前帧图像；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：获取图像采集设备所在终端设备所显示的图像；根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，第二神经网络的训练过程包括：将姿态识别的训练样本数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；将姿态识别的训练样本数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，至少一层第二中间层与至少一层第一中间层具有对应关系；利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，至少一层第一中间层包含第一神经网络的瓶颈层；至少一层第二中间层包含第二神经网络的瓶颈层。可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：根据至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失更新第二神经网络的权重参数，根据最终输出数据与预标注的输出数据之间的损失更新第二神经网络的权重参数，对第二神经网络进行训练。可选地，在将训练样本的输入数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据之前，方法还包括：将姿态识别的训练样本数据进行下采样处理，将处理后的数据作为第二神经网络的姿态识别的训练样本数据。可选地，利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练进一步包括：利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与对下采样处理后姿态识别的训练样本数据的预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，方法还包括：收集当前帧图像作为姿态识别的训练样本输入数据，以及，对当前帧图像进行人工标注，将标注后的当前帧图像作为预标注的输出数据。根据本专利技术的另一方面，提供了一种视频数据实时姿态识别装置，其包括：获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中的包含特定对象的当前帧图像；识别模块，适于将当前帧图像输入至第二神经网络中，得到对当前帧图像中特定对象的姿态识别结果；其中，第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，第一神经网络的层数多于第二神经网络的层数；响应模块，适于根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；响应模块进一步适于：根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。可选地，响应模块进一步适于：根据特定对象的姿态识别结果，以及当前帧图像中的包含的与其他对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。可选地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。可选地，图像采集设备所在终端设备所显示的图像不是当前帧图像；响应模块进一步适于：获取图像采集设备所在终端设备所显示的图像；根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，装置还包括：姿态识别网络指导训练模块；姿态识别网络指导训练模块包括：第一输出单元，适于将姿态识别的训练样本数据输入至经训练得到的第一神经网络中，获得第一神经网络的至少一层第一中间层的输出数据；第二输出单元，适于将姿态识别的训练样本数据输入至待训练的第二神经网络中，获得第二神经网络的至少一层第二中间层的输出数据以及最终输出数据，至少一层第二中间层与至少一层第一中间层具有对应关系；指导训练单元，适于利用至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失，以及最终输出数据与预标注的输出数据之间的损失，对第二神经网络进行训练。可选地，至少一层第一中间层包含第一神经网络的瓶颈层；至少一层第二中间层包含第二神经网络的瓶颈层。可选地，指导训练单元进一步适于：根据至少一层第二中间层的输出数据与至少一层第一中间层的输出数据之间的损失更新第二神经网络的权重参数，根据最终输出数据与预标注的输出数据之间的损失更新第二神经网络的权重参数，本文档来自技高网...

【技术保护点】
一种视频数据实时姿态识别方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中的包含特定对象的当前帧图像；将所述当前帧图像输入至第二神经网络中，得到对所述当前帧图像中特定对象的姿态识别结果；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令。

【技术特征摘要】
1.一种视频数据实时姿态识别方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中的包含特定对象的当前帧图像；将所述当前帧图像输入至第二神经网络中，得到对所述当前帧图像中特定对象的姿态识别结果；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令。2.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像为所述当前帧图像；所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供所述图像采集设备所在终端设备响应待响应的效果处理命令。3.根据权利要求2所述的方法，其中，所述根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供所述图像采集设备所在终端设备响应待执行的效果处理命令进一步包括：根据所述特定对象的姿态识别结果，以及所述当前帧图像中的包含的与其他对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。4.根据权利要求2或3所述的方法，其中，所述待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。5.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像不是所述当前帧图像；所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：获取所述图像采集设备所在终端设备所显示的图像；根据所述特定对象的姿态识别结果，确定对应的所述图像待响应的命令，以供所述图像采...

【专利技术属性】
技术研发人员：董健，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11