基于视频数据的实时姿态识别方法及装置、计算设备制造方法及图纸

本发明专利技术公开了一种基于视频数据的实时姿态识别方法及装置、计算设备，方法对视频数据所包含的帧图像进行分组处理，包括：实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。本发明专利技术根据当前帧图像在其所属分组中的帧位置不同，对应的对帧图像进行姿态识别，计算得到特定对象的姿态识别结果，方便根据得到的姿态识别结果确定待响应的命令，以便对特定对象的姿态进行响应。

Real-time attitude recognition method and device and computing equipment based on video data

The invention discloses a computing device and device, real-time gesture recognition method based on video data, image methods included in the video data packet processing, including: real-time access to the current frame image acquisition equipment taken and / or recorded in the video; the current image input to the training the neural network, according to the current frame image in their respective groups in the frame of the current frame image position, gesture recognition, gesture recognition results obtained for a particular object of the current frame image; according to the specific object of gesture recognition results, determine the corresponding response to commands for image acquisition equipment in the terminal in response to the command response equipment. According to the different position of the current frame image in their respective groups, corresponding to gesture recognition of image, calculate gesture recognition results are object specific, convenient to determine the response command based on gesture recognition results, so that the attitude to the specific object of response.

【技术实现步骤摘要】
基于视频数据的实时姿态识别方法及装置、计算设备
本专利技术涉及图像处理领域，具体涉及一种基于视频数据的实时姿态识别方法及装置、计算设备。
技术介绍
对人物的姿态进行识别，可以明确的了解到人物当前的动作，进而可以根据动作执行其对应的后续操作。姿态识别主要通过两种方式，一种是利用外部设备，如可穿戴的传感器或手柄等设备，具有精确直接的特点，但对肢体动作造成束缚，且对外部设备依赖性高。另一种基于提取人体的各个关节的关键点信息，如手、手肘、肩膀等各个关节，通过计算各关节关键点位置信息交叉或平行等进行姿态识别。现有技术中，对视频数据进行姿态识别时，往往是将视频数据中的每一帧图像作为单独的帧图像进行姿态识别，得到每一帧图像的姿态识别结果。但这种处理方式对每一帧图像进行相同的处理，没有考虑到姿态动作之间的关联性、连续性，即没有考虑到视频数据中各帧图像之间的关联性。使得处理的速度较慢，需要花费较多的时间，相对的对姿态识别后作出的反应也会变慢，无法及时的进行反应。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于视频数据的实时姿态识别方法及装置、计算设备。根据本专利技术的一个方面，提供了一种基于视频数据的实时姿态识别方法，方法对视频数据所包含的帧图像进行分组处理，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。可选地，根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待执行的效果处理命令进一步包括：根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。可选地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：根据特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供图像采集设备所在终端设备响应操作指令对外部设备进行操作。可选地，图像采集设备所在终端设备所显示的图像不是当前帧图像；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：获取图像采集设备所在终端设备所显示的图像；根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果进一步包括：判断当前帧图像是否为任一分组的第1帧图像；若是，则将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到对当前帧图像中特定对象的姿态识别结果；若否，则将当前帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到对当前帧图像中特定对象的姿态识别结果；其中，i和j为自然数。可选地，在判断出当前帧图像不是任一分组的第1帧图像之后，方法还包括：计算当前帧图像与其所属分组的第1帧图像的帧间距；根据帧间距，确定i和j的取值；其中，第i层卷积层与最后一层卷积层之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。可选地，方法还包括：预先设置帧间距与i和j的取值的对应关系。可选地，在直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合之后，方法还包括：若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到对当前帧图像中特定对象的姿态识别结果；若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到对当前帧图像中特定对象的姿态识别结果。可选地，将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到对当前帧图像中特定对象的姿态识别结果进一步包括：在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。可选地，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果之前，方法还包括：在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。可选地，视频数据每组包含n帧帧图像；其中，n为固定预设值。根据本专利技术的另一方面，提供了一种基于视频数据的实时姿态识别装置，装置对视频数据所包含的帧图像进行分组处理，其包括：获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；识别模块，适于将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；响应模块，适于根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；响应模块进一步适于：根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。可选地，响应模块进一步适于：根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。可选地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；响应模块进一步适于：根据特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供图像采集设备所在终端设备响应操作指令对外部设备进行操作。可选地，图像采集设备所在终端设备所显示的图像不是当前帧图像；响应模块进一步适于：获取图像采集设备所在终端设备所显示的图像；根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。可选地，识别模块进一步包括：判断单元，适于判断当前帧图像是否为任一分组的第1帧图像，若是，执行第一识别单元；否则，执行第二识别单元本文档来自技高网...

【技术保护点】
一种基于视频数据的实时姿态识别方法，所述方法对所述视频数据所包含的帧图像进行分组处理，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对所述当前帧图像中特定对象的姿态识别结果；根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令。

【技术特征摘要】
1.一种基于视频数据的实时姿态识别方法，所述方法对所述视频数据所包含的帧图像进行分组处理，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对所述当前帧图像中特定对象的姿态识别结果；根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令。2.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像为所述当前帧图像；所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供所述图像采集设备所在终端设备响应待响应的效果处理命令。3.根据权利要求2所述的方法，其中，所述根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供所述图像采集设备所在终端设备响应待执行的效果处理命令进一步包括：根据所述特定对象的姿态识别结果，以及所述当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。4.根据权利要求2或3所述的方法，其中，所述待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。5.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像为所述当前帧图像；所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：根据所述特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供所述图像采集设备所在终端设备响应所述操作指令对所述外部设备进行操作。6.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像不是所述当前帧图像；所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：获取所...

【专利技术属性】
技术研发人员：董健，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11