一种人体动作识别方法和智能电视技术

本申请提供了一种人体动作识别方法和智能电视，该人体动作识别方法包括以下步骤：通过摄像头采集包含人物的图像；采用OpenPose算法从每一帧图像中检测人体骨架位置；通过滑动窗口汇总前N帧图像的骨架数据；对骨架数据进行特征提取；将特征输入分类器得到动作识别结果。本申请通过摄像头采集到的图像，能够识别人体骨骼和人体动作，从而实现智能电视的人机体感互动。该方法的识别准确度高，不容易丢失。不容易丢失。不容易丢失。

【技术实现步骤摘要】
一种人体动作识别方法和智能电视


[0001]本专利技术涉及人机交互技术，尤其涉及一种人体动作识别方法和智能电视。

技术介绍

[0002]随着科学技术的发展，电视迎来了智能化浪潮。智能电视企业的技术研发水平不断提高，促使智能电视行业市场规模持续增长。智能电视已不只是一种放映工具，更是享受生活和获得综合服务的智能平台。随着5G、大数据、AI等技术的发展，虚拟与现实结合似乎成为一种势不可挡的趋势，通过现有的智能电视设备实现人机互动，将为用户带来更多的娱乐和学习体验，也为智能电视应用开发商提供一种全新的制作工具。
[0003]目前通过动作识别实现人机交互的技术主要通过微软公司生产的一款名为Kinect的硬件设备，但是该设备于2014年10月已宣布停产。而且该设备存在识别准确度低，易丢失和定位不准确的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于摄像头的、识别准确度高的人体动作识别方法和智能电视。
[0005]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0006]根据本专利技术的一方面，提供了一种人体动作识别方法，包括以下步骤：
[0007]通过摄像头采集包含人物的图像；
[0008]采用OpenPose算法从每一帧图像中检测人体骨架位置；
[0009]通过滑动窗口汇总前N帧图像的骨架数据；
[0010]对骨架数据进行特征提取；
[0011]将特征输入分类器得到动作识别结果。
[0012]在一实施例中，所述摄像头为智能电视本身的摄像头或加装在智能电视上的网络摄像头。
[0013]在一实施例中，所述摄像头采集的图像分辨率为320像素
×
240像素。
[0014]在一实施例中，所述滑动窗口沿视频的时间维度逐帧滑动，并为每个视频输出标签。
[0015]在一实施例中，所述分类器中预设有20个动作类别和557个动作样本。
[0016]在一实施例中，所述对骨架数据进行特征提取，包括：
[0017]通过跟踪算法从RGB视频中提取人体骨架信息；
[0018]选择包含骨架中相对准确的姿态的帧制作一系列信息帧；
[0019]基于信息帧中的人体姿态形成人体姿态流，基于与对象相关的人体姿态形成对象
相关姿态流；
[0020]通过GCN网络将人体姿态流于对象相关姿态流进行融合。
[0021]根据本专利技术的另一方面，提供了一种智能电视，包括摄像头和主机，所述主机包括存储器和处理器；
[0022]所述存储器，用于存储计算机程序；
[0023]所述处理器，用于当执行所述计算机程序时，实现上述任一项所述的人体动作识别方法。
[0024]在一实施例中，所述计算机程序基于Unity3D引擎开发。
[0025]在一实施例中，所述计算机程序中集成有人机互动内容。
[0026]本专利技术实施例的有益效果是：通过摄像头采集到的图像，能够识别人体骨骼和人体动作，从而实现智能电视的人机体感互动。该方法的识别准确度高，不容易丢失。
附图说明
[0027]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0028]在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本专利技术的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
[0029]图1是本申请方法实施例的流程图；
[0030]图2是本申请方法实施例的图像处理过程示意图；
[0031]图3是通过OpenPose算法检测到的人体骨架示意图；
[0032]图4是特征提取过程示意图；
[0033]图5是智能电视软件安装过程示意图。
具体实施方式
[0034]以下结合附图和具体实施例对本专利技术作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本专利技术的保护范围进行任何限制。
[0035]如图1和图2所示，本申请实施例提供了一种人体动作识别方法，包括以下步骤：
[0036]S100、通过摄像头采集包含人物的图像；
[0037]摄像头既可以是智能电视本身的摄像头，也可以是加装在智能电视上的网络摄像头(webcamera)。在可能的实施例中，摄像头采集的图像分辨率为320像素
×
240像素。摄像头将采集到的图像通过视频流输入到智能电视的处理系统中。
[0038]S200、采用OpenPose算法从每一帧图像中检测人体骨架位置；
[0039]OpenPose算法是一种自底向上(bottom
‑
up)的算法。该算法能够实现关节拼接和多人检测，并获得如图3所示的人体骨架。
[0040]S300、通过滑动窗口汇总前N帧图像的骨架数据；
[0041]滑动窗口的大小为N。例如，0.1秒为1帧，滑动窗口大小为5，则会汇总前0.5秒的视
频。在可能的实施例中，滑动窗口沿视频的时间维度逐帧滑动，并为每个视频输出标签。
[0042]S400、对骨架数据进行特征提取；
[0043]如图4所示，S400具体包括：
[0044]S401、通过跟踪算法从RGB视频中提取人体骨架信息；
[0045]S402、选择包含骨架中相对准确的姿态的帧制作一系列信息帧；
[0046]S403、使用信息帧中的人体姿态形成人体姿态流，使用与对象相关的人体姿态形成对象相关姿态流；
[0047]S404、通过GCN在两个流的体系结构中执行动作识别。
[0048]S500、将特征输入分类器得到动作识别结果。在本实施例中，分类器中预设有20个动作类别和557个动作样本。
[0049]基于上述人体动作识别方法，本申请实施例还提出了一种智能电视，包括摄像头和主机，其中主机包括存储器和处理器。
[0050]其中，存储器可用于存储指令、程序、代码、代码集或指令集。存储器可以包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述人体动作识别方法的指令等；存储数据区可存储上述人体动作识别方法中涉及到的数据等。
[0051]处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集，调用存储在存储器内的数据，执行本申请的各种功能和处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体动作识别方法，其特征在于，包括以下步骤：通过摄像头采集包含人物的图像；采用Open Pose算法从每一帧图像中检测人体骨架位置；通过滑动窗口汇总前N帧图像的骨架数据；对骨架数据进行特征提取；将特征输入分类器得到动作识别结果。2.根据权利要求1所述的人体动作识别方法，其特征在于：所述摄像头为智能电视本身的摄像头或加装在智能电视上的网络摄像头。3.根据权利要求2所述的人体动作识别方法，其特征在于：所述摄像头采集的图像分辨率为320像素
×
240像素。4.根据权利要求1所述的人体动作识别方法，其特征在于：所述滑动窗口沿视频的时间维度逐帧滑动，并为每个视频输出标签。5.根据权利要求1所述的人体动作识别方法，其特征在于：所述分类器中预设有20个动作类别和557个动作...

【专利技术属性】
技术研发人员：刘雷，蒋欣雨，张旭，
申请(专利权)人：苏州千火信息科技有限公司，
类型：发明
国别省市：