行为识别分析方法和系统、计算机可读存储介质技术方案

本发明专利技术提供了一种行为识别分析方法及系统、计算机可读存储介质，其中，行为识别分析方法，包括：获取视频信息，将视频信息转换为连续的帧图像；提取帧图像中任一帧图像的图像信息，并通过预设算法确定图像信息中行为人的特征信息；通过GCN算法对图像信息中的特征信息进行分析，以得到行为人的行为信息，并确定行为信息中目标行为信息所占的比例；若目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。本发明专利技术通过根据图像信息确定行为人的行为信息，并进一步确定行为信息中特定行为所占的比例，进而对行为人的行为信息进行标记提示，实现了高效的行为识别分析。

Behavior recognition analysis method and system, computer readable storage medium

【技术实现步骤摘要】
行为识别分析方法和系统、计算机可读存储介质
本专利技术涉及行为识别
，具体而言，涉及一种行为识别分析方法、一种行为识别分析系统和一种计算机可读存储介质。
技术介绍
在相关技术中，为了提高课堂教学质量，有必要对课堂中学生的投入度进行把控，从而使教师可以根据学生的投入度有针对性的调整教学方式和教学速度，最终达到提高课堂效率的目的。而如何掌握课堂中学生的投入度，是当前亟待解决的技术问题。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术的第一方面提出一种行为识别分析方法。本专利技术的第二方面提出一种行为识别分析系统。本专利技术的第三方面提出一种计算机可读存储介质。有鉴于此，本专利技术的第一方面提供了一种行为识别分析方法，包括：获取视频信息，将视频信息转换为连续的帧图像；提取帧图像中任一帧图像的图像信息，并通过预设算法确定图像信息中行为人的特征信息；通过GCN算法对图像信息中的特征信息进行分析，以得到行为人的行为信息，并确定行为信息中目标行为信息所占的比例；若目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。在该技术方案中，将视频信息转换为连续的帧图像，并提取帧图像的图像信息。根据图像信息获取图像信息内包含的行为人的行为信息，并根据行为信息中目标行为信息所占的比例判断行为人对目标行为的投入度是否过低，当目标行为信息的比例低于目标行为信息阈值时，则判断行为人投入度过低，相预设终端发送对应的提示信息。具体地，以应用场景为教室，行为人为学生为例，通过教室内设置的摄像头录制教室内学生上课时的视频，并将视频转换为图像信息。通过机械学习训练的神经网络算法提取图片信息中，每个学生的特征信息，并将特征信息输入到GCN(GraphConvolutionalNetwork，图卷积神经网络)算法中，通过算法得到学生的行为信息，GCN算法还可根据每种行为信息的特征信息对其进行分类，得到多种行为模型，并计算每个学生在课堂上每种行为所占的时间比例，进而确定每个学生的学习专注度。如果学生的学习专注度较低，则向教师终端发出对应的提示信息，帮助教师针对学生专注度下降的情况指定教学计划，有针对性的调整教学方式和教学速度，最终达到提高课堂效率的目的。其中，目标行为可以包括看书、看黑板、书写笔记等，非目标行为可以包括伏案睡觉、玩手机、溜号(长时间看向课本、黑板之外的地方)等。通过分析目标行为在总行为中所占的比例，即可准确得到学生在课堂上的投入度。本专利技术通过根据图像信息确定行为人的行为信息，并进一步确定行为信息中特定行为所占的比例，进而对行为人的行为信息进行标记提示，实现了高效的行为识别分析。另外，本专利技术提供的上述技术方案中的识别分析方法还可以具有如下附加技术特征：在上述技术方案中，预设算法包括yolov3算法和hourglass算法，特征信息包括人脸信息、位置信息和骨骼数据；通过预设算法确定图像信息中行为人的特征信息的步骤，具体包括：通过yolov3算法确定图像信息中行为人的人脸信息和位置信息；通过hourglass算法确定行为人的第一骨骼数据。在该技术方案中，预设算法包括yolov3(一种目标检测算法)算法和hourglass算法，其中，利用yolov3对图像进行目标检测，检测得到各个学生的深层次的特征信息，如人脸信息，以及每个学生在图片中的位置，然后利用hourglass算法一种卷积神经网络的网络结构)的卷积神经网络提取每个学生的第一骨骼数据，结合学生的特征信息和第一骨骼数据对每个学生的行为进行分类，进而得到该学生的行为信息。在上述任一技术方案中，通过GCN算法对图像信息中的特征信息进行分析的步骤，具体包括：根据位置信息和人脸信息生成身份信息，并通过身份信息标记对应的行为人；将行为人对应的第一骨骼数据输入至GCN算法，以得到行为人的个人行为信息；获取与任一帧图像相邻的相邻帧图像，并确定每一个行为人在相邻帧图像中的第二骨骼数据；将第二骨骼数据输入至GCN算法，以得到全部行为人之间的交互行为信息。在该技术方案中，通过GCN算法对单帧图像进行分析，可以得到每个行为人的个人行为信息。通过检测每个行为人(学生)的个人行为信息，可有效地获取到不同行为人的个性数据，进而有利于针对不同的行为人特点指定不同的应对方案，如针对不同的学生分别指定不同的教学方案，可有效地提高通过行为分析改善教学质量的效率。而对于复数行为人之间的交互行为，本专利技术通过hourglass在原图像上进一步提取每一个学生的骨骼。然后将当前图像中的骨骼图与其他相邻帧的骨骼图一起输入到GCN当中，利用GCN对连续图像的骨骼数据进行计算，以预测多个学生之间的交互行为，最终输出全部行为人(学生)之间的交互行为信息。具体地，以教室场景为例，通过获取的教室图像信息提取每个学生的骨骼数据，并确定学生之间的交互行为，进而通过交互行为对教室内全部学生群体的集体目标行为进行识别。其中，通过交互行为确定的集体行为大致可以分为：课业相关类和与课业无关类。与课业相关的交互行为可以包括：讨论课题、相互请教、借用或共用书籍笔记等，与课业无关的交互行为可以包括：交头接耳、相互打闹等。通过集体目标行为信息所占的比例，可以对课堂中全部出席学生的整体投入度进行准确分析，有利于制定或修改整体教学计划。在上述任一技术方案中，若个人目标行为信息所占的比例低于第一目标行为信息阈值，和/或集体目标行为信息所占的比例低于第二目标行为信息阈值，确定目标行为信息比例低于目标行为信息阈值。在该技术方案中，当某个行为人的个人目标行为信息所占的比例低于第一目标行为信息阈值，即某个行为人自身投入度较低，和/或行为人群体的集体目标行为信息比例，即行为人群体投入度较低时，认定符合目标行为信息比例低于目标行为信息阈值，向目标终端发出提示信息进行。具体地，当发现教室内某个学生的投入度较低，和/或该教室内学生的整体投入度较低时，向任课教师和主任教师持有的终端发出提示信息，提示任课教师或主任教师针对个别学生，或针对学生整体该进教学内容，或做出纪律管理。在上述任一技术方案中，向预设终端发送提示信息的步骤，具体包括：根据身份信息确定与身份信息对应的目标终端；向目标终端发送身份信息和身份信息对应的提示信息。在该技术方案中，若某行为人的参与度较低，则根据该行为人的身份信息确定与该行为人相关的目标终端，向目标终端发送与该行为人身份信息对应的提示信息，以实现精准提示。具体地，以教室中某学生的课堂参与度较低为例，首先确认该学生的身份信息(如姓名、班级、学号等)，并确定该学生对应的目标终端(家长手机、负责办主任的终端)，将该学生的身份信息和参与度数据进行整合，得到与身份信息对应的提示信息(如学生XX，于课堂YY中出现参与度下降的问题)，并发送至家长和负责教师的终端，便于家长和教师掌握学生状态，并针对学生状态指定有针对性的教学方案。本专利技术第二方面提供了一种行为识别分析系统，获取单元，用于获取视频信息，将视频信本文档来自技高网...

【技术保护点】
1.一种行为识别分析方法，其特征在于，包括：/n获取视频信息，将所述视频信息转换为连续的帧图像；/n提取所述帧图像中任一帧图像的图像信息，并通过预设算法确定所述图像信息中行为人的特征信息；/n通过GCN算法对所述图像信息中的特征信息进行分析，以得到所述行为人的行为信息，并确定所述行为信息中目标行为信息所占的比例；/n若所述目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。/n

【技术特征摘要】
1.一种行为识别分析方法，其特征在于，包括：
获取视频信息，将所述视频信息转换为连续的帧图像；
提取所述帧图像中任一帧图像的图像信息，并通过预设算法确定所述图像信息中行为人的特征信息；
通过GCN算法对所述图像信息中的特征信息进行分析，以得到所述行为人的行为信息，并确定所述行为信息中目标行为信息所占的比例；
若所述目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。


2.根据权利要求1所述的行为识别分析方法，其特征在于，所述预设算法包括yolov3算法和hourglass算法，所述特征信息包括人脸信息、位置信息和骨骼数据；
所述通过预设算法确定所述图像信息中行为人的特征信息的步骤，具体包括：
通过所述yolov3算法确定所述图像信息中所述行为人的人脸信息和位置信息；
通过所述hourglass算法确定所述行为人的第一骨骼数据。


3.根据权利要求2所述的行为识别分析方法，其特征在于，所述通过GCN算法对所述图像信息中的特征信息进行分析的步骤，具体包括：
根据所述位置信息和所述人脸信息生成身份信息，并通过所述身份信息标记对应的所述行为人；
将所述行为人对应的第一骨骼数据输入至所述GCN算法，以得到所述行为人的个人行为信息；
获取与所述任一帧图像相邻的相邻帧图像，并确定每一个所述行为人在所述相邻帧图像中的第二骨骼数据；
将所述第二骨骼数据输入至所述GCN算法，以得到全部所述行为人之间的交互行为信息。


4.根据权利要求3所述的行为识别分析方法，其特征在于，若所述个人目标行为信息所占的比例低于第一目标行为信息阈值，和/或所述集体目标行为信息所占的比例低于第二目标行为信息阈值，确定所述目标行为信息比例低于目标行为信息阈值。


5.根据权利要求3或4所述的行为识别分析方法，其特征在于，所述向预设终端发送提示信息的步骤，具体包括：
根据所述身份信息确定与所述身份信息对应的目标终端；
向所述目标终端发送所述身份信息和所述身份信息对应的所述提示信息。


6...

【专利技术属性】
技术研发人员：庞博，欧阳一村，
申请(专利权)人：深圳中兴网信科技有限公司，
类型：发明
国别省市：广东;44