一种基于视频AI多维分析方法及系统技术方案

本发明专利技术公开了一种基于视频AI多维分析方法及系统，包括以下步骤：采集教学视频并进行预处理，将所述教学视频的视频流与语音分别提取待处理；基于目标检测算法进行目标检测，获取所述教学视频中所有的目标对象；基于姿态评估算法进行所述目标对象的姿态分析；采用训练的全连接神经网络进行动作识别，并根据S

【技术实现步骤摘要】
一种基于视频AI多维分析方法及系统


[0001]本专利技术具体涉及视频分析
，具体是一种基于视频AI多维分析方法及系统。

技术介绍

[0002]随着教育信息化2.0时代的到来，将课程背后真正反映教学意义的数据信息呈现出来，可以帮助学校构建数据驱动教学的生态圈。
[0003]在现有技术中，很多教育录播厂商在上课期间会录制大量的关于老师、学生、PPT以及板书等视频文件，以根据视频文件了解在教师讲课期间学生的专注度、活跃度，参与度等学生行为信息，或者通过观察老师讲话的频率来分析教师的讲课类型，如讲授型、互动型等。然而，这种通过人工分析方式进行评估，费时费力。

技术实现思路

[0004]本专利技术的目的在于提供一种基于视频AI多维分析方法及系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于视频AI多维分析方法，包括以下步骤：
[0007]S10、采集教学视频并进行预处理，将所述教学视频的视频流与语音分别提取待处理，其中，所述教学视频包括离线教学视频和实时视频流；
[0008]S20、基于目标检测算法进行目标检测，获取所述教学视频中所有的目标对象，并确定目标对象的位置以及类型；
[0009]S30、基于姿态评估算法进行所述目标对象的姿态分析，通过关键点的相对位置提取特征，分析出所述目标对象的动作；
[0010]S40、采用训练的全连接神经网络进行动作识别，并根据S
‑
>T算法对所述目标对象的行为统计，得到教学评估的分析结果。
[0011]作为本专利技术进一步的方案：步骤S10中，所述采集教学视频并进行预处理，包括以下步骤：
[0012]S11、访问数据库获取待分析的教学视频地址；
[0013]S12、根据所述教学视频地址从流媒体服务器中获取教学视频，并进行视频流与语音分别提取待处理；
[0014]S13将视频流按照固定时间间隔提取frame，并将frame转换为(1,3,h,w)，其中，h*w为视频的分辨率；
[0015]S14、将frame按照COLOR_BGR2RGB的方式进行颜色空间转换，并按照BatchSize将集合多个frame，放入目标检测任务队列。
[0016]作为本专利技术再进一步的方案：基于目标检测算法进行目标检测时，采用CNN卷积神经网络作为特征提取器，获取图像中所有的目标对象，确定所述目标对象的位置以及类型，
其中，所述目标对象包含所述教学视频中的学生和老师。
[0017]作为本专利技术再进一步的方案：步骤S20中，基于目标检测算法进行目标检测时，包括以下步骤：
[0018]S21、将输入的教学视频的图像划分为S*S的网格，判断目标对象的中心是否落入网格单元中，若是则该网格单元负责检测所述目标对象；
[0019]S22、基于每个网格单元预测单个网格预测的box数量，其中，每个box用于预测位置坐标、预测confidence值以及预测C个类别的分数。
[0020]作为本专利技术再进一步的方案：根据S
‑
T算法对所述目标对象的行为统计，所述S
‑
T算法包含对教师行为T和学生行为S共2个维度的定量统计和定性评价，其中，所述老师行为T包含授课、板书、互动、演示以及巡视，所述学生行为S包含起立发言、记笔记、举手、讨论、低头、趴桌子以及说话。
[0021]作为本专利技术再进一步的方案：根据S
‑
T算法对所述目标对象的行为统计，包括以下步骤：
[0022]步骤一、将上课视频实时录播并传输至流媒体服务器，任务发布至AI分析队列，按照预设时间间隔对视频内容进行离线分析，其中，离线分析包含目标类型、动作类型、动作数量以及对应时间，构成S
‑
T时序列数据；
[0023]步骤二、描绘S
‑
T图，其中，S
‑
T图的原点为教学起始时间；将实测的S、T数据顺序的在S/T轴上予以表示，直到教学结束；
[0024]步骤三、教学模式类型分析，通过绘制RT
‑
CH图分析老师的教学类型，包含练习型、混合型、对话型以及讲授型。
[0025]一种基于视频AI多维分析系统，包括所述数据采集模块、视频分析模块与行为统计模块，所述数据采集模块与所述视频分析模块连接，所述视频分析模块与行为统计模块连接，其中：
[0026]数据采集模块，用于采集教学视频并进行预处理，将所述教学视频的视频流与语音分别提取待处理，其中，所述教学视频包括离线教学视频和实时视频流；
[0027]视频分析模块，用于根据视频流与语音分别提取待处理的视频取帧及图像处理结果进行目标检测、姿态评估、动作识别以及统计分析；
[0028]行为统计模块，用于根据S
‑
T算法对所述目标对象的行为统计，通过S
‑
T时序数据得到S
‑
T图和RT
‑
CH图，得到教学评估的分析结果并接入智慧校园，用于教师考核、教学管理以及教学评估。
[0029]作为本专利技术再进一步的方案：所述视频分析模块包括目标检测单元、姿态评估单元和动作识别单元，所述目标检测单元与姿态评估单元连接，所述姿态评估单元和动作识别单元连接，其中：
[0030]目标检测单元，用于基于目标检测算法进行目标检测，获取所述教学视频中所有的目标对象，并确定目标对象的位置以及类型；
[0031]姿态评估单元，用于基于姿态评估算法进行所述目标对象的姿态分析，通过关键点的相对位置提取特征，分析出所述目标对象的动作；
[0032]动作识别单元，用于采用训练的全连接神经网络进行动作识别。
[0033]与现有技术相比，本专利技术的有益效果是：本专利技术通过采集教学视频并进行预处理，
将所述教学视频的视频流与语音分别提取待处理，根据S
‑
T算法对所述目标对象的行为统计，得到教学评估的分析结果，从而对师生的上课状态进行评估，有效提高教学质量。
附图说明
[0034]图1为基于视频AI多维分析方法的流程图。
[0035]图2为基于视频AI多维分析方法中步骤S10的流程图。
[0036]图3为基于视频AI多维分析方法中步骤S20的流程图。
[0037]图4为基于视频AI多维分析方法中根据S
‑
T算法对所述目标对象的行为统计的流程图。
[0038]图5为基于视频AI多维分析系统的结构框图。
具体实施方式
[0039]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频AI多维分析方法，其特征在于，包括以下步骤：S10、采集教学视频并进行预处理，将所述教学视频的视频流与语音分别提取待处理，其中，所述教学视频包括离线教学视频和实时视频流；S20、基于目标检测算法进行目标检测，获取所述教学视频中所有的目标对象，并确定目标对象的位置以及类型；S30、基于姿态评估算法进行所述目标对象的姿态分析，通过关键点的相对位置提取特征，分析出所述目标对象的动作；S40、采用训练的全连接神经网络进行动作识别，并根据S
‑
T算法对所述目标对象的行为统计，得到教学评估的分析结果。2.根据权利要求1所述的基于视频AI多维分析方法，其特征在于，步骤S10中，所述采集教学视频并进行预处理，包括以下步骤：S11、访问数据库获取待分析的教学视频地址；S12、根据所述教学视频地址从流媒体服务器中获取教学视频，并进行视频流与语音分别提取待处理；S13将视频流按照固定时间间隔提取frame，并将frame转换为(1,3,h,w)，其中，h*w为视频的分辨率；S14、将frame按照COLOR_BGR2RGB的方式进行颜色空间转换，并按照BatchSize将集合多个frame，放入目标检测任务队列。3.根据权利要求2所述的基于视频AI多维分析方法，其特征在于，基于目标检测算法进行目标检测时，采用CNN卷积神经网络作为特征提取器，获取图像中所有的目标对象，确定所述目标对象的位置以及类型，其中，所述目标对象包含所述教学视频中的学生和老师。4.根据权利要求3所述的基于视频AI多维分析方法，其特征在于，步骤S20中，基于目标检测算法进行目标检测时，包括以下步骤：S21、将输入的教学视频的图像划分为S*S的网格，判断目标对象的中心是否落入网格单元中，若是则该网格单元负责检测所述目标对象；S22、基于每个网格单元预测单个网格预测的box数量，其中，每个box用于预测位置坐标、预测confidence值以及预测C个类别的分数。5.根据权利要求4所述的基于视频AI多维分析方法，其特征在于，根据S
‑
T算法对所述目标对象的行为统计，所述S
‑
T算法包含对教师行为T和学生行为S共2个维度的定量统计和定性评价，其中，所述老师行为T包含授课、板书、互动、演示以及巡视，所述学生行为S包含起立发言、记笔记、举手、讨论、低头、趴桌子以及说...

【专利技术属性】
技术研发人员：许教文，刘展华，戴鹏，许小明，刘亮，曾强，
申请(专利权)人：深圳市华睿信息技术有限公司，
类型：发明
国别省市：