一种讲话状态识别方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种讲话状态识别方法、装置、存储介质及终端，所述方法包括：获取目标人体在连续时刻的多个视频图像帧；将所述连续时刻的多个视频图像帧输入初始化后的人脸检测器中生成多个人脸图像；提取所述多个人脸图像中的嘴巴区域数据；将所述嘴巴区域数据输入预先创建的嘴巴状态判别函数模型中，生成嘴巴区域的变化特征值；基于所述变化特征值识别讲话状态。因此，采用本申请实施例，能够通过分析视频文件自动判断视频中的目标人物是否在讲话，从而解决了在大量教学视频资源中自动提取关键点信息数据这一大难题，提高了数据处理的自动化程度和效率。

【技术实现步骤摘要】
一种讲话状态识别方法、装置、存储介质及终端
本专利技术涉及图像识别
，特别涉及一种讲话状态识别方法、装置、存储介质及终端。
技术介绍
随着教育信息化2.0时代的到来，在课堂上利用人工智能、大数据分析等新兴技术将会驱动教学效率，进而提升教学质量。例如很多教育录播厂商都提出了基于AI分析的贯穿于教、学、研的综合教学评价系统，通过实现深度的数据挖掘与模型构建并经过多维度数据关联后，将课程背后真正反映教学意义的数据信息呈现出来，帮助学校构建数据驱动教学的生态圈。目前厂商提供的综合教学评价系统在上课期间会录制大量的关于老师、学生、PPT以及板书等视频文件，为了更加高效的建立多维度数据关联，需要提取一些关键点信息，比如客户更关注在教师讲课期间学生的专注度、活跃度，参与度等学生行为信息，或者通过分析老师讲话的频率来分析教师的讲课类型如：讲授型、互动型等。目前在提取关键点信息时人们通过采集、存储对应的音频信号，然后手动提取教师讲话的时间点。由于这种关键点信息提取方式需要大量人力、物力和财力，那如何自动高效提取教师上课期间讲话的关键点成为一个值得关注的重要话题。
技术实现思路
本申请实施例提供了一种讲话状态识别方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本申请实施例提供了一种讲话状态识别方法，所述方法包括：获取目标人体在连续时刻的多个视频图像帧；将所述连续时刻的多个视频图像帧输入初始化后的人脸检测器中生成多个人脸图像；提取所述多个人脸图像中的嘴巴区域数据；将所述嘴巴区域数据输入预先创建的嘴巴状态判别函数模型中，生成嘴巴区域的变化特征值；基于所述变化特征值识别讲话状态。可选的，所述获取连续时刻的多个视频图像帧之前，还包括：接收人脸检测器初始化指令，初始化人脸检测器。可选的，所述接收人脸检测器初始化指令，初始化人脸检测器之前，还包括：采集连续时刻的多个人脸图像中的嘴巴区域；获取所述嘴巴区域的嘴唇位置坐标点；基于所述嘴唇位置坐标点计算嘴唇内外区域面积以及其变化规律；根据所述嘴唇内外区域面积以及其变化规律创建嘴巴状态判别函数模型。可选的，所述基于所述变化特征值识别讲话状态，包括：当所述变化特征值在预设区间阈值内时，确定为讲话状态。可选的，所述根据所述嘴唇内外区域面积以及其变化规律创建嘴巴状态判别函数模型，包括：采用支持向量机对所述嘴唇内外区域面积以及其变化规律训练，生成训练后的数据参数；采用训练后的数据参数创建嘴巴状态判别函数模型。第二方面，本申请实施例提供了一种讲话状态识别装置，所述装置包括：图像帧获取模块，用于获取目标人体在连续时刻的多个视频图像帧；人脸图像生成模块，用于将所述连续时刻的多个视频图像帧输入初始化后的人脸检测器中生成多个人脸图像；嘴巴区域数据提取模块，用于提取所述多个人脸图像中的嘴巴区域数据；变化特征值生成模块，用于将所述嘴巴区域数据输入预先创建的嘴巴状态判别函数模型中，生成嘴巴区域的变化特征值；讲话状态识别模块，用于基于所述变化特征值识别讲话状态。第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。本申请实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，用户终端首先获取目标人体在连续时刻的多个视频图像帧，再将所述连续时刻的多个视频图像帧输入初始化后的人脸检测器中生成多个人脸图像，然后提取所述多个人脸图像中的嘴巴区域数据，再将所述嘴巴区域数据输入预先创建的嘴巴状态判别函数模型中，生成嘴巴区域的变化特征值，最后基于所述变化特征值识别讲话状态。由于本申请通过利用嘴巴状态判别函数模型生成目标人体嘴巴的变化特征值，根据变化特征值描述嘴巴区域的嘴唇变化特征，从而解决了在大量教学视频资源中自动提取关键点信息数据这一大难题，提高了数据处理的自动化程度和效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是本申请实施例提供的一种讲话状态识别方法的流程示意图；图2是本申请实施例提供的一种讲话识别系统示例图；图3是本申请实施例提供的一种讲话识别详细流程图；图4是本申请实施例提供的另一种讲话状态识别方法的流程示意图；图5是本申请实施例提供的一种讲话状态识别装置的装置示意图；图6是本申请实施例提供的一种终端的结构示意图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此外，在本专利技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。到目前为止，对于讲话状态识别，目前厂商提供的综合教学评价系统在上课期间会录制大量的关于老师、学生、PPT以及板书等视频文件，为了更加高效的建立多维度数据关联，需要提取一些关键点信息，比如客户更关注在教师讲课期间学生的专注度、活跃度，参与度等学生行为信息，或者通过分析老师讲话的频率来分析教师的讲课类型如：讲授型、互动型等。目前在提取关键点信息时人们通过采集、存储对应的音频信号，然后手动提取教师讲话的时间点。由于这种关键点信息提取方式需要大量人力、物力和财力，那如何自动高效提取教师上课期间讲话的关键点成为一个值得关注的重要话题。为此，本申请提供了一种讲话状态识别方法本文档来自技高网...

【技术保护点】
1.一种讲话状态识别方法，其特征在于，所述方法包括：/n获取目标人体在连续时刻的多个视频图像帧；/n将所述连续时刻的多个视频图像帧输入初始化后的人脸检测器中生成多个人脸图像；/n提取所述多个人脸图像中的嘴巴区域数据；/n将所述嘴巴区域数据输入预先创建的嘴巴状态判别函数模型中，生成嘴巴区域的变化特征值；/n基于所述变化特征值识别讲话状态。/n

【技术特征摘要】
1.一种讲话状态识别方法，其特征在于，所述方法包括：
获取目标人体在连续时刻的多个视频图像帧；
将所述连续时刻的多个视频图像帧输入初始化后的人脸检测器中生成多个人脸图像；
提取所述多个人脸图像中的嘴巴区域数据；
将所述嘴巴区域数据输入预先创建的嘴巴状态判别函数模型中，生成嘴巴区域的变化特征值；
基于所述变化特征值识别讲话状态。


2.根据权利要求1所述的方法，其特征在于，所述获取连续时刻的多个视频图像帧之前，还包括：
接收人脸检测器初始化指令，初始化人脸检测器。


3.根据权利要求1或2所述的方法，其特征在于，所述接收人脸检测器初始化指令，初始化人脸检测器之前，还包括：
采集连续时刻的多个人脸图像中的嘴巴区域；
获取所述嘴巴区域的嘴唇位置坐标点；
基于所述嘴唇位置坐标点计算嘴唇内外区域面积以及其变化规律；
根据所述嘴唇内外区域面积以及其变化规律创建嘴巴状态判别函数模型。


4.根据权利要求1所述的方法，其特征在于，所述基于所述变化特征值识别讲话状态，包括：
当所述变化特征值在预设区间阈值内时，确定为讲话状态。


5.根据权利要求3所述的方法，其特征在于，所述根据所述嘴唇内外区域面积以及其变化规律创建嘴巴状态判别函数模型，包括：
采用支持向量机对所述嘴唇内外区域面积以及其变化规律训练，生成训练后的数据参数；
采用训练后的数据参数创建嘴巴状态判别函数模型。


6.一种讲话状态识别...

【专利技术属性】
技术研发人员：王宁，苗鱼，骆新，赵玺，
申请(专利权)人：北京中广上洋科技股份有限公司，
类型：发明
国别省市：北京;11