数据处理方法、存储介质和电子设备技术

公开了一种数据处理方法、存储介质和电子设备。本发明专利技术实施例的技术方案根据从记录的视频数据和对应的音频数据中分别提取第一结构化信息和第二结构化数据,从而可以从图像和语音两个维度获取教学者的状态，并基于提取获得的上述状态通过分类评估模型来对在线教学的情况进行评估获取评估参数。由此，可以快速地处理对海量的在线教学的视频和音频数据进行较为客观、准确的评估处理。

【技术实现步骤摘要】
数据处理方法、存储介质和电子设备
本专利技术涉及数据处理和机器学习技术，具体涉及一种数据处理方法、存储介质和电子设备，更具体地，涉及基于视频数据和音频数据对在线教学状态进行评估的方法和相关装置。
技术介绍
随着互联网技术的发展，基于网络的在线教学得到越来越广泛的应用。知识服务者或知识分享者(也可称为教学者)可以通过网络与学习者进行实时的交流和沟通。为了对于在线教学的讲解情况进行了解和评估，通常需要依赖于基于人工进行录像回看或进行在线监督。但是，如果在线课堂的数量比较大，则会涉及大量的音视频数据，采用人工方式会消耗大量的人力资源，甚至根本无法完成。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法、存储介质和电子设备，以自动化地对于在线录制的音频数据进行处理，对在线教学的情况进行较为准确的自动化评估。根据本专利技术实施例的第一方面，提供一种数据处理方法，其中，所述方法包括：从视频数据中提取第一结构化信息，所述视频数据为在线教学过程中录制的教学者视频，所述第一结构化信息包括视频数据中的人脸信息和/或动作信息；从所述视频数据对应的音频数据中提取第二结构化信息，所述第二结构化数据包括音频数据中的语音识别信息；根据所述第一结构化信息、所述第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数。根据本专利技术实施例的第二方面，提供一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。根据本专利技术实施例的第三方面，提供一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。本专利技术实施例的技术方案根据从记录的视频数据和对应的音频数据中分别提取第一结构化信息和第二结构化数据以从图像和语音两个维度获取教学者的状态，并基于提取获得的上述状态通过分类评估模型来对在线教学的情况进行评估获取评估参数。由此，可以快速地对海量的在线教学视频数据和音频数据进行较为客观、准确的评估处理。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是本专利技术实施例的数据处理方法所适用的在线教学系统的示意图；图2是本专利技术实施例的在线教学系统的客户端应用的界面示意图；图3是本专利技术实施例的数据处理方法的流程图；图4是本专利技术实施例的方法获取评价参数的流程图；图5是本专利技术另一个实施例的数据处理方法的数据流向图；图6是本专利技术实施例结合课件操作数据提取第一结构化信息的流程图；图7是本专利技术实施例结合课件操作数据提取第二结构化信息的流程图；图8是本专利技术实施例的电子设备的示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。本专利技术的数据处理方法适用于基于预定的课件进行在线音视频教学的场景。图1是本专利技术实施例的数据处理方法所适用的在线教学系统的示意图。如图1所示，所述在线教学系统包括第一客户端1、第二客户端2和服务器3。其中，第一客户端1、第二客户端2和服务器3通过网络通信连接。第一客户端1和第二客户端2可以直接或通过服务器3间接地建立通信连接后实时通信进行在线教学的活动。第一客户端1可以由教学者操作。第二客户端2可以由学习者操作。同时，服务器3同时与第一客户端1和第二客户端2形成通信连接，对两者之间交互的数据进行存储。第一客户端1和第二客户端2可以访问服务器3获取课件数据进行展示，从而实现基于课件的在线教学。在本实施例使用的在线教学系统中，第一客户端1和第二客户端2展示的课件内容同步变化，使得教学者和学习者可以同步地，基于课件的相同部分进行交流。应理解，第一客户端1和第二客户端2可以为任何运行有预定计算机应用程序的通用数据处理设备，例如台式计算机、便携式计算机、平板计算机、智能手机等。服务器3为用于运行预定计算机应用程序的高性能数据处理设备，其可以是一台服务器，也可以是分布式部署的服务器集群，还可以是以虚拟机或容器方式部署的虚拟服务器集群。应理解，在本专利技术实施例的在线教学系统中，大量的第一客户端1以一对一、一对多、或多对多的方式与第二客户端2建立通信连接进行通信。图2是本专利技术实施例的在线教学系统的客户端应用的界面示意图。如图2所示，本实施例的客户端应用可以在应用界面的主窗口21显示课件，并在应用界面的子窗口22显示对方的图像采集装置采集的实时图像。通常，在应用界面的子窗口22中显示的对方的上半身的视频。由此，通信的双方可以同时看到课件和对方的状态。同时，在主窗口中显示的课件内容受控于教学者一端的操作进行切换或者显示轨迹。具体地，教学者在第一客户端1上可以在课件上进行页面切换(也即，翻页)或对课件的内容进行轨迹操作。所述轨迹操作是指在课件上通过轨迹标识内容或绘制图像。例如，教学者可以通过线或者圆圈来突出标识课件的某些内容，也可以通过手写或鼠标操作通过轨迹绘制图形或文字。服务器3可以记录教学过程中教学者在第一客户端1上所施加的所有的课件操作(包括页面切换操作和轨迹操作)。服务器3还可以记录教学者在整个教学过程中的音频数据以及学习者在教学过程中的音频数据。所述音频数据包括对应的语音信息。本实施例的方法通过对服务器3记录的视频数据和音频数据进行处理，以自动化地评估教学过程的情况。如上所述，在在线教学的过程中，学习者主要从三个维度来获取信息，一方面是课件上的内容，另一方面是教学者进行讲解的语音信息，第三个方面是教学者的视频。通过视频可以使得学习者具有面对面交流的体验。一方面，对于语言学习或音乐学习的场景，学习者可以通过视频中教学者的口型学习发音的技巧。另一个方面，在各种教学场景下，教学者的面部(人脸)表情以及动作可以向学习者传达语音无法传达的信息，而且可以带动教学的气氛，提升教学质量。从提高教学质量和学习者满意度的角度，期望教学者在教学过程中能恰当地运用表情和动作来调节教学氛围以及增强沟通效果。同时，期望教学者的面部始终位于视频中，处于学习者可视的状态。图3是本专利技术实施例的数据处理方法的流程图。如图3所示，本实施例的数据处理方法包括如下步骤：在步骤S100，从视频数据中提取第一结构化信息。其中，所述视频数据为在线教学过程中录制的教学者视频。所述第一结构化信息包括视频数据中的人脸信息和/或动作信息。视频数据可以看作图像的时间序列。通过对每一帧图像或某些关键帧图像进行识别处理可以识别得到图像中本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：从视频数据中提取第一结构化信息，所述视频数据为在线教学过程中录制的教学者视频，所述第一结构化信息包括视频数据中的人脸信息和/或动作信息；从所述视频数据对应的音频数据中提取第二结构化信息，所述第二结构化数据包括音频数据中的语音识别信息；根据所述第一结构化信息、所述第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：从视频数据中提取第一结构化信息，所述视频数据为在线教学过程中录制的教学者视频，所述第一结构化信息包括视频数据中的人脸信息和/或动作信息；从所述视频数据对应的音频数据中提取第二结构化信息，所述第二结构化数据包括音频数据中的语音识别信息；根据所述第一结构化信息、所述第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数。2.根据权利要求1所述的数据处理方法，其特征在于，所述人脸信息包括人脸位置信息、表征检测到人脸的信息和人脸表情分类信息中的至少一项。3.根据权利要求1所述的数据处理方法，其特征在于，所述动作信息包括手的轨迹信息。4.根据权利要求1所述的数据处理方法，其特征在于，所述语音识别信息包括语音时长信息、语音信息对应的文本信息和对话次数信息中的至少一项。5.根据权利要求1所述的数据处理方法，其特征在于，所述从视频数据中提取第一结构化信息包括：结合课件操作数据从视频数据中提取所述第一结构化信息；其中，课件操作数据包括课件的操作记录。6.根据权利要求5所述的数据处理方法，其特征在于，所述结合课件操作数据从视频数据中提取所述第一结构化信息包括：根据课件操作数据将时间轴划分为多个课件操作区块；根据划分获得的课件操作区块从所述视频数据的对应部分中提取对应的第一相关信息；其中，所述第一相关信息包括所述视频数据的对应部分中的人脸信息和/或动作信息；根据各课件操作区块的所述第一相关信息获取所述第一结构化信息。7.根据权利要求1所述的数据处理方法，其特征在于，所述从所述视频数据对应的音频数据中提取第二结构化信息包括：结合课件操作数据从所述音频数据中提取所述第二结构化信息；其中，课件操作数据包括课件的操作记录。8.根据权利要求7所述的数据处理...

【专利技术属性】
技术研发人员：王正博，沈亮，张保福，张连杰，赵明明，
申请(专利权)人：北京大米科技有限公司，
类型：发明
国别省市：北京,11