基于视频教学的交互方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于视频教学的交互方法、装置、设备及存储介质，涉及图像通信技术领域，用以解决视频教学过程中的视频画面不能满足用户学习的问题。应用于服务端的方法包括：基于目标视频标识获取与目标视频对应的动作序列数据；基于视频处理参数处理与目标视频对应的动作序列数据以得到目标动作序列数据；以及将目标动作序列数据发送给发出所述视频请求的客户端；或者基于目标动作序列数据驱动虚拟数字人以生成虚拟数字人动作视频，将虚拟数字人动作视频作为被请求视频发送给发出所述视频请求的客户端。本发明专利技术公开的实施例能够通过在视频教学过程中与用户的互动对教学视频进行处理，解决了学习用户无法看清教学内容的问题。问题。问题。

【技术实现步骤摘要】
基于视频教学的交互方法、装置、设备及存储介质


[0001]本专利技术涉及图像通信
，尤其涉及一种基于视频教学的交互方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，人们通过网络学习各种各样的知识变得越来越便利，并且，随着基于各类不同平台的应用（APP）的兴起以及视频技术的发展，通过视频传授或学习知识成为越来越普遍的一种教学方式。例如，内容提供用户录制各种教学视频上传到某些平台，利用平台资源推送给学习用户，学习用户可以通过观看教学视频学习相关知识。所述教学视频内容例如为面向学生的各个学科内容，或者面向普通公众的厨艺、园艺、舞蹈、书法、针织、乐器演奏等等。
[0003]对于向学习者传授特定动作的教学视频，例如编织教学视频、舞蹈教学视频、书法教学视频、乐器的弹奏教学视频等等，内容提供用户通常采用一定的视频录制方法向学习者展示要学习的动作。以舞蹈为例，舞蹈教学视频中通常首先提供舞蹈演示者的正面跳舞教学演示，而后再一边演示动作，一边讲解。有些舞蹈教学视频中，为了方便学习者能够观看到舞蹈演示者正面视角之外的身体部位的动作，通常会辅助镜子，在正面视角演示舞蹈动作的同时也能够从背面视角演示舞蹈动作，从而帮助学习者正确地掌握动作要领。在另外一些舞蹈教学视频中，还会包括舞蹈演示者对舞蹈动作的分组演示和讲解。同理，对于其他内容的教学视频，也有类似的内容，如小提琴演奏时的指法、位置等等。
[0004]随着终端技术和互联网应用技术的发展，越来越多的平台采用终端，尤其是移动终端，作为应用（APP）的载体，因而前述的教学视频的主要载体也是移动终端，由于移动终端的普及性及便携性，为学习者观看教学视频、学习特定动作提供了便利条件，降低了学习门槛，以舞蹈为例，舞蹈爱好者除了选择进入专业的舞蹈班，在现场跟着舞蹈老师学习，也可以利用手机、平板电脑等跟着舞蹈教学视频学习。
[0005]然而，学习者通过平台使用这类教学视频学习时时常会遇到一些不便，例如，由于终端屏幕过小，导致学习者看不清楚教学视频中展示的内容。当然，用些平台会提供画面放大功能，然而，所述的画面放大功能仅仅是对视频画面的整体进行放大，而对于学习者而言，这种放大并不能针对学习者想要放大部位进行放大，甚至于在画面整体放大后使学习希望放大的部位超出了当前画面，另外，由于角度问题造成的不清楚问题，即使进行了画面放大也不能解决。从而可见，为了向学习用户提供更好的服务，目前的这类平台及应用还存在着改进之处。

技术实现思路

[0006]有鉴于此，本专利技术实施例提供一种基于视频教学的交互方法、装置、电子设备及存储介质，用以解决视频教学过程中的视频画面不能满足用户学习的技术问题。
[0007]第一方面，本专利技术实施例提供了一种基于视频教学的交互方法，应用于服务端，在
目标视频播放过程接收到来自客户端的视频请求时，包括：从所述视频请求中获取目标视频标识及视频处理参数；基于目标视频标识获取与目标视频对应的动作序列数据，其中，所述动作序列数据包括按视频帧顺序组成的动作数据，每个视频帧的动作数据由所述目标视频中的目标对象骨骼关键点的三维坐标构成；基于视频处理参数处理与目标视频对应的动作序列数据以得到目标动作序列数据；以及将所述目标动作序列数据发送给发出所述视频请求的客户端；或者，基于所述目标动作序列数据驱动虚拟数字人以生成虚拟数字人动作视频，将所述虚拟数字人动作视频作为被请求视频发送给发出所述视频请求的客户端。
[0008]第二方面，本专利技术实施例还提供了另一种基于视频教学的交互方法，应用于客户端，所述方法包括：响应于在目标视频播放过程接收到用户的视频处理指令，从服务端获取与目标视频对应的动作序列数据，其中所述的视频处理指令中包括视频处理参数，所述动作序列数据包括按视频帧顺序组成的动作数据，每个视频帧的动作数据由所述目标视频中的目标对象骨骼关键点的三维坐标构成；响应于从服务端获取的所述动作序列数据为与目标视频对应的原始动作序列数据，基于所述视频处理参数处理所述原始动作序列数据得到目标动作序列数据；基于所述目标动作序列数据驱动虚拟数字人以生成虚拟数字人动作视频，将所述虚拟数字人动作视频作为被请求视频；响应于从服务端获取的所述动作序列数据为经过服务端基于所述视频处理参数处理过的目标动作序列数据，基于所述目标动作序列数据驱动虚拟数字人以生成虚拟数字人动作视频，将所述虚拟数字人动作视频作为被请求视频；以及播放所述被请求视频。
[0009]第三方面，本专利技术实施例提供了一种基于视频教学的交互装置，应用于服务端，包括参数获取模块、动作序列数据处理模块和请求响应模块，其中，所述参数获取模块经配置以从客户端发送的视频请求中获取目标视频标识及视频处理参数；所述动作序列数据处理模块经基于目标视频标识获取与目标视频对应的动作序列数据，其中，所述动作序列数据包括按视频帧顺序组成的动作数据，每个视频帧的动作数据由所述目标视频中的目标对象骨骼关键点的三维坐标构成；基于视频处理参数处理与目标视频对应的动作序列数据以得到目标动作序列数据；所述请求响应模块经配置以将所述目标动作序列数据发送给发出所述视频请求的客户端，或者将所述虚拟数字人动作视频作为被请求视频发送给发出所述视频请求的客户端。
[0010]第四方面，本专利技术实施例还提供了一种基于视频教学的交互装置，应用于客户端，包括用户操作获取模块、数据请求模块、数据处理模块、视频生成模块和播放模块，其中，所述用户操作获取模块经配置以在目标视频播放过程监视用户操作以接收到用户的视频处理指令，并从所述视频处理指令中至少获取视频处理参数；所述数据请求模块经配置以响应在目标视频播放过程接收到用户的视频处理指令，从服务端获取与目标视频对应的动作序列数据，其中所述动作序列数据包括按视频帧顺序组成的动作数据，每个视频帧的动作数据由所述目标视频中的目标对象骨骼关键点的三维坐标构成；所述数据处理模块经配置
以响应于从服务端获取的所述动作序列数据为与目标视频对应的原始动作序列数据，基于所述视频处理参数处理所述原始动作序列数据得到目标动作序列数据；所述视频生成模块经配置以基于所述数据处理模块得到的目标动作序列数据或者从服务端接收的目标动作序列数据，驱动虚拟数字人以生成虚拟数字人动作视频，将所述虚拟数字人动作视频作为被请求视频；所述播放模块经配置以播放所述被请求视频。
[0011]第五方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如上所述的应用于服务端或应用于客户端的基于视频教学的交互方法。
[0012]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的应用于服务端或应用于客户端的基于视频教学的交互方法。
[0013]本专利技术在视频教学过程中通过与用户的互动对教学视频进行处理，解决了学习用户在观看教学视频时由于屏幕小、拍摄角度等问题而无法看清教学内容的问题。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频教学的交互方法，其特征在于，应用于服务端，在目标视频播放过程接收到来自客户端的视频请求时，包括：从所述视频请求中获取目标视频标识及视频处理参数；基于目标视频标识获取与目标视频对应的动作序列数据，其中，所述动作序列数据包括按视频帧顺序组成的动作数据，每个视频帧的动作数据由所述目标视频中的目标对象骨骼关键点的三维坐标构成；基于所述视频处理参数处理与目标视频对应的动作序列数据以得到目标动作序列数据； 以及将所述目标动作序列数据发送给发出所述视频请求的客户端；或者，基于所述目标动作序列数据驱动虚拟数字人以生成虚拟数字人动作视频，将所述虚拟数字人动作视频作为被请求视频发送给发出所述视频请求的客户端。2.根据权利要求1所述的基于视频教学的交互方法，其特征在于，在生成虚拟数字人动作视频之后进一步包括：将所述虚拟数字人动作视频与所述目标视频合成在一起生成第一合成视频，将所述第一合成视频作为被请求视频发送给发出所述视频请求的客户端。3.根据权利要求1所述的基于视频教学的交互方法，其特征在于，基于所述视频处理参数处理与目标视频对应的动作序列数据以得到目标动作序列数据的步骤包括：识别目标视频中的目标对象的视觉方位；获取相同视觉方位的目标对象的原始动作序列数据；以及基于所述视频处理参数对所述原始动作序列数据中每个视频帧中的目标对象骨骼关键点的三维坐标进行计算以得到目标三维坐标，其中每个视频帧的目标对象骨骼关键点的目标三维坐标构成了目标动作序列数据。4.根据权利要求3所述的基于视频教学的交互方法，其特征在于，在所述视频处理参数为多个时，分别基于不同的视频处理参数和所述原始动作序列数据得到多个目标动作序列数据；或者基于所述视频处理参数和与目标视频对应的多个不同视觉方位的原始动作序列数据得到多个目标动作序列数据；对应地，基于所述多个目标动作序列数据驱动虚拟数字人以生成多个虚拟数字人动作视频。5.根据权利要求4所述的基于视频教学的交互方法，其特征在于，在生成多个虚拟数字人动作视频后将所述多个虚拟数字人动作视频合成第二合成视频，将所述第二合成视频作为被请求视频发送给发出所述视频请求的客户端；或者将所述多个虚拟数字人动作视频和目标视频合成第三合成视频，将所述第三合成视频作为被请求视频发送给发出所述视频请求的客户端。6.根据权利要求1所述的基于视频教学的交互方法，其特征在于，所述的视频处理参数至少包括旋转角度、放大倍数、局部放大部位、画面结构和虚拟数字人形象中的一者或多者。7.根据权利要求6所述的基于视频教学的交互方法，其特征在于，当所述的视频处理参数包括局部放大部位时，在生成虚拟数字人动作视频时，以所述局部放大部位作为视频画面的中心；和/或，在生成虚拟数字人动作视频时，对所述局部放大部位进行圈出显示，并对
所述局部放大部位之外的区域进行淡化或模糊处理。8.根据权利要求1所述的基于视频教学的交互方法，其特征在于，进一步包括：基于目标视频提供用户的授权，按照目标视频中的目标对象生成虚拟数字人形象；或者采用与目标视频中的目标对象同类的虚拟数字人形象；或者采用视频处理参数中用户指定的虚拟数字人形象。9.一种基于视频教学的交互方法，其特征在于，应用于客户端，所述方法包括：响应于在目标视频播放过程中接收到用户的视频处理指令，从服务端获取与目标视频对应的动作序列数据，其中所述的视频处理指令中包括视频处理参数，所述动作序列数据包括按视频帧顺序组成的动作数据，每个视频帧的动作数据由所述目标视频中的目标对象骨骼关键点的三维坐标构成；响应于从服务端获取的所述动作序列数据为与目标视频对应的原始动作序列数据，基于所述视频处理参数处理所述原始动作序列数据得到目标动作序列数据；基于所述目标动作序列数据驱动虚拟数字人以生成虚拟数字人动作视频，将所述虚拟数字人动作视频作为被请求视频；响应于从服务端获取的所述动作序列数据为经过服务端基于所述视频处理参数处理过的目标动作序列数据，基于所述目标动作序列数据驱动虚拟数字人以生成虚拟数字人动作视频，将所述虚拟数字人动作视频作为被请求视频；以及播放所述被请求视频。10.根据权利要求9所述的基于视频教学的交互方法，其特征在于，基于所述视频处理参数处理与目标视频对应的原始动作序列数据以得到目标动作序列数据的步骤包括：分别识别目标视频中的目标对象的第一视觉方位和原始动作序列数据的第二视觉方位；响应于所述第二视觉方位和所述第一视觉方位相同，基于所述视频处理参数对所述原始动作序列数据中每帧中的目标对象骨骼关键点的三维坐标进行计算以得到目标三维坐标，其中每帧的目标对象骨骼关键点的目标三维坐标构成了目标动作序列数据；响应于所述第二视觉方位和所述第一视觉方位不相同，计算第二视觉方位和所述第一视觉方位的方位差；以及基于所述方位差和所述视频处理参数对所述原始动作序列数据中每帧中的目标对象骨骼关键点的三维坐标进行计算以得到目标三维坐标，其中每帧的目标对象骨...

【专利技术属性】
技术研发人员：潘孟姣，孙健，张远，
申请(专利权)人：北京小糖科技有限责任公司，
类型：发明
国别省市：