信息生成方法和装置制造方法及图纸

本公开的实施例提供的信息生成方法和装置，通过响应于获取到目标用户的音频数据和视频数据，对音频数据进行音频特征提取，得到音频数据对应的音频特征，然后对视频数据进行视频特征提取，得到视频数据对应的视频特征，之后将音频特征和视频特征输入至预训练模型的特征提取网络和多头注意力层，获取音频特征和视频特征对应的融合特征集合，最后基于融合特征集合，生成目标用户对应的状态分析信息，能够对目标用户的学习数据进行实时分析，对目标用户的音频特征和视频特征进行融合分析，使得目标用户可以及时了解在学习和训练过程中的技巧和姿态等方面

【技术实现步骤摘要】
信息生成方法和装置


[0001]本公开涉及计算机
，具体涉及多媒体播放和信息处理
，尤其涉及信息生成方法和装置
。

技术介绍

[0002]在乐器教学中，对音乐老师的依赖比较重，常常需要进行一对一教学，加之音乐老师的水平不一，所以学习费用高，效果却差强人意
。
这成为普通人学习乐器的一大障碍
。
或者，可以参加乐器辅导班，但是乐器辅导班老师是一对多讲课的，因为每个学生的学习情况都不一样，老师难以兼顾所有学生的进度控制教学速度
。
[0003]因此，学生在进行自主练习的时候，由于没有老师进行一对一的辅导监督或者按照错误的方法学习，在练习过程中很容易出现个别音节演奏错误而无法被发现的情况，这样长期以往下去会导致学习效率和质量低下，不利于学生高效的学习乐器
。

技术实现思路

[0004]本公开的实施例提出了一种信息生成方法
、
装置
、
电子设备和计算机可读介质
。
[0005]第一方面，本公开的实施例提供了一种信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种信息生成方法，所述方法包括：响应于获取到目标用户的音频数据和视频数据，对所述音频数据进行音频特征提取，得到所述音频数据对应的音频特征；对所述视频数据进行视频特征提取，得到所述视频数据对应的视频特征；将所述音频特征和所述视频特征输入至预训练模型的特征提取网络和多头注意力层，获取所述音频特征和所述视频特征对应的融合特征集合；基于所述融合特征集合，生成所述目标用户对应的状态分析信息
。2.
根据权利要求1所述的方法，其中，所述对所述音频数据进行音频特征提取，得到所述音频数据对应的音频特征，包括：基于所述音频数据，生成所述音频数据对应的频谱图像；对所述频谱图像进行音频特征提取，得到所述音频数据对应的音频特征
。3.
根据权利要求2所述的方法，其中，所述基于所述音频数据，生成所述音频数据对应的频谱图像，包括：对所述音频数据进行模电转换和采样，得到所述音频数据对应的数字信号；对所述数字信号进行预处理，得到所述数字信号对应的预处理音频；对所述预处理音频进行傅里叶变换，生成所述音频数据对应的频谱图像
。4.
根据权利要求1所述的方法，其中，所述对所述视频数据进行视频特征提取，得到所述视频数据对应的视频特征，包括：基于所述视频数据，获取多种格式对应的多张视频特征图像；分别将每种格式的多张视频特征图像输入至特征提取网络，得到每种格式的多张视频特征图像对应的初始视频特征；基于所述每种格式的多张视频特征图像对应的初始视频特征，得到所述视频数据对应的视频特征
。5.
根据权利要求4所述的方法，其中，所述基于所述视频数据，获取多种格式对应的多张视频特征图像，包括：基于所述视频数据，获取所述视频数据的光流数据和骨骼特征点；基于所述光流数据和所述骨骼特征点，获取多种格式对应的多张视频特征图像
。6.
根据权利要求1所述的方法，其中，所述将所述音频特征和所述视频特征输入至预训练模型的特征提取网络和多头注意力层，获取所述音频特征和所述视频特征对应的融合特征集合，包括：将所述音频特征和所述视频特征输入至预训练模型的特征提取网络，获取所述音频特征和所述视频特征对应的目标特征集合；将所述目标特征集合输入至所述预训练模型的多头注意力层，获取所述目标特征集合的融合特征集合
。7.
根据权利要求6所述的方法，其中，所述将所述音频特征和所述视频特征输入至预训练模型的特征提取网络，获取所述音频特征和所述视频特征对应的目标特征集合，包括：对所述音频特征和所述视频特征进行归一化处理，得到所述音频特征和所述视频特征对应的初始融合特征；将所述初始融合特征输入至预训练模型的特征提取网络，获取所述初始融合特征对应
的目标特征集合
。8.
根据权利要求1所述的方法，其中，所述基于所述融合特征集合，生成所述目标用户对应的状态分析信息，包括：基于所述融合特征集合，...

【专利技术属性】
技术研发人员：黄耀，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：