【技术实现步骤摘要】
基于多模态数据的情感乐谱及音乐生成方法、介质和设备
[0001]本专利技术涉及情感计算
，更具体地说，涉及一种基于多模态数据的情感乐谱及音乐生成方法、介质和设备。
技术介绍
[0002]音乐是情感表达的媒介，音乐可以反映个体的情感。随着深度学习的火热发展，使用神经网络的应用在各行各业开花结果。深度学习在音乐生成领域同样有很大的发展潜力，因此，可以通过建立深度学习模型来生成音乐用于表达情感特征和情感状态。
[0003]现有的基于深度学习的音乐生成方法可分为两类：基于非生理数据生成音乐方法和基于生理数据生成音乐方法。
[0004]基于非生理数据生成音乐方法，其中基于图像、表情和文本的音乐生成方法的通用框架是将单模态的非生理信号数据输入到深度学习模型中进行训练后生成音乐。这类方法的缺陷有：第一、使用单模态非生理数据，导致生成的音乐也较为单调，不符合音乐的多样性特点。第二、个体受到相同或不同的情感刺激所产生的情感是因人而异的，个体差异性较大，这导致构建的模型对情感的学习和表达不够准确。第三、由于表情、肢体行为等...
【技术保护点】
【技术特征摘要】
1.一种基于多模态数据的情感乐谱及音乐生成方法，其特征在于：包括如下步骤：获取多模态数据；所述多模态数据包括两种以上单模态数据；分别对各个单模态数据进行情感识别，得到情感预测结果；将所有单模态数据的情感预测结果进行多模态融合后得到情感特征，进而生成一个具有多个模态、多个维度情感特征的情感指令；将情感指令输入到CPKT
‑
Transformer模型中；所述CPKT
‑
Transformer模型包括：CPKT嵌入模块、多层Transformer因果注意力层，以及对CKPT中每个事件进行预测的多头预测模块；CPKT嵌入模块对情感指令进行音乐特征采样，将情感指令和采样得到的音乐特征进行混合编码得到包含S个事件组的事件组序列X，X＝{X1,X2,...,X
S
‑1,X
S
}，X
i
为第i个事件组；将事件组序列X输入到多层Transformer因果注意力层中得到表征，最后进行预测，生成情感乐谱；根据情感乐谱，选择乐器进行演奏，合成音乐。2.根据权利要求1所述的基于多模态数据的情感乐谱及音乐生成方法，其特征在于：所述CPKT
‑
Transformer模型中，对事件组序列X＝{X1,X2,...,X
S
‑1,X
S
}中的每个事件组X
i
进行嵌入，得到嵌入向量E
i,j
：E
i,j
＝Embedding
j
(X
i,j
)；其中，Embedding
j
为第j个嵌入层,j＝1,2...10；然后将所有嵌入向量E
i,j
拼接后，经过一层全连接层后，得到拼接向量G
i
：G
i
＝W
in
(Concat[E
i,1
,E
i,2
...,E
i,10
]),其中，W
in
为全连接层权重；随后将拼接向量G
i
与位置嵌入逐元素相加，得到第i个事件组的嵌入表征逐元素相加，得到第i个事件组的嵌入表征其中，N
H
为Transformer因果自注意力层的隐藏层维度；将事件组嵌入表征输入到多层Transformer因果自注意力层中，得到第i个事件组的上下文表征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。