一种基于音乐语义的音乐色彩可视化方法技术

本发明专利技术涉及一种基于音乐语义的音乐色彩可视化方法，该方法包括：获取包含音乐语义的内容信息；初始化色板，色板中包括多个用于表征音乐色彩的颜色；对内容信息和色板中的颜色信息分别进行编码并融合生成融合编码，基于融合编码采用预先训练的色板生成模型生成对应音乐语义的色板；基于色板中的颜色对音乐进行可视化。与现有技术相比，本发明专利技术能够丰富音乐的可视化色彩，通过颜色有效展示音乐语义。通过颜色有效展示音乐语义。通过颜色有效展示音乐语义。

【技术实现步骤摘要】
一种基于音乐语义的音乐色彩可视化方法


[0001]本专利技术涉及音乐色彩可视化
，尤其是涉及一种基于音乐语义的音乐色彩可视化方法。

技术介绍

[0002]目前，市面上已有许多成熟的音乐可视化工具，大多数音乐播放器中也都嵌有可视化功能，这些工具通过控制图像中形状和颜色的动画效果使歌曲变得生动，丰富了歌曲的视觉效果。其中，变化的形状和颜色可以反映音频特性，例如响度，频率和节奏等。在色彩设计理论中已有许多研究对颜色和语义之间的联系进行了探索，例如，快乐的颜色通常是明亮和温暖的，而悲伤的颜色通常是黑暗和柔和的。同时，音乐也具有内在的语义含义，音乐的语义可以通过相关的文字描述(例如歌词和歌曲描述)、音乐流派(例如摇滚，朋克，电子音乐等)以及视觉设计(例如专辑封面和现场表演海报)反映出来。自然而然地联想到将音乐的语义和色彩的语义相结合进行音乐可视化。但是，大多数现有音乐可视化中使用的颜色通常是随机生成的或从预设色板中选择的，没有考虑到相关的音乐语义和视觉设计。

技术实现思路

[0003]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于音乐语义的音乐色彩可视化方法。
[0004]本专利技术的目的可以通过以下技术方案来实现：
[0005]一种基于音乐语义的音乐色彩可视化方法，该方法包括：
[0006]获取包含音乐语义的内容信息；
[0007]初始化色板，色板中包括多个用于表征音乐色彩的颜色；
[0008]对内容信息和色板中的颜色信息分别进行编码并融合生成融合编码，基于融合编码采用预先训练的色板生成模型生成对应音乐语义的色板；
[0009]基于色板中的颜色对音乐进行可视化。
[0010]优选地，所述的内容信息包括表征音乐流派的类别信息、通过图像形式表征音乐语义的图像信息、通过文字形式表征音乐语音的文字信息。
[0011]优选地，所述的类别信息、图像信息和文字信息对应通过类别编码器、图像编码器和文字编码器分别进行编码。
[0012]优选地，所述的类别编码器为独热编码器，所述的图像编码器为基于VGG16模型的编码器，所述的文字编码器为基于BERT模型的编码器。
[0013]优选地，所述的色板中的颜色信息的编码方式为：将色板中的各个颜色的RGB值组合成向量。
[0014]优选地，内容信息和色板中的颜色信息分别进行编码后通过多层感知机进行融合生成融合编码。
[0015]优选地，生成对应音乐语义的色板时采用递归形式逐个生成色板中的每个颜色，
具体为：一次生成一个颜色，每生成一个颜色后更新色板以及对应的融合编码，基于新的融合编码生成下一个颜色，直至完成色板中所有颜色的生成。
[0016]优选地，所述的色板生成模型为条件对抗生成网络，包括生成器和对抗器，生成色板时，将融合编码和噪音输入至所述的生成器，经过全联接层得到生成的颜色对应的颜色编码，颜色编码与融合编码输入至对抗器判断输出是否符合预期。
[0017]优选地，基于色板中的颜色对音乐进行可视化的方式为：采用可视化图形展示音乐播放进度，随机采用色板中的颜色对可视化图形进行着色。
[0018]优选地，对音乐进行可视化时还包括歌曲频率的同步可视化展示，具体为：提取歌曲频率，改变所述的可视化图形的尺寸大小对歌曲频率进行同步可视化展示。
[0019]与现有技术相比，本专利技术具有如下优点：
[0020](1)本专利技术基于多模态融合编码和生成对抗网络，实现了基于音乐语义信息的音乐可视化方法，能够通过融合歌曲歌词中的语义、流派信息以及视觉设计中的图形特征来丰富音乐的可视化色彩，更加生动地展示音乐作品；
[0021](2)本专利技术使用深度学习模型将音乐的语义信息和可视化效果自动关联，省去了人工匹配的过程，提高了整个流程的效率。
附图说明
[0022]图1为本专利技术色板生成模型训练过程的框架图；
[0023]图2为本专利技术采用色板生成模型生成色板的框架图；
[0024]图3为本专利技术基于音乐语义的音乐色彩可视化方法的框架图。
具体实施方式
[0025]下面结合附图和具体实施例对本专利技术进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本专利技术并不意在对其适用物或其用途进行限定，且本专利技术并不限定于以下的实施方式。
[0026]实施例
[0027]本实施例提供一种基于音乐语义的音乐色彩可视化方法，该方法包括：
[0028]首先，获取包含音乐语义的内容信息，内容信息包括表征音乐流派的类别信息、通过图像形式表征音乐语义的图像信息、通过文字形式表征音乐语音的文字信息，本实施例中类别信息采用音乐流派、图像信息采用歌曲封面、文字信息采用歌词。
[0029]然后，初始化色板，色板中包括多个用于表征音乐色彩的颜色，本实施例中色板中设置5种颜色，初始化色板时，将色板中的所有颜色的RGB值均置为0。
[0030]其次，对内容信息和色板中的颜色信息分别进行编码并融合生成融合编码，基于融合编码采用预先训练的色板生成模型生成对应音乐语义的色板。
[0031]具体地，类别信息、图像信息和文字信息对应通过类别编码器、图像编码器和文字编码器分别进行编码。类别编码器为独热编码器，图像编码器为基于VGG16模型的编码器，文字编码器为基于BERT模型的编码器。色板中的颜色信息的编码方式为：将色板中的各个颜色的RGB值组合成向量。内容信息和色板中的颜色信息分别进行编码后通过多层感知机进行融合生成融合编码。生成对应音乐语义的色板时采用递归形式逐个生成色板中的每个
颜色，具体为：一次生成一个颜色，每生成一个颜色后更新色板以及对应的融合编码，基于新的融合编码生成下一个颜色，直至完成色板中所有颜色的生成。
[0032]色板生成模型为条件对抗生成网络，包括生成器和对抗器，生成色板时，将融合编码和噪音输入至生成器，经过全联接层得到生成的颜色对应的颜色编码，颜色编码与融合编码输入至对抗器判断输出是否符合预期。
[0033]最后，基于色板中的颜色对音乐进行可视化展示，具体地：采用可视化图形展示音乐播放进度，随机采用色板中的颜色对可视化图形进行着色。对音乐进行可视化时还包括歌曲频率的同步可视化展示，具体为：提取歌曲频率，改变可视化图形的尺寸大小对歌曲频率进行同步可视化展示。
[0034]以下具体介绍本实施例对音乐色彩可视化的具体过程。
[0035]一、色板生成模型的训练
[0036]图1显示了本项目基于条件生成对抗网络(CGAN)的模型的架构。在训练时给定多模态的音乐语义色彩数据集作为训练样本，将包含音乐语义的内容信息(歌曲封面、文字描述和流派)与色板中的前一个颜色作为多模态内容信息输入给到生成器，使生成器生成色板中的下一个颜色，判别器判断所生成的颜色是否符合输入的多模态内容信息。为了训练该模型，构建了一个独特的音乐色彩数据集来训练模型，其中包含来自189个中国乐队的948张图形设计图像，以及相应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音乐语义的音乐色彩可视化方法，其特征在于，该方法包括：获取包含音乐语义的内容信息；初始化色板，色板中包括多个用于表征音乐色彩的颜色；对内容信息和色板中的颜色信息分别进行编码并融合生成融合编码，基于融合编码采用预先训练的色板生成模型生成对应音乐语义的色板；基于色板中的颜色对音乐进行可视化。2.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的内容信息包括表征音乐流派的类别信息、通过图像形式表征音乐语义的图像信息、通过文字形式表征音乐语音的文字信息。3.根据权利要求2所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的类别信息、图像信息和文字信息对应通过类别编码器、图像编码器和文字编码器分别进行编码。4.根据权利要求3所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的类别编码器为独热编码器，所述的图像编码器为基于VGG16模型的编码器，所述的文字编码器为基于BERT模型的编码器。5.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的色板中的颜色信息的编码方式为：将色板中的各个颜色的RGB值组合成向量。6.根据权利要求1所述的一种基于音乐语义的音乐色彩可视...

【专利技术属性】
技术研发人员：范凌，王建楠，卓京港，李与凡，
申请(专利权)人：同济大学，
类型：发明
国别省市：