一种根据音频音乐生成动画的方法和系统技术方案

本发明专利技术提供了一种根据音频音乐生成动画的方法和系统，所述方法包括：对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；依据所述各个音频的频率特性获得各个音轨，并组合生成ＭＩＤＩ文件；对ＭＩＤＩ文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；根据所述时间属性将各个动画元素及其对应关系组合成动画。通过本发明专利技术，可以自动的将音频音乐生成为内容丰富、与音乐表达的内容相对应的可视信息。

【技术实现步骤摘要】

本专利技术涉及音乐数据处理
，特别是涉及一种根据音频音乐生成动画的方 法和系统。
技术介绍
随着生活水平的提高，人们对于音乐的欣赏已经渐渐进入日常生活中，成为休闲 娱乐的重要方式。通常，人们播放音乐只是满足听觉上的享受，但是用眼睛感受音乐表达的 信息，却有待于人们开发和研究。常见的一种方法是使组成音乐的不同结构元素与不同的颜色相对应，将音乐的变 化转变为颜色的变化，根据不同颜色代表的音乐属性，通过颜色种类的变化和颜色的深浅 变化，反映出音乐的表现内容，例如欢快还是忧郁，舒缓还是激烈。还有一种方法，是将音乐 与颜色和几何图像相结合，随着音乐的播放，产生颜色的变化以及几何图像的变形和重组， 该方法增加了几何图形的变化，比起单独的颜色变化，增加了表现方式，比较直观，用户可 以根据图形的变化样式和的快慢，获得音乐表现内容。上述方法仅得到音乐表达的风格和 节奏等，表现内容单调，无法将音乐中的人物、场景、动作等内容表达出来，缺乏表现力。通常人们将音乐中的内容通过动画的形式表现出来，传统的根据音频音乐制作成 动画的过程需要运用一些动画处理软件，如Flash MX，该过程需要对人物、背景、动作等进 行一系列的设计，然后绘制相应内容的矢量图形，最后将各种图形进一步组合生成动画。由 人工对动画进行设计制作的过程复杂，并且需要手动操作处理。因此，目前需要本领域技术人员解决的问题就是怎样自动的将音频音乐生成为 内容丰富、与音乐表达的内容相对应的可视信息。
技术实现思路
本专利技术所要解决的技术问题是提供一种根据音频音乐生成动画的方法和系统， 自动的将音频音乐生成为内容丰富、与音乐表达的内容相对应的可视信息。为了解决上述问题，本专利技术公开了一种根据音频音乐生成动画的方法，包括对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数 构建各个动画元素及其对应关系；根据所述时间属性将各个动画元素及其对应关系组合成动画。优选的，所述对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频，具体 包括通过在预设频率段中提取打击乐器的频率获得节奏音频；通过过滤音频音乐中的节奏音频获得伴奏音频。4优选的，当音频音乐中有人声信息时，所述对音频音乐的预设频率段进行分析还 包括通过在预设频率段中提取人声的频率获得旋律音频；则所述伴奏音频通过过滤音频 音乐中的节奏音频和旋律音频得到。优选的，所述依据所述获得的各个音频的频率特性获得各个音轨包括通过对节奏音频中频率的振幅和周期的分析，生成节奏轨；将旋律音频与预设的音符频率进行匹配，生成旋律轨；将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。优选的，所述音乐结构的分析包括音符分析、音节分析、乐句分析、乐段分析、音 轨分析中的一个或多个。优选的，当所述音频音乐中有歌词时，所述方法还包括进行歌词信息的分析，获 得歌词分析结果；将所述歌词分析结果引入到各个动画元素及其对应关系的构建中。优选的，所述歌词信息的分析包括词元分析、语法分析、语句分析、段落分析、章 节分析中的一个或多个。优选的，所述构建各个动画元素及其对应关系具体包括根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组 合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关 系；根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节 分析中的一个或者多个组合构建由相应的子场景组成的总场景。优选的，所述将各个动画元素及其对应关系组合成动画具体包括在所述总场景 中加入相应的角色、行为并进行整体合成；根据所述时间属性设定各个动画元素出现的时 间，使动画与音乐的播放时间同步。优选的，所述将各个动画元素及其对应关系组合成动画具体还包括设定视角转 变路径，将各个动画元素之间的视角转变进行衔接。此外，本专利技术还公开了一种根据音频音乐生成动画的系统，所述系统包括音频提取模块，用于对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音 频；MIDI生成模块，用于依据所述各个音频的频率特性获得各个音轨，并组合生成 MIDI文件；音乐分析模块，用于对MIDI文件进行音乐结构分析，获得音乐分析结果以及音乐 的时间属性；元素构建模块，用于根据预置的动画素材库和上述音乐分析结果通过预置规则或 者用户输入的参数构建各个动画元素及其对应关系；动画合成模块，用于根据所述时间属性将各个动画元素及其对应关系组合成动 画。优选的，所述音频提取模块包括节奏提取子模块，用于通过在预设频率段中提取打击乐器的频率获得节奏音 频；伴奏提取子模块，用于通过过滤音频音乐中的节奏音频获得伴奏音频。优选的，所述音频提取模块还包括旋律提取子模块，用于当音频音乐中有人声信息时，通过在预设频率段中提取人 声的频率获得旋律音频；则所述伴奏提取子模块通过过滤音频音乐中的节奏音频和旋律音频获得伴奏音 频。优选的，所述MIDI生成模块包括节奏轨生成子模块，用于通过对节奏音频中频率的振幅和周期的分析，生成节奏 轨；旋律轨生成子模块，用于将旋律音频与预设的音符频率进行匹配，生成旋律轨；伴奏轨生成子模块，用于将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。优选的，所述系统还包括歌词分析模块，用于当所述音频音乐中有歌词时，进行歌词信息的分析，获得歌词 分析结果；则歌词分析模块将获得的歌词分析结果输入到元素构建模块中，元素构建模块根 据预置的动画素材库、音乐分析结果和所述歌词分析结果进行各个动画元素及其对应关系 的构建。优选的，所述元素构建模块包括子元素构建子模块，用于根据所述动画素材库，通过音符分析、音节分析和词元分 析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述 各个动画元素的对应关系；总场景构建子模块，用于根据所述动画素材库，通过乐句分析、乐段分析、音轨分 析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总 场景。优选的，所述动画合成模块包括元素整合子模块，用于在所述总场景中加入相应的角色、行为并进行整体合成；时间同步子模块，用于根据所述时间属性设定各个动画元素出现的时间，使动画 与音乐的播放时间同步。优选的，所述动画合成模块还包括视角转变子模块，用于设定视角转变路径，将 各个动画元素之间的视角转变进行衔接。与现有技术相比，本专利技术具有以下优点本专利技术通过对音频音乐的频率进行分析，获得MIDI文件，然后对MIDI文件进行音 乐属性的分析，通过预置规则或者用户输入的参数从动画素材库中选取各个动画元素及其 对应关系，最后将各个动画元素及其对应关系组合成动画。本专利技术适用于各种音频音乐，如 MP3、WAV等，根据频率特性的分析得到有关节奏、旋律、伴奏等MIDI信息，然后与动画元素 相联系，对于没有歌词的音乐，通过系统定义或者用户设置生成相应的动画，最终形成音乐 电视(MV，Music Television)动画，实现动画与音乐的视听绑定，满足听觉与视觉同时享 受、相互统一的需求。此外，对于有歌词的音乐，通过本文档来自技高网...

【技术保护点】
一种根据音频音乐生成动画的方法，其特征在于，包括：对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；依据所述各个音频的频率特性获得各个音轨，并组合生成ＭＩＤＩ文件；对ＭＩＤＩ文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；根据所述时间属性将各个动画元素及其对应关系组合成动画。

【技术特征摘要】

【专利技术属性】
技术研发人员：吕博学，艾国，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：11