一种基于FPGA的神经网络编曲方法及装置制造方法及图纸

本发明专利技术公开了一种基于FPGA的神经网络编曲方法及装置，该装置包括显示模块、控制按键模块、音频解码模块以及带神经网络硬件加速器软核的FPGA模块，其中FPGA模块用于实现对各模块的控制以及人工智能数据运算，其搭载有片上系统，片上系统包括基于指令集的架构的神经网络硬件加速器、数据调度模块和存储器，神经网络硬件加速器用于根据已搭建的神经网络模型进行运算，在运算过程中，数据调度模块将模型权重由存储器搬移至神经网络硬件加速器进行运算，得到运算结果后，将推理得到的音符对应的音频波形数据从存储器搬移至音频解码模块进行播放。本发明专利技术可解决现有的神经网络编曲方法在算力和可重构性方面的局限。法在算力和可重构性方面的局限。法在算力和可重构性方面的局限。

【技术实现步骤摘要】
一种基于FPGA的神经网络编曲方法及装置


[0001]本专利技术涉及神经网络硬件加速
，尤其涉及一种基于FPGA的神经网络编曲方法及装置。

技术介绍

[0002]为了提高音乐创作效率和更具新奇感的音乐效果，利用算法自动作曲的方法已经不同程度地应用到计算机辅助编曲体系中，其中遗传算法、人工神经网络、马尔科夫链、混合型算法使用最为广泛。近些年随着人工智能技术的发展，人工神经网络已经被广泛地使用在音乐应用系统中。目前AIVA，Google,以及国内的网易等公司已经能够在服务器端实现高质量的人工智能音频处理和音乐创作，而针对边缘计算端侧则考虑到成本、应用场景制约，常常要在算力、功耗、可重构性等方面进行权衡，仍有较大的可提升空间。同时，人工智能编曲模型通常以循环神经网络为核心，而目前大多神经网络加速器主要针对卷积神经网络，对循环神经网络则缺少针对性的优化。

技术实现思路

[0003]为了解决上述问题，本专利技术提出一种基于FPGA的神经网络编曲方法及装置，可以解决现有的神经网络编曲方法在算力和可重构性方面的局限，本专利技术采用的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的神经网络编曲装置，其特征在于，包括：显示模块，用于显示播放状态信息；控制按键模块，用于选择不同的播放模式；音频解码模块，用于播放经人工智能计算自动生成的音乐；带神经网络硬件加速器软核的FPGA模块，用于实现对所述显示模块、所述控制按键模块和所述音频解码模块的控制以及人工智能数据运算；所述FPGA模块搭载片上系统，所述片上系统包括基于指令集的架构的神经网络硬件加速器、数据调度模块和存储器，所述神经网络硬件加速器用于根据已搭建的神经网络模型进行运算，在运算过程中，所述数据调度模块将模型权重由所述存储器搬移至所述神经网络硬件加速器进行运算，得到运算结果后，将推理得到的音符对应的音频波形数据从存储器搬移至音频解码模块进行播放。2.根据权利要求1所述的基于FPGA的神经网络编曲装置，其特征在于，所述片上系统使用软核CPU作为控制器，使用DDR3SDRAM和TF卡作为存储器，通过音频CODEC芯片实现音频解码，且搭载有通用异步收发传输器UART、串行外设接口SPI、I2C、I2S、DDR3SDRAM控制器，并利用AHB总线进行连接。3.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述片上系统通过UART接口进行与上位机的通信以及打印log信息，通过SPI接口实现TF卡的读写，并通过I2C接口和I2S接口对音频CODEC芯片进行配置和数据传输。4.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述片上系统使用TF卡获得所述神经网络模型训练后得到的数据以及音符对应的音频波形数据，并在所述片上系统启动时被DDR3 SDRAM读取，所述神经网络模型中不同类型的权重按规则储存在TF卡和DDR3 SDRAM对应的地址，用户程序需要根据此地址控制所述神经网络硬件加速器实现权...

【专利技术属性】
技术研发人员：凌味未，相博镪，赵良平，胡双，邹金成，李蠡，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：