一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统技术方案

本发明专利技术公开了一种基于虚拟偶像的歌曲数据处理方法，该方法包括如下步骤：获取多模态数据，从多模态数据中提取演唱歌曲音频，并将演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；根据音乐处理模型对乐谱信息和歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息；基于虚拟偶像的声线，将乐谱创作信息和歌词创作信息进行语音合成，生成目标曲目文件并输出。本申请能够通过移动设备的控制将目标自创作曲目在成像设备上表演，以辅助交互对象进行自行创作及演唱，提升交互对象的创作体验。

A method of data processing based on virtual idols and singing interaction system

The invention discloses a song data processing method based on virtual idol. The method comprises the following steps: acquiring multi-modal data, extracting singing song audio from multi-modal data, converting the singing song audio into song file for word spectrum separation operation, and generating music score information and lyrics corresponding to the song file. According to the music processing model, the music score information and lyrics information are edited and processed to generate the music score creation information and lyrics creation information; based on the voice line of virtual idol, the music score creation information and lyrics creation information are synthesized to generate the target track file and output. The application can perform the target self-authoring track on the imaging device through the control of the mobile device to assist the interactive object in self-authoring and singing, and enhance the creative experience of the interactive object.

【技术实现步骤摘要】
一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统
本专利技术涉及智能机器人领域，尤其涉及一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统。
技术介绍
随着人工智能领域的不断发展，现今对机器人的研究工作已经不仅只针对于工业领域，更跨足娱乐、医疗、保健、家庭、以及服务等领域，使用对象也逐渐扩充。在娱乐领域中，目前针对虚拟机器人的应用多对于点歌和已有歌曲进行播放，无法按照谱曲及歌词生成相应的歌曲。因此，提出了一种新的机器人的交互能力，辅助用户音乐人进行目标曲目的创作，改善了用户体验。
技术实现思路
本专利技术所要解决的技术问题之一是需要提供一种基于虚拟偶像的歌曲数据处理方法，该方法包括如下步骤：扒谱步骤，获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；词曲编辑步骤，根据音乐处理模型对所述乐谱信息和所述歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息；语音合成步骤，基于所述虚拟偶像的声线，将所述乐谱创作信息和所述歌词创作信息进行语音合成，生成目标曲目文件并输出。在一个实施例中，在所述词曲编辑步骤中本文档来自技高网...

【技术保护点】
1.一种基于虚拟偶像的歌曲数据处理方法，其特征在于，该方法包括如下步骤：扒谱步骤，获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；词曲编辑步骤，根据音乐处理模型对所述乐谱信息和所述歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息；语音合成步骤，基于所述虚拟偶像的声线，将所述乐谱创作信息和所述歌词创作信息进行语音合成，生成目标曲目文件并输出。

【技术特征摘要】
1.一种基于虚拟偶像的歌曲数据处理方法，其特征在于，该方法包括如下步骤：扒谱步骤，获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；词曲编辑步骤，根据音乐处理模型对所述乐谱信息和所述歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息；语音合成步骤，基于所述虚拟偶像的声线，将所述乐谱创作信息和所述歌词创作信息进行语音合成，生成目标曲目文件并输出。2.根据权利要求1所述的方法，其特征在于，在所述词曲编辑步骤中，进一步包括，基于所述乐谱信息，判断当前歌曲风格；调取与该风格匹配的的音乐处理模型；根据与该风格匹配的音乐处理模型对所述乐谱信息和所述歌词信息进行编辑，以生成乐谱创作信息和歌词创作信息。3.根据权利要求1或2所述的方法，其特征在于，所述歌词创作信息包括歌词片段数据，其中，所述歌词片段数据配置有歌词片段编码、歌词片段起止时程、韵母/声母标识、声调编码、断句标识和韵母/声母数据；所述乐谱创作信息包括乐谱片段数据，其中，所述乐谱片段数据配置有乐谱片段编码、乐谱片段起止时程、音调片段数据和小节标识。4.根据权利要求1～3中任一项所述的方法，其特征在于，在所述扒谱步骤中，进一步包括：将获取到的所述演唱歌曲音频进行歌声分离，去除背景声音数据，保留人声清唱数据；进一步分解所述人声清唱数据，编辑整理生成所述乐谱信息和所述歌词信息。5.根据权利要求3所述的方法，其特征在于，在所述语音合成步骤中，进一步包括，基于当前歌曲风格，确定与所述歌曲风格匹配的声线；将所述歌词创作信息、所述乐谱创作信息、与所述歌曲风格匹配的声线以及所述背景声音数据代入预设的语音合成系统中，生成目标曲目文件。6.根据权利要求1所述的方法，其特征在于，所述音乐处理模型通过基于字词拼音库、歌曲音符和作词作曲数据库进行训练，并结合多类作词作曲习惯特征数据库构建而成。7.一种基于虚拟偶像的歌曲数据处理系统，其特征在于，该系统包括如下模块：扒谱模块，其获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文...

【专利技术属性】
技术研发人员：陆羽皓，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11