人工智能音效创作及视频适配的方法与系统技术方案

本发明专利技术公开一种人工智能音效创作及视频适配的方法与系统。所述系统包括：AI预处理模块、音视频时间线装置、音效库和混音装置。所述创作方法，首先通过AI预处理模块梳理和描述影视剧脚本或短视频，生成环境音效描述文件和动作音效描述文件；再由所述素材库调用所述音效素材，并按照音视频时间线来安排相应的视频、环境音效和动作音效时间线素材。最后通过混音装置，将所有素材按照时间线进行混音，创作出音效与视频适配的整体音效效果。

【技术实现步骤摘要】
人工智能音效创作及视频适配的方法与系统
本专利技术涉及人工智能、音乐和互联网
，特别涉及一种人工智能音效创作及视频适配的方法与系统。
技术介绍
音效用来增进场面之真实感、气氛或戏剧讯息，可以增强对影视作品、电子游戏、音乐或其它媒体艺术或其它内容的声音或音乐效果。音效包括环境音效、动作音效和音乐音效，是人工制造或加强的声音。音效创作，总体上讲是按照影视节目创作的意图，将声音跟画面一起按照叙事的要求和手法去表达、呈现，以达到声画结合的综合效果。因此，要将综合表达的要求，也就是我们所说的影视语言的叙述表达要求，转换为音效要求和元素，通过录音师的理解和经验，创作出符合要求的音效作品。由此来看，音效创作是一个复杂的过程，涉及到对需求的理解、创作元素的准备，与环境及画面动作的配合，同期录音中多种声音和效果的提取等。音效创作的工作量也非常巨大，往往涉及数十个环境音效片段、数千个动作效果。到目前为止，这个复杂的过程和繁重的劳动完全由人来执行和完成。从而，哪怕是一个很简短的作品，也需要耗费大量的人力和物力。
技术实现思路
本专利技术为有效地解决上述问题，减轻创作者在素材准备所耗费的时间和精力，让其将更多的时间和精力放在创作上，提供一种人工智能音效创作及视频适配的方法与系统。本专利技术所述人工智能音效创作及视频适配系统包括：AI预处理模块、音视频时间线装置、音效库和混音装置：所述AI预处理模块，用于处理所输入的文本需求描述、影视剧脚本或短视频。通过AI将其场景、情绪与气氛、画面动作等进行梳理，分别生产环境音效描述文件和动作音效描述文件；所述音视频时间线装置，用于根据视频画面参考时间线，安排环境音效时间线、动作音效时间线、声音和音乐时间线等；所述音效库，用于存储各种环境音效和动作音效，按照所述环境音效描述文件和所述动作音效描述文件分类要求分类，便于检索和调用；所述混音装置，用于将所述音视频时间线装置准备好的环境音效、动作音效和声音、音乐等按照时间线进行混音，形成整体声音效果。本专利技术所述人工智能音效创作及视频适配方法包括如下步骤：步骤1、梳理场景：通过人工智能对脚本、视频片段、需求文字描述等的分析和理解，梳理音效场景，场景中的对象与动作，生成所述音效场景描述文件和所述动作描述文件；步骤2、匹配音效片段：根据步骤1获得的所述音效描述文件进行适配，从音效库检索和调用相应的环境音效，如果所述音效库中没有适配的环境音效片段，需要专门制作；步骤3、匹配音效元素：根据步骤1获得的所述动作音效描述文件，选择动作音效和确定动作发生时间点；从所述音效库检索和调用相应的动作音效元素，如果音效库中没有适配音效元素，需要专门制作；步骤4、准备音视频时间线，将所准备好的视频、环境音效片段和动作音效元素、配音和音乐等，根据画面参考时间线，分别安排在时间线上。例如，将环境音效安排放在环境音效时间线上，动作音效元素安排在动作音效时间线上，语言声音和音乐也安排在相应的时间线上；步骤5、混音处理，将同期声、环境音效、动作音效按照时间线进行混音处理，在混音处理过程中，录音师根据自己对环境、场景、情节、情感的理解，对所述音效作进一步处理，使所有音效达到统一效果。根据本专利技术的一个方面，所述AI预处理模块包括：AI文本理解模块、AI脚本理解模块、AI视频理解模块：所述AI文本理解模块，用于通过人工智能分析和理解所述文本所描述的场景对环境音效和时间长度的要求，对动作音效和时间点的要求，生成按照所述环境音效描述文件要求的所述环境音效描述文件；生成按照动作音效描述文件要求的所述动作音效描述文件；所述AI脚本理解模块，用于通过人工智能分析和理解所述脚本所描述的场景对环境音效和时间长度的要求，对动作音效和时间点的要求，生成按照所述环境音效描述文件要求的所述环境音效描述文件；生成按照动作音效描述文件要求的所述动作音效描述文件；所述AI视频理解模块，用于通过人工智能分析和理解所述视频描述的场景对环境音效和时间长度的要求，对动作音效和时间点的要求，生成按照所述环境音效描述文件要求的所述环境音效描述文件；生成按照动作音效描述文件要求的所述动作音效描述文件。根据本专利技术的另一方面，当所述音乐库没有满足所述环境音效要求的环境音效或没有满足所述动作音效要求的动作音效时，需要专门制作，并收入所述音效库。优选地，环境音效的制作可以采用现场录音方法，用录音设备到相应的环境中直接录制环境音效。进一步，如果直接录制的环境音效中混入了其它不需要的声音，用AI方法去除杂音，分离出所需要的环境音效。优选地，环境音效的制作也可以采用数字拟音方法制作，先采集一些音效素材作为拟音源，再用数字合成技术进行变音及合成。根据本专利技术的再一方面，所述环境音效描述文件是一个描述单环境音效或多环境音效描述文件。进一步，所述动作音效描述文件是一个单动作或多动作描述文件。进一步，AI在完成作品分析与理解后，将同时输出所述环境音效描述文件和所述动作音效描述文件。根据本专利技术的再一方面，所述场景梳理输出文件包括：场景音效描述文件，包括对环境音效的描述及时长，所述的环境音效描述和时长，按照时间顺序排列；动作音效描述文件，包括动作音效描述和时间点，也按照时间顺序排列。进一步，根据所述环境音效描述文件从所述音效库检索和调用所述环境音效片段，如果检索到的所述环境音效片段时长不够，则采用拼接方式补足，如果检索到的所述环境音效片段时长过长，则采用裁剪方式去掉多余部分。进一步，根据所述动作音效描述文件从所述音效库检索和调用所述动作音效元素。根据本专利技术的再一方面，所述环境音效和动作音效按照图像时间线排列，通过混音装置生成所述的整体声音效果。优选地，在所述混音装置上，录音师可以根据需要调整音效，以便获得与其它音乐、声音和音效之间的统一。根据本专利技术的再一方面，所述音效库中，音效的分类与描述与所述场景梳理时输出的所述环境音效描述文件和所述动作音效描述文件的分类与描述格式一致，便于在所述音效库的环境音效片段和动作音效元素中检索和调用与所述描述文件匹配的素材。优选地，所述AI预处理模块的一个作用是，根据对环境音效和动作音效的需求，将其生成标准的环境音效描述文件和动作音效描述文件。进一步，根据所述环境音效描述文件和所述动作音效描述文件可以自动从所述音效库调用环境音效片段和动作音效元素素材。根据本专利技术的再一方面，本专利技术所述的音效库用于存储音效素材，所述音效素材按照分类描述，便于AI按照同样分类生产所述环境音效描述文件和所述动作音效描述文件，从所述音效库调取适配素材。将所述环境音效素材按照分级逐步描述和细化的方式进行分类描述，给所述的环境音效命名，例如，分类、环境描述、情景描述、效果描述，例如，“惊涛骇浪的海水拍打礁石”。进一步，所述环境音效素材描述按照分级逐步描述和细化的方式，给所述的环境音效命名，所述的命名包括分类、环境描述、情景描本文档来自技高网...

【技术保护点】
1.一种人工智能音效创作及视频适配系统，其特征在于，所述系统包括：AI预处理模块、音视频时间线装置、音效库和混音装置：/n所述AI预处理模块，用于处理所输入的文本需求描述、影视剧脚本或短视频。/n

【技术特征摘要】
1.一种人工智能音效创作及视频适配系统，其特征在于，所述系统包括：AI预处理模块、音视频时间线装置、音效库和混音装置：
所述AI预处理模块，用于处理所输入的文本需求描述、影视剧脚本或短视频。


2.通过AI将其场景、情绪与气氛、画面动作等进行梳理，分别生产环境音效描述文件和动作音效描述文件；
所述音视频时间线装置，用于根据视频画面参考时间线，安排环境音效时间线、动作音效时间线、声音和音乐时间线等；
所述音效库，用于存储各种环境音效和动作音效，按照所述环境音效描述文件和所述动作音效描述文件分类要求分类，便于所述时间线装置检索和调用；
所述混音装置，用于将所述音视频时间线装置准备好的环境音效、动作音效和声音、音乐等按照时间线进行混音，形成整体声音效果。


3.根据权利要求1所述人工智能音效创作及视频适配系统，其特征在于，所述AI预处理模块包括：AI文本理解模块、AI脚本理解模块、AI视频理解模块：
所述AI文本理解模块，用于通过人工智能分析和理解所述文本所描述的场景对环境音效和时间长度的要求，对动作音效和时间点的要求，生成按照所述环境音效描述文件要求的环境音效描述文件；生成按照动作音效描述文件要求的动作音效描述文件；
所述AI脚本理解模块，用于通过人工智能分析和理解所述脚本所描述的场景对环境音效和时间长度的要求，对动作音效和时间点的要求，生成按照所述环境音效描述文件要求的环境音效描述文件；生成按照动作音效描述文件要求的动作音效描述文件；
所述AI视频理解模块，用于通过人工智能分析和理解所述（短）视频所描述的场景对环境音效和时间长度的要求，对动作音效和时间点的要求，生成按照所述环境音效描述文件要求的环境音效描述文件；生成按照动作音效描述文件要求的动作音效描述文件。


4.根据权利要求1所述人工智能音效创作及视频适配系统，其特征在于，所述环境音效描述文件是一个描述单环境音效或多环境音效描述文件，包括起始时间，环境音效分类描述；所述动作音效描述文件是一个单动作或多动作描述文件，包括时间点和动作音效分类描述。


5.根据权利要求1所述的人工智能音效创作及视频适配...

【专利技术属性】
技术研发人员：李世鹏，秦绮玲，刘亚平，
申请(专利权)人：苏州思萃人工智能研究所有限公司，
类型：发明
国别省市：江苏;32