文本与音频呈现处理方法及系统技术方案

本发明专利技术公开了一种文本与音频呈现处理方法，包括：脚本编辑设备生成脚本；后期制作设备从脚本编辑设备中获取脚本并创建后期制作工程；后期制作设备通过后期制作工程对声音片段进行后期制作处理，生成后期制作结果并输出；音频呈现设备呈现所述后期制作结果。此外，本发明专利技术还公开了一种文本与音频呈现处理系统。采用本发明专利技术可以实现书籍听读一体的文本与音频呈现，通过脚本将音频数据结构化并建立音频与文字间的联系；使编辑用户方便地进行有声读物的后期制作，利用素材高效完成制作出品；将素材与脚本相互关联，提供了可视化的多轨非线性编辑界面，即使缺少素材也能快速、准确地完成后期制作；当脚本中的台词更新时免除了手工调整素材时间的负担。整素材时间的负担。整素材时间的负担。

【技术实现步骤摘要】
文本与音频呈现处理方法及系统


[0001]本专利技术涉及录音及混音
，特别涉及一种文本与音频呈现处理方法及系统。
[0002]
技术介绍

[0003]当前，由于计算机及互联网技术的普及和推广，书籍的传播形式不再拘泥于传统的纸质读物，大量书籍尤其是小说都具有电子形式的文字版和音频版，其中音频版即为有声书读物；然而，现有技术中，阅读软件通常仅能呈现文字版本，而有声书软件通常只能呈现音频版。
[0004]随着有声书读物的普及，用户需要一种可以在阅读和收听之间无缝切换的新模式。例如，在一种日常场景中，用户晚上在睡前阅读书籍的文字版，第二天早上在上班通勤途中从昨晚读到的地方继续收听书籍的音频版，下午再从早上听到的地方继续阅读书籍的文字版。
[0005]然而，专利技术人经研究发现，现有技术的问题在于，在传统的有声读物制作中，其制作流程是由剧本编辑开始到主播录音直至最后完成后期编辑的串行制作流程，主播录音的过程是制作流程的重要环节和核心环节，如果主播录音无法完成就会阻碍整个制作流程的进行；而在后期编辑时，编辑对象仅仅包括音频，无法直观地从脚本的文本上获得对编辑对象更好的理解。为了解决这一问题，优化制作流程并提高制作效率，需要一种能够充分利用音频和文字之间关联关系的制作方案，从而实现听读一体的文本与音频呈现。
[0006]
技术实现思路

[0007]基于此，为解决现有技术中的技术问题，特提出了一种文本与音频呈现处理方法，包括：脚本编辑设备生成脚本；所述脚本包括一个或多个段落；后期制作设备从与其相连接的脚本编辑设备中获取脚本并根据脚本创建后期制作工程；所述后期制作工程包括声音片段，所述声音片段对应于脚本中的段落；所述后期制作设备通过后期制作工程对声音片段进行后期制作处理，生成后期制作结果并输出至与其相连接的音频呈现设备；所述音频呈现设备呈现所述后期制作结果。
[0008]在一种实施例中，所述脚本包括段落对应的录音素材、音频素材、音效处理方式、段落呈现顺序；其中，所述后期制作设备包括音效处理器、混音处理器、素材管理器、编辑显示器；其中，所述素材管理器包括素材库，所述素材库在本地存储素材；所述素材管理器以层级结构来组织和管理素材库中的素材，素材库中的素材类型包括音频素材、效果素材；
其中，所述音效处理器通过与其相连接的所述素材管理器获取音频素材，根据所述脚本设定的音效处理方式对音频素材施加音效处理操作，并将经过音效处理的音频素材输出至与其相连接的混音处理器；其中，所述混音处理器包括主轨道、辅轨道，所述主轨道、所述辅轨道用于承载声音片段；所述混音处理器根据脚本对主轨道及辅轨道中的声音片段进行混音处理操作得到混音处理结果；其中，所述脚本的段落包括文本段落、音频段落；所述声音片段包括与文本段落对应的主轨道中声音片段、与音频段落对应的辅轨道中声音片段；主轨道中声音片段的位置由脚本设定的段落呈现顺序确定，辅轨道中声音片段的位置由编辑用户设定；其中，所述编辑显示器在所述混音处理器进行混音处理过程中显示编辑视图，所述编辑视图包括文本编辑视图、多轨编辑视图；所述文本编辑视图与所述多轨编辑视图中的光标位置相互绑定;在所述编辑显示器中，所述文本编辑视图及所述多轨编辑视图同时呈现，或者由编辑用户选择其中一个视图进行呈现并且能够相互切换。
[0009]在一种实施例中，主轨道中声音片段的片段内容包括主轨道中声音片段与脚本中文本段落的关联关系、关联文本段落的文本内容、主轨道中声音片段与录音素材的关联关系、关联的录音素材、主轨道中声音片段的编辑信息；其中，当主轨道中声音片段关联了录音素材，主轨道中声音片段的片段内容还包括文本内容与录音素材之间的文本对齐信息；对于完成录音素材录制的脚本，所有文本段落所关联的声音片段按照脚本设定的段落呈现顺序排列在主轨道上，并以前导静音作为间隔相互分隔；其中，所述多轨编辑视图呈现主轨道和辅轨道，所述多轨编辑视图的时间轴通过主轨道中声音片段的文本对齐信息与文本编辑视图相互关联;其中，主轨道中声音片段的编辑信息包括前导静音时长、素材播放开始位置、主轨道中声音片段时长、效果设置信息；所述主轨道中声音片段的片段内容包括一个或多个锚点；其中，所述锚点设置在文本对齐信息中的位置；或者，所述锚点设置在主轨道中声音片段的特定位置，特定位置包括主轨道中声音片段的开始处、结束处；或者，所述锚点设置在编辑用户设定的基于录音素材的相对位置；其中，所述锚点包括语义信息，所述语义信息包括文本中的字或词或短语、音频事件描述、开始时间、结束时间。
[0010]在一种实施例中，辅轨道中声音片段的片段内容包括辅轨道中声音片段与音频素材的关联关系、关联的音频素材、辅轨道中声音片段的编辑信息；辅轨道中声音片段的编辑信息包括素材播放开始位置、辅轨道中声音片段时长、辅轨道中声音片段开始位置、循环播放设置信息、轨道描述信息；其中，辅轨道中声音片段开始位置的定位方式包括绝对时间定位方式及相对绑定定位方式；在绝对时间定位方式中，辅轨道中声音片段的开始位置位于由全局时间轴定义的具体时刻；在相对绑定定位方式中，辅轨道中声音片段的开始位置位于相对于锚点的偏置时刻，所述锚点由主轨道中声音片段提供；
其中，当循环播放生效时，所述循环播放设置信息包括循环结束位置；循环结束位置的设定包括由循环后的绝对时长进行设定，或者由主轨道中声音片段提供的锚点进行设定；在混音处理过程中，所述混音处理器通过音效处理器获取经过音效处理的音频素材，并将获取的音频素材添加至编辑显示器的编辑视图中，添加的音频素材被放置在编辑用户设定位置。
[0011]在一种实施例中，后期制作工程包括工程默认配置信息；工程默认配置信息包括主轨道中声音片段之间的默认间隔值、混音处理的目标增益设定值、录音员的语速估计值；其中，主轨道中声音片段之间的默认间隔值为默认的前导静音时长，混音处理的目标增益设定值包括人声、音乐、音效的目标音量值；在混音处理过程中，当文本段落尚未进行录制而导致主音频片段缺乏关联的录音素材时，则该主音频片段在主轨道上所占的时长由工程默认配置信息中的录音员语速估计值和段落字数共同确定，或者由编辑用户选择语音合成结果作为录音素材临时使用。
[0012]此外，为解决现有技术中的技术问题，特提出了一种文本与音频呈现处理系统，包括依次相互连接的脚本编辑设备、后期制作设备、音频呈现设备；其中，所述脚本编辑设备生成脚本；所述脚本包括一个或多个段落；其中，所述后期制作设备获取脚本并根据脚本创建后期制作工程；所述后期制作工程包括声音片段，所述声音片段对应于脚本中的段落；所述后期制作设备通过后期制作工程对声音片段进行后期制作处理，生成后期制作结果并输出至与所述音频呈现设备；所述音频呈现设备呈现所述后期制作结果。
[0013]在一种实施例中，所述脚本包括段落对应的录音素材、音频素材、音效处理方式、段落呈现顺序；其中，所述后期制作设备包括音效处理器、混音处理器、素材管理器、编辑显示器；所述音效处理器与所述素材管理器相互连接；所述音效处理器与所述混音处理器相互连接；所述混音处理器与所述编辑显示器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本与音频呈现处理方法，其特征在于，包括：脚本编辑设备生成脚本；所述脚本包括一个或多个段落；后期制作设备从与其相连接的脚本编辑设备中获取脚本并根据脚本创建后期制作工程；所述后期制作工程包括声音片段，所述声音片段对应于脚本中的段落；所述后期制作设备通过后期制作工程对声音片段进行后期制作处理，生成后期制作结果并输出至与其相连接的音频呈现设备；所述音频呈现设备呈现所述后期制作结果。2.根据权利要求1所述的文本与音频呈现处理方法，其特征在于，其中，所述脚本包括段落对应的录音素材、音频素材、音效处理方式、段落呈现顺序；其中，所述后期制作设备包括音效处理器、混音处理器、素材管理器、编辑显示器；其中，所述素材管理器包括素材库，所述素材库在本地存储素材；所述素材管理器以层级结构来组织和管理素材库中的素材，素材库中的素材类型包括音频素材、效果素材；其中，所述音效处理器通过与其相连接的所述素材管理器获取音频素材，根据所述脚本设定的音效处理方式对音频素材施加音效处理操作，并将经过音效处理的音频素材输出至与其相连接的混音处理器；其中，所述混音处理器包括主轨道、辅轨道，所述主轨道、所述辅轨道用于承载声音片段；所述混音处理器根据脚本对主轨道及辅轨道中的声音片段进行混音处理操作得到混音处理结果；其中，所述脚本的段落包括文本段落、音频段落；所述声音片段包括与文本段落对应的主轨道中声音片段、与音频段落对应的辅轨道中声音片段；主轨道中声音片段的位置由脚本设定的段落呈现顺序确定，辅轨道中声音片段的位置由编辑用户设定；其中，所述编辑显示器在所述混音处理器进行混音处理过程中显示编辑视图，所述编辑视图包括文本编辑视图、多轨编辑视图；所述文本编辑视图与所述多轨编辑视图中的光标位置相互绑定;在所述编辑显示器中，所述文本编辑视图及所述多轨编辑视图同时呈现，或者由编辑用户选择其中一个视图进行呈现并且能够相互切换。3.根据权利要求2所述的文本与音频呈现处理方法，其特征在于，其中，主轨道中声音片段的片段内容包括主轨道中声音片段与脚本中文本段落的关联关系、关联文本段落的文本内容、主轨道中声音片段与录音素材的关联关系、关联的录音素材、主轨道中声音片段的编辑信息；其中，当主轨道中声音片段关联了录音素材，主轨道中声音片段的片段内容还包括文本内容与录音素材之间的文本对齐信息；对于完成录音素材录制的脚本，所有文本段落所关联的声音片段按照脚本设定的段落呈现顺序排列在主轨道上，并以前导静音作为间隔相互分隔；其中，所述多轨编辑视图呈现主轨道和辅轨道，所述多轨编辑视图的时间轴通过主轨道中声音片段的文本对齐信息与文本编辑视图相互关联;其中，主轨道中声音片段的编辑信息包括前导静音时长、素材播放开始位置、主轨道中声音片段时长、效果设置信息；
所述主轨道中声音片段的片段内容包括一个或多个锚点；其中，所述锚点设置在文本对齐信息中的位置；或者，所述锚点设置在主轨道中声音片段的特定位置，特定位置包括主轨道中声音片段的开始处、结束处；或者，所述锚点设置在编辑用户设定的基于录音素材的相对位置；其中，所述锚点包括语义信息，所述语义信息包括文本中的字或词或短语、音频事件描述、开始时间、结束时间。4.根据权利要求3所述的文本与音频呈现处理方法，其特征在于，其中，辅轨道中声音片段的片段内容包括辅轨道中声音片段与音频素材的关联关系、关联的音频素材、辅轨道中声音片段的编辑信息；辅轨道中声音片段的编辑信息包括素材播放开始位置、辅轨道中声音片段时长、辅轨道中声音片段开始位置、循环播放设置信息、轨道描述信息；其中，辅轨道中声音片段开始位置的定位方式包括绝对时间定位方式及相对绑定定位方式；在绝对时间定位方式中，辅轨道中声音片段的开始位置位于由全局时间轴定义的具体时刻；在相对绑定定位方式中，辅轨道中声音片段的开始位置位于相对于锚点的偏置时刻，所述锚点由主轨道中声音片段提供；其中，当循环播放生效时，所述循环播放设置信息包括循环结束位置；循环结束位置的设定包括由循环后的绝对时长进行设定，或者由主轨道中声音片段提供的锚点进行设定；在混音处理过程中，所述混音处理器通过音效处理器获取经过音效处理的音频素材，并将获取的音频素材添加至编辑显示器的编辑视图中，添加的音频素材被放置在编辑用户设定位置。5.根据权利要求2所述的文本与音频呈现处理方法，其特征在于，其中，后期制作工程包括工程默认配置信息；工程默认配置信息包括主轨道中声音片段之间的默认间隔值、混音处理的目标增益设定值、录音员的语速估计值；其中，主轨道中声音片段之间的默认间隔值为默认的前导静音时长，混音处理的目标增益设定值包括人声、音乐、音效的目标音量值；在混音处理过程中，当文本段落尚未进行录制而导致主音频片段缺乏关联的录音素材时，则该主音频片段在主轨道上所占的时长由工程默认配置信息中的录音员语速估计值和段落字数共同确定，或者由编辑用户选择语音合成结果作为录音素材临时使用。6.一种文本与音频呈现处理系统，其特征在于，包括依次相互连接的脚本编辑设备、后...

【专利技术属性】
技术研发人员：范梓野，朱风云，
申请(专利权)人：大连即时智能科技有限公司，
类型：发明
国别省市：