一种视频中音频的变换方法及装置制造方法及图纸

本发明专利技术披露了一种视频中音频的变换方法，包括步骤：获取字幕，所述字幕与视频对应；识别字幕信息中与预设字段列表中字段相匹配的字段，以这些字段为第一字段，以第一字段在视频中出现的时间位置为第一位置，以第一位置的音频为第一音频；以预设方案变换所述第一音频。并且发明专利技术人还同时提供了一种实现上述方法的视频中音频的变换装置。上述技术方案能有效地从字幕中提取需要重点学习的字段并以视听效果强调标记，寓教于乐地有效提升用户的学习效率以及记忆效果。

【技术实现步骤摘要】
一种视频中音频的变换方法及装置
本专利技术涉及多媒体处理领域，特别涉及一种视频中音频的变换方法及装置。
技术介绍
随着文化生活的日益丰富和对外交流需求的日趋扩大，越来越多的外语学习者选择通过观看外语纪录片、电视剧、电影等方式扩充词汇量、提升外语能力。事实上，在日常休闲过程中潜移默化地接触外语词汇的确能够更有效地帮助记忆，提升学习效率，并且与一定语境和视听效果结合的记忆将给学习者留下更深刻的印象。然而，目前利用休闲娱乐性质的多媒体资料进行外语学习的方式多存在于学习者自行选择的方式中，并没有一种技术能对休闲娱乐性质的多媒体资料中的语音内容与学习者所需的外语知识资料库建立系统联系从而达到更有目的性和针对性的学习效果，也无法有效利用多媒体媒介的特性对某一知识点进行视听有机结合的学习。
技术实现思路
为此，需要提供一种视频中音频的变换方法及其装置。为实现上述目的，专利技术人提供了一种一种视频中音频的变换方法，包括步骤:获取字幕，所述字幕与视频对应；识别字幕信息中与预设字段列表中字段相匹配的字段，以这些字段为第一字段，以第一字段在视频中出现的时间位置为第一位置，以第一位置的音频为第一音频；以预设方案变换所述第一音频。进一步地，所述的视频中音频的变换方法中，在步骤“以预设方案变换所述第一音频”后还包括步骤:以预设方案变换视频第一位置的单帧图像或多帧图像。进一步地，所述的视频中音频的变换方法中，所述获取字幕步骤具体包括:获取文本格式的字幕，或获取图片格式的字幕，辨别和提取所述图片中的文字信息。进一步地，所述的视频中音频的变换方法中，步骤“以预设方案变换所述第一音频”具体包括:以第二音频替换第一音频，所述第二音频为对应于第一字段的音频；或以第三音频替换第一音频，所述第三音频为经处理的第一音频与第二音频的叠加音频。进一步地，所述的视频中音频的变换方法中，步骤“以预设方案变换视频第一位置的单帧图像或多帧图像”具体包括:在所述单帧图像或多帧图像的预设位置添加对应于第一字段的文字信息；或以预设方案变化或替换所述单帧图像或多帧图像中的字幕中对应于第一字段的文字。此外，专利技术人还提供了一种视频中音频的变换装置，包括字幕获取单元、字段识别单元和音频变换单元；所述字幕获取单元用于获取字幕，所述字幕与视频对应；所述字段识别单元用于识别字幕信息中与预设字段列表中字段相匹配的字段，以这些字段为第一字段，以第一字段在视频中出现的时间位置为第一位置，以第一位置的音频为第一音频；所述音频变换单元用于以预设方案变换所述第一音频。进一步地,所述的视频中音频的变换装置,还包括视频变换单元；所述视频变换单元用于以预设方案变换视频第一位置的单帧图像或多帧图像。进一步地，所述的视频中音频的变换装置中，字幕获取单元获取字幕具体包括:获取文本格式的字幕，或获取图片格式的字幕，辨别和提取所述图片中的文字信息。进一步地，所述的视频中音频的变换装置中，音频变换单元以预设方案变换所述第一音频具体包括:以第二音频替换第一音频，所述第二音频为对应于第一字段的音频；或以第三音频替换第一音频，所述第三音频为经处理的第一音频与第二音频的叠加音频。进一步地，所述的视频中音频的变换装置中，视频变换单元以预设方案变换视频第一位置的单帧图像或多帧图像具体包括:在所述单帧图像或多帧图像的预设位置添加对应于第一字段的文字信息；或以预设方案变化或替换所述单帧图像或多帧图像中的字幕中对应于第一字段的文字。区别于现有技术，上述技术方案能有效地从字幕中提取需要重点学习的字段并以视听效果强调标记，寓教于乐地有效提升用户的学习效率以及记忆效果。【附图说明】图1为本专利技术一实施方式所述视频中音频的变换方法的流程图；图2为本专利技术另一实施方式所述视频中音频的变换装置的功能模块示意图。附图标记说明:1-字幕获取单元2-字段识别单元3-音频变换单元4-视频变换单元5-存储单元6-判断单元【具体实施方式】为详细说明技术方案的
技术实现思路
、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。请参阅图1，为本专利技术一实施方式所述视频中音频的变换方法的流程图。所述方法包括步骤:S1、获取字幕，所述字幕与视频对应；S2、识别字幕信息中与预设字段列表中字段相匹配的字段，以这些字段为第一字段，以第一字段在视频中出现的时间位置为第一位置，以第一位置的音频为第一音频；S3、以预设方案变换所述第一音频；S4、以预设方案变换视频第一位置的单帧图像或多帧图像。进一步地，步骤SI所述的获取字幕具体包括获取文本格式的字幕，或获取图片格式的字幕，辨别和提取所述图片中的文字信息。具体地，获取字幕的方式可以是获取该视频的图片格式字幕或文本格式字幕，首先获取视频文件对应的路径，并在统一路径下按扩展名搜索字幕文件，文本格式字幕文件的扩展名通常是 ass (Advanced Substation Alpha)、srt (Sub Rip Text)等；而图片格式字幕常见由字幕图片文件(如.sub文档)和字幕索引文件(如.idx文档)组成，一个.sub文档可同时包含多语言字幕，由.1dx文档进行调用。对图片格式字幕，可以按一定的转换方法(如光学字符识别OCR法，或直接调用Subrip、Vobsub, SubToSrt等字幕格式转换软件)将其转换为文本格式字幕，并按照字幕的挂载形式进行转换:若字幕是以外挂或内挂形式挂载则直接获取并转换为文本格式字幕；若字幕是以内嵌形式挂载，则从相应的视频帧的图片文件中以光学文字识别(OCR)算法获取字幕中的文字。优选的处理方式为:获取当前帧图像，以该图像下方高度10%，宽度100%矩形内截取粗定位图像，对该粗定位图像进行光学字符识别(OCR)处理获取文本信息。更进一步地，由于字幕所在图像像素通常是不变的，可以基于此特性更精确地获得文本所在位置，其方法为，获取连续N帧图像(本例中N = 5)，对每帧图像获取粗定位图像，对N帧粗定位图像的对应像素点进行比较，如果其BGR三通道灰度值之差在一定范围R(本例为10)之内，则标记不定点，截取包含所有不动点的最小外接矩形内的图像，并以光学字符识别(OCR)算法获取文本。在某些实施例中，获取字幕的方式还可以是分析音频并分离背景音效与人声，从获取的人声中通过语音识别技术确定与人声相对应的文字及其于视频中的位置信息。步骤S2中所述的字段可以是单词、词组、短语或句子；所述预设字段列表可以是预设的词汇库如大学英语四级词库、大学英语六级词库、托福(TOEFL)考试词库、雅思(IELTS)考试词库等词库中的字段的英文或中文形式字段；可以是大学日语四级词库、大学日语六级词库、日语等级考试(JLPT)N1-N5各等级词库等词汇库中的字段的日文或中文形式字段，以及其他多种外语的教科书大纲词汇库、考试大纲词汇库、双语或多语种字典等词库的字段。同时，预设字段列表还可以是用户自定义词库，其中内容由用户根据自己学习进度和掌握程度自行添加。步骤S3中，以预设方案变换所述第一音频具体包括:以第二音频替换第一音频，所述第二音频为对应于第一字段的音频；或以第三音频替换第一音频，所述第三音频为经处理的第一音频与第二音频的叠加音频。具体地，例如视频中人声台词为“I suspect a diaphragmati本文档来自技高网...

【技术保护点】
一种视频中音频的变换方法，包括步骤：获取字幕，所述字幕与视频对应；识别字幕信息中与预设字段列表中字段相匹配的字段，以这些字段为第一字段，以第一字段在视频中出现的时间位置为第一位置，以第一位置的音频为第一音频；以预设方案变换所述第一音频。

【技术特征摘要】
1.一种视频中音频的变换方法，包括步骤: 获取字幕，所述字幕与视频对应； 识别字幕信息中与预设字段列表中字段相匹配的字段，以这些字段为第一字段，以第一字段在视频中出现的时间位置为第一位置，以第一位置的音频为第一音频； 以预设方案变换所述第一音频。2.如权利要求1所述的视频中音频的变换方法中，在步骤“以预设方案变换所述第一音频”后还包括步骤: 以预设方案变换视频第一位置的单帧图像或多帧图像。3.如权利要求1或2所述的视频中音频的变换方法中，所述获取字幕步骤具体包括: 获取文本格式的字幕，或 获取图片格式的字幕，辨别和提取所述图片中的文字信息。4.如权利要求1或2所述的视频中音频的变换方法中，步骤“以预设方案变换所述第一音频”具体包括: 以第二音频替换第一音频，所述第二音频为对应于第一字段的音频；或 以第三音频替换第一音频，所述第三音频为经处理的第一音频与第二音频的叠加音频。5.如权利要求2所述的视频中音频的变换方法中，步骤“以预设方案变换视频第一位置的单帧图像或多帧图像”具体包括: 在所述单帧图像或多帧图像的预设位置添加对应于第一字段的文字信息；或 以预设方案变化或替换所述单帧图像或多帧图像中的字幕中对应于第一字段的文字。6.一种视频中音频的变换装置，包括字幕获取单...

【专利技术属性】
技术研发人员：刘德建，汪松，关胤，
申请(专利权)人：福建天晴数码有限公司，
类型：发明
国别省市：福建;35