一种实时字幕播出方法及系统技术方案

本发明专利技术公开了一种实时字幕播出方法及系统，该方法包括：将媒体流分段生成多个媒体流片段；提取多个媒体流片段中的每个媒体流片段的音频信息；根据音频信息生成字幕流，其中，字幕流包括，字幕文件和字幕文件对应的索引信息；存储多个字幕流；接收终端发送的播放请求，播放请求用于查找第一流媒体片段对应的第一字幕流；当确定第一字幕流已存储，向终端发送第一字幕流和第一流媒体片段，以便终端解析第一字幕流，得到第一字幕内容，使第一字幕内容和第一媒体流片段同步播放。本发明专利技术实现了直播时同步播放字幕内容和流媒体片段。

【技术实现步骤摘要】

本专利技术涉及多媒体通信领域，尤其涉及一种实时字幕播出方法及系统。
技术介绍
近年来，随着我国宽带网络建设和媒体技术的飞速发展，流媒体业务已逐渐成为互联网中最具代表性的应用。基于分段思想的媒体分发方法具有快速启动、自适应码率切换、用户体验好等优点，得到广泛应用。目前，流媒体技术已经是比较成熟的媒体技术，广泛应用于电子商务、新闻发布、视频直播、视频点播、视频会议和即时通信等互联网信息服务上。为了给用户带来更丰富的体验，除了向用户提供优质的视频服务外，一般还提供字幕服务。对于点播媒体，工作人员有足够的时间对视频做后期处理，加上字幕；对于字幕显示位置固定或变化不大的直播，比如体彩号、比赛比分等，可以基于字幕模板实时更新固定位置的字幕信息；但对于更为广泛的直播，字幕无法实时生成。对于直播现场比较混乱的情况或者有听力障碍的观众，没有字幕的直播，将导致观众无法获取到准确信息，用户体验满意度将大大降低。
技术实现思路
本专利技术的目的是为了解决现有技术存在的上述不足，提供一种通过对直播过程中的流媒体片段进行音频信息提取，从而生成字幕文件，使终端同步播放字幕内容和流媒体片段的方法。为实现上述目的，第一方面，本专利技术提供了一种实时字幕播出方法，该方法包括以下步骤：将媒体流分段生成多个媒体流片段；提取多个媒体流片段中的每个媒体流片段的音频信息；根据音频信息生成字幕流，其中，字幕流包括，字幕文件和字幕文件对应的索引信息；存储多个字幕流；接收终端发送的播放请求，播放请求用于查找第一流媒体片段对应的第一字幕流；当确定第一字幕流已存储，向终端发送第一字幕流和第一流媒体片段，以便终端解析第一字幕流，得到第一字幕内容，使第一字幕内容和第一媒体流片段同步播放。优选地，该方法还包括：当第一字幕流发送完毕，将存储的第一字幕流进行删除。优选地，将媒体流分段生成多个媒体流片段，还包括：确定多个媒体流片段中的一个媒体流片段为第一段媒体流片段；当多个媒体流片段中的一个媒体流片段为第一段媒体流片段时，生成第一段媒体流片段对应的索引信息。优选地，将媒体流分段生成多个媒体流片段，还包括：当多个媒体流片段中的一个媒体流片段为第N段媒体流片段时，确定第N-1段媒体流片段对应的字幕流已存储，其中，N为大于1的整数；当第N-1段媒体流片段对应的字幕流已存储时，生成第N段媒体流片段对应的索引信息。第二方面，本专利技术提供了一种实时字幕播出方法，该方法包括以下步骤：向服务器发送播放请求，播放请求用于查找第一流媒体片段对应的第一字幕流；接收服务器发送的第一流媒体片段和第一媒体流片段对应的第一字幕流；解析第一字幕流，得到第一字幕内容，使第一字幕内容和第一媒体流片段同步播放。第三方面，本专利技术提供了一种服务器，该服务器包括：编码模块、字幕生成模块、处理模块；编码模块用于将媒体流分段生成多个媒体流片段；字幕生成模块用于提取多个媒体流片段中的每个媒体流片段的音频信息；并且，根据音频信息生成字幕流，其中，字幕流包括，字幕文件和字幕文件对应的索引信息；处理模块用于存储多个字幕流；处理模块还用于接收终端发送的播放请求，并根据播放请求，将第一媒体流片段和第一媒体流片段对应的第一字幕流发送至终端。优选地，处理模块还用于，当第一流字幕流发送完毕，将存储的第一字幕流进行删除。优选地，编码模块还用于：确定多个媒体流片段中的一个媒体流片段为第一段媒体流片段；当多个媒体流片段中的一个媒体流片段为第一段媒体流片段时，生成第一段媒体流片段对应的索引信息。优选地，编码模块还用于：当多个媒体流片段中的一个媒体流片段为第N段媒体流片段时，确定第N-1段媒体流片段对应的字幕流已存储，其中，N为大于1的整数；当第N-1段媒体流片段对应的字幕流已存储时，生成第N段媒体流片段对应的索引信息。第四方面，本专利技术提供了一种系统，该系统包括：终端和服务器；该终端包括：发送模块、接收模块、解析模块和显示模块；发送模块用于向服务器发送播放请求，播放请求用于查找第一流媒体片段对应的第一字幕流；接收模块用于接收服务器发送的第一流媒体片段和第一媒体流片段对应的第一字幕流；解析模块用于解析第一字幕流，得到第一字幕内容；显示模块用于同步播放第一字幕内容和第一媒体流片段。本专利技术通过对直播过程中的流媒体片段进行音频信息提取，实时生成每个流媒体片段对应的字幕流，从而使终端同步播放字幕内容和流媒体片段。同时，本专利技术将字幕流与流媒体片段分开传输，使字幕流只需以简单文本格式即可进行传输，简单高效；并且字幕的结构不受限制，可以轻易扩展，极大地提升了用户体验度。附图说明图1为本专利技术实施例提供的一种实时字幕播出方法的示意过程图；图2为本专利技术实施例提供的一种生成多个媒体流片段的方法流程图；图3为本专利技术实施例提供的一种安装应用程序的方法流程图；图4为本专利技术实施例提供的一种实时字幕播出系统的结构性框图。具体实施方式为使本专利技术实施例的技术方案以及优点表达的更清楚，下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。图1为本专利技术实施例提供的一种实时字幕播出方法流程图，如图1所示，该方法包括：步骤110，将媒体流分段生成多个媒体流片段。具体地，如图2所示，步骤110，将媒体流分段生成多个媒体流片段，还包括：步骤111，确定多个媒体流片段中的一个媒体流片段为第一段媒体流片段。当多个媒体流片段中的一个媒体流片段为第一段媒体流片段时，执行步骤113；当所述多个媒体流片段中的一个媒体流片段为第N段媒体流片段时，其中，N为大于1的整数，执行步骤112。步骤112，确定第N-1段媒体流片段对应的字幕流已存储，其中，N为大于1的整数。当第N-1段媒体流片段对应的字幕流已存储完毕时，执行步骤113；若第N-1段媒体流片段对应的字幕流未存储完毕，则挂起等待，直至第N-1段媒体流片段对应的字幕流存储完毕，再执行步骤113。步骤113，生成第N段媒体流片段对应的索引信息。步骤120，提取多个媒体流片段中的每个媒体流片段的音频信息。需要说明的是，若无媒体流片段生成时，则挂起等待。步骤130，根据音频信息生成字幕流，其中，字幕流包括，字幕文件和字幕文件对应的索引信息。具体地，生成字幕时需记录音频相对时间与当前字幕内容的对应关系以及当前音频片段在整个直播媒体片段中的序号，并以该媒体片段序号为区分特征为该字幕文件命名。索引信息指向字幕文件的存储位置，使终端能正确地请求到该字幕文件。步骤140，存储多个字幕流。具体地，当存储第一段字幕流时，新建一个索引文件，并添加索引信息。当存储第N段字幕流时，将新生成的索引信息添加到原索引文件末尾，同时删除索引文件中最前端、已被请求过的片段索引信息。同时，将字幕文件存到索引指定的位置，并删除索引文件中最前端索引对应的字幕文件。步骤145，终端向服务器发送播放请求，播放请求用于查找第一流媒体片段对应的第一字幕流。可选地，播放请求可以包括：请求第一索引文件，根据第一索引文件信息请求第一字幕文件。步骤150，接收终端发送的播放请求，播放请求用于查找第一流媒体片段对应的第一字幕流。步骤160，当确定第一字幕流已存储。需要说明的是，当第一字幕流未存储，则拒绝该请求。终端收到请求失败信息后，将增大向服务器请求字幕索引文件的频率，继续请求该索引文件，直本文档来自技高网...

【技术保护点】
一种实时字幕播出方法，其特征在于，该方法包括：将媒体流分段生成多个媒体流片段；提取所述多个媒体流片段中的每个媒体流片段的音频信息；根据所述音频信息生成字幕流，其中，所述字幕流包括，字幕文件和所述字幕文件对应的索引信息；存储多个所述字幕流；接收终端发送的播放请求，所述播放请求用于查找第一流媒体片段对应的第一字幕流；当确定所述第一字幕流已存储，向所述终端发送所述第一字幕流和所述第一流媒体片段，以便所述终端解析所述第一字幕流，得到第一字幕内容，使所述第一字幕内容和所述第一媒体流片段同步播放。

【技术特征摘要】
1.一种实时字幕播出方法，其特征在于，该方法包括：将媒体流分段生成多个媒体流片段；提取所述多个媒体流片段中的每个媒体流片段的音频信息；根据所述音频信息生成字幕流，其中，所述字幕流包括，字幕文件和所述字幕文件对应的索引信息；存储多个所述字幕流；接收终端发送的播放请求，所述播放请求用于查找第一流媒体片段对应的第一字幕流；当确定所述第一字幕流已存储，向所述终端发送所述第一字幕流和所述第一流媒体片段，以便所述终端解析所述第一字幕流，得到第一字幕内容，使所述第一字幕内容和所述第一媒体流片段同步播放。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述第一流字幕流发送完毕，将存储的所述第一字幕流进行删除。3.根据权利要求1或2所述的方法，其特征在于，所述将媒体流分段生成多个媒体流片段，还包括：确定所述多个媒体流片段中的一个媒体流片段为第一段媒体流片段；当所述多个媒体流片段中的一个媒体流片段为第一段媒体流片段时，生成所述第一段媒体流片段对应的索引信息。4.根据权利要求3所述的方法，其特征在于，所述将媒体流分段生成多个媒体流片段，还包括：当所述多个媒体流片段中的一个媒体流片段为第N段媒体流片段时，确定第N-1段媒体流片段对应的字幕流已存储，其中，N为大于1的整数；当所述第N-1段媒体流片段对应的字幕流已存储时，生成所述第N段媒体流片段对应的索引信息。5.一种实时字幕播出方法，其特征在于，所述方法包括：向服务器发送播放请求，所述播放请求用于查找第一流媒体片段对应的第一字幕流；接收所述服务器发送的所述第一流媒体片段和所述第一媒体流片段对应的第一字幕流；解析所述第一字幕流，得到第一字幕内容，使所述第一字幕内容和所述第一媒体流片段同步播放。6.一种服务器，其特征在于，所述服务器包括：...

【专利技术属性】
技术研发人员：朱小勇，耿立宏，郭志川，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：北京;11