一种视频字幕实时生成系统及生成方法技术方案

一种视频字幕实时生成系统，包括：声音静默采集装置，与视频播放设备电性连接，用于从视频播放设备获取声音原始电信号；前端处理装置，与所述声音静默采集装置和视频播放设备均电性连接，用于对声音原始电信号进行处理生成声音压缩电信号；远端服务器，与所述前端处理装置电性连接，用于根据声音压缩电信号生成字幕数据并且通过前端处理装置将字幕数据发送给视频播放设备。本发明专利技术提供一种视频字幕实时生成系统及生成方法，能够快速生成字幕并且实时显示。

A real-time video caption generation system and method

【技术实现步骤摘要】
一种视频字幕实时生成系统及生成方法
本专利技术涉及视频播放
，具体的说是一种视频字幕实时生成系统及生成方法。
技术介绍
听障人面临语音信息获取障碍和传递障碍，因此在信息接收和传输过程中存在困难。作为信息传递的重要媒介，视频在人们生活中具有很重要的地位，但是视频中重要信息也多是语音传达，在这样的情况下听障人很难获取有效视频信息，而听障人呼吁的视频添加字幕，由于各种各样的原因一直没能在视频中直接添加。随着语音识别技术的快速发展，利用语音识别技术实时生成字幕成为了可能。遗憾的是，语音识别技术虽然可以让语音快速转换为文字，但是语音识别技术只针对说话的语音进行转换，且语音要求原始的16000HZ，16bit的PCM格式或者特定的语音格式，通常使用时一般现场录音现场识别或者是录音后对音频文件解码进行识别。这种处理技术只涉及语音音频或者音频流。而视频播放时都是一种编码形成的格式流，是视频格式的码流和音频的码流聚合而成的新流，这种视频格式的流需要解码才能使用。在这样的情况下，要想在对视频进行字幕输出，需要对视频进行解码处理，然后再分离出音频流，然后再对音频流进行语音前后端处理，处理后才能语音转文字，生成字幕，流程非常多，也非直接对视频中音频流进行处理。
技术实现思路
为了解决现有技术中的不足，本专利技术提供一种视频字幕实时生成系统及生成方法，能够快速生成字幕并且实时显示。为了实现上述目的，本专利技术采用的具体方案为：一种视频字幕实时生成系统，包括：声音静默采集装置，与视频播放设备电性连接，用于从视频播放设备获取声音原始电信号；前端处理装置，与所述声音静默采集装置和视频播放设备均电性连接，用于对声音原始电信号进行处理生成声音压缩电信号；远端服务器，与所述前端处理装置电性连接，用于根据声音压缩电信号生成字幕数据并且通过前端处理装置将字幕数据发送给视频播放设备。作为一种优选方案，所述前端处理装置包括电性连接的核心处理器和通信模块，其中核心处理器与所述声音静默采集装置电性连接，通信模块与所述远端服务器电性连接。一种视频字幕实时生成系统的生成方法，包括如下步骤：S1、判断所述声音静默采集装置的状态，若声音静默采集装置就绪，则执行S2，否则结束；S2、启动视频播放设备并且播放视频；S3、声音静默采集装置从视频播放设备获取声音原始电信号，并且将声音原始电信号发送给所述前端处理装置；S4、前端处理装置依次对声音原始电信号进行抽样、前处理和重采样得到声音压缩电信号，并且将声音压缩电信号发送给所述远端服务器；S5、远端服务器对声音压缩电信号进行识别得到字幕数据，并且将字幕数据发送给前端处理装置；S6、前端处理装置将字幕数据发送给视频播放设备；S7、视频播放设备在视频字幕区显示字幕数据。作为一种优选方案，S1的具体方法为：S1.1、检测所述声音静默采集装置与视频播放设备的连接状态，若连接正常则执行S1.2，否则直接结束；S1.2、检测声音静默采集装置的运行状况，若运行正常则执行S2，否则直接结束。作为一种优选方案，S3中，所述声音静默采集装置每经过40ms向所述前端处理装置发送一次声音原始电信号并且清空缓存。作为一种优选方案，S4中，抽样的具体方法为：S4.11、将声音原始电信号分解为若干个连续的数据元，每N个数据元组成一组，每组数据元中抽取一个作为样本集；S4.12，将样本集转化为时域连续信号，每N个信号为一组，每组信号中抽取一个作为初始样本D；S4.13、计算除了初始样本D之外其余(N-1)个信号的绝对值之和SUM，并且计算D＝SUM/N；S4.14、若|D|≥D，则用|D|替换其余(N-1)个信号，否则用D替换其余(N-1)个信号；S4.15、重复执行S4.11至S4.14直到将声音原始电信号处理完毕得到声音一次电信号。作为一种优选方案，S4中，在执行S4.11之前对声音原始电信号进行抗混叠滤波处理。作为一种优选方案，S4中，前处理的具体方法为：S4.21、按照20ms为一帧的方式将声音一次电信号分解为若干帧数据；S4.22、利用汉明窗或者汉宁窗对每帧数据进行平滑处理；S4.23、利用低通滤波算法对平滑处理后的数据进行抗混叠滤波处理。S4中，重采样后的频率为16000HZ、量化位数为16bit。有益效果：1、本专利技术无需进行复杂的视频解码算法，极大加速视频字幕的实时生成速度，能够快速生成字幕，从而保障听障人视频观看时实时同屏得到视频字幕信息；2、本专利技术采用静默采集的方式，能够适用于任意视频格式和播放器，适用范围更广；3、本专利技术无需视频声音外放，可以减少对外界环境的干扰。附图说明图1是生成系统的结构框图；图2是前端处理装置的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1和2，一种视频字幕实时生成系统，包括声音静默采集装置、前端处理装置和远端服务器。声音静默采集装置，与视频播放设备电性连接，用于从视频播放设备获取声音原始电信号。前端处理装置，与声音静默采集装置和视频播放设备均电性连接，用于对声音原始电信号进行处理生成声音压缩电信号。远端服务器，与前端处理装置电性连接，用于根据声音压缩电信号生成字幕数据并且通过前端处理装置将字幕数据发送给视频播放设备。前端处理装置包括电性连接的核心处理器和通信模块，其中核心处理器与声音静默采集装置电性连接，通信模块与远端服务器电性连接。本系统在使用时，利用声音静默采集装置获取声音原始电信号，然后通过前端处理装置处理后发送给远端服务器，远端服务器借助于自身的高性能进行语音识别得到字幕数据，然后将字幕数据发送给前端控制装置，前端控制装置再通过视频播放设备播放字幕数据，实现实时为视频添加字幕的目的，以方便听障人观看视频，从视频中获取信息。需要说明的是，在本专利技术中，声音静默采集装置是指不需要通过录音就能够采集声音信息的装置，即并不需要视频声音外放即可顺利采集，因此成为静默采集。对于不同的视频播放设备来说，声音静默采集装置可以有不同的选择，例如对于普通计算机来说，声音静默采集装置可以采用全双工声卡，利用全双工声卡所具有的内录功能实现，当然也可以采用外置声卡的方式；前端处理装置则可以直接利用计算机的处理器；最终显示字幕的方法可以采用音乐播放器常采用的桌面歌词的方式。均是本领域的现有技术，在此不在赘述。因为本专利技术采用了静默采集的方式，所以采集到的声音信息是没有经过编码的原始电信号，避开了复杂的视频解码过程，从而大幅度地提高了本专利技术的字幕数据生成本文档来自技高网...

【技术保护点】
1.一种视频字幕实时生成系统，其特征在于，包括：/n声音静默采集装置，与视频播放设备电性连接，用于从视频播放设备获取声音原始电信号；/n前端处理装置，与所述声音静默采集装置和视频播放设备均电性连接，用于对声音原始电信号进行处理生成声音压缩电信号；/n远端服务器，与所述前端处理装置电性连接，用于根据声音压缩电信号生成字幕数据并且通过前端处理装置将字幕数据发送给视频播放设备。/n

【技术特征摘要】
1.一种视频字幕实时生成系统，其特征在于，包括：
声音静默采集装置，与视频播放设备电性连接，用于从视频播放设备获取声音原始电信号；
前端处理装置，与所述声音静默采集装置和视频播放设备均电性连接，用于对声音原始电信号进行处理生成声音压缩电信号；
远端服务器，与所述前端处理装置电性连接，用于根据声音压缩电信号生成字幕数据并且通过前端处理装置将字幕数据发送给视频播放设备。


2.如权利要求1所述的一种视频字幕实时生成系统，其特征在于，所述前端处理装置包括电性连接的核心处理器和通信模块，其中核心处理器与所述声音静默采集装置电性连接，通信模块与所述远端服务器电性连接。


3.如权利要求1所述的一种视频字幕实时生成系统的生成方法，其特征在于，包括如下步骤：
S1、判断所述声音静默采集装置的状态，若声音静默采集装置就绪，则执行S2，否则结束；
S2、启动视频播放设备并且播放视频；
S3、声音静默采集装置从视频播放设备获取声音原始电信号，并且将声音原始电信号发送给所述前端处理装置；
S4、前端处理装置依次对声音原始电信号进行抽样、前处理和重采样得到声音压缩电信号，并且将声音压缩电信号发送给所述远端服务器；
S5、远端服务器对声音压缩电信号进行识别得到字幕数据，并且将字幕数据发送给前端处理装置；
S6、前端处理装置将字幕数据发送给视频播放设备；
S7、视频播放设备在视频字幕区显示字幕数据。


4.如权利要求3所述方法，其特征在于，S1的具体方法为：
S1.1、检测所述声音静默采集装置与视频播放设备的连接状态，若连接...

【专利技术属性】
技术研发人员：宁乐飞，陈天萍，陈文杰，蔡佳良，阚小优，
申请(专利权)人：洛阳乐往网络科技有限公司，
类型：发明
国别省市：河南;41