一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置制造方法及图纸

本发明专利技术提供了一种实时语音转换字幕数据同步处理与画面合成直播的方法，属于图像处理技术领域，该方法需要解决声音画面字幕同步输出的问题，上述方法包括以下步骤：第一拾音器采集现场实时声音传给第一摄像机及数据处理主机，第一摄像机采集现场实时图像数据及拾音器传送来的声音画面同步合成成为实时直播的流媒体数据传输到数据处理主机中；数据处理主机将获取的流媒体数据进行声音和视频的分离，将第一拾音器采集现场实时声音数据实时进行识别转换成文字字幕；数据处理主机直接将文字字幕与直播画面同步叠加合成输出，含有文字字幕的同步直播画面，通过HDMI/VGA/SDI及RTMP流媒体等信号的输出。媒体等信号的输出。媒体等信号的输出。

【技术实现步骤摘要】
一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置


[0001]本专利技术属于图像处理
，尤其涉及一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置。

技术介绍

[0002]在新闻节目直播、网络直播、精品课程直播公开课等网络直播形式的兴起下，为了让聋哑人、外国友人及参与人员能够更加直观的了解讲述人所讲的能容，需要将现场实时讲述人讲的话转换为可显示的字幕与实时画面叠加输出。
[0003]为了达到上述直播效果，需要实时通过拾音器及摄像机将声音及画面传输给数据处理主机装置，通过数据处理主机对声音及画面进行同步及转换文字字幕，然后将文字字幕与同步的画面进行叠加合成输出最终含文字字幕的同步直播视频。

技术实现思路

[0004]本专利技术提供一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置，以解决上述问题。
[0005]本专利技术提供一种实时语音转换字幕数据同步处理与画面合成直播的方法。上述方法包括以下步骤：第一拾音器采集现场实时声音，传输给第一摄像机及数据处理主机，第一摄像机采集现场实时图像数据及拾音器传送来的声音；按照视频编解码的方式将声音及画面进行同步处理合成成为实时直播的流媒体数据，生成后的数据通过网络信号或实体线材如HDMI/SDI/VGA等传输到数据处理主机中；当数据传输到数据处理主机中后，数据处理主机按照特定的解码，将获取的流媒体数据，进行声音和视频的分离，将第一拾音器采集现场实时声音数据实时进行连接语音识别引擎，进行识别转换成多种样式的文字字幕进行屏幕展示；数据处理主机获取到的流媒体数据分离后的声音与第一拾音器采集的现场实时声音进行编码对比同步处理，处理的时间戳将视频数据直接与预处理后的文字字幕信息进行编码同步，通过数据处理主机直接将与文字字幕同步的画面进行输出，调整预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，合成为同步含有文字字幕的直播画面，再次对合成画面进行编码成流媒体数据，进行HDMI/VGA/SDI及RTMP流媒体等信号的输出。本专利技术还提供一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置，上述设备包括：包括：拾音器、摄像机和数据处理主机设备，所述拾音器与数据处理主机设备相连，摄像机与数据处理主机设备相连；所述拾音器用于采集现场实时声音；所述摄像机用于采集现场实时图像；所述数据处理主机设备用于对拾音器及摄像机传输过来的数据进行解码处理、对比同步处理、合成编码输出处理等；若现场拾音器采集现场实时声音传输给数据处理主机装置同时传输给摄像机，摄像机采集现场实时图像及声音的合成给数据处理主机装置，数据处理主机装置便可以将声音转换成文字字幕与实时直播的画面同步及叠加合成，输出成带同步字幕的视频画面，该画面可通过HDMI/VGA/SDI信号出书或RTMP流媒体信号输
出。
附图说明
[0006]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1所示为根据本专利技术的较佳实施例提供的实时语音转换字幕数据同步处理与画面合成直播的方法的流程图；图2所示为根据本专利技术的较佳实施例提供的实时语音转换字幕数据同步处理与画面合成直播的装置的结构图。
具体实施方式
[0007]下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0008]如图1所示为根据本专利技术的较佳实施例提供的实时语音转换字幕数据同步处理与画面合成直播的方法的流程图。如图1所示，本专利技术的较佳实施例提供实时语音转换字幕数据同步处理与画面合成直播的方法包括步骤101-109。
[0009]步骤101：第一拾音器采集现场实时声音；所述第一拾音器固定在所述现场区域并且所述第一拾音器对现场的实时声音进行采集。
[0010]步骤102：传输给第一摄像机及数据处理主机；针对现场区域第一拾音器所采集的实时声音向第一摄像机及数据处理主机进行传输。
[0011]步骤103：第一摄像机采集现场实时图像数据及第一拾音器传送来的声音；当摄像机对现场区域进行实时图像数据的采集的同时，会对第一拾音器传来的实时声音。
[0012]步骤104：按照视频编解码的方式将声音及画面进行同步处理合成成为实时直播的流媒体数据，传输到数据处理主机中；当第一摄像机获取实时图像数据及实时声音数据后对它们进行视频编码，形成具备音频的视频，再将该视频同步处理为流媒体数据传输到数据处理主机中。
[0013]步骤105:数据处理主机按照特定的解码，进行声音和视频的分离；当数据处理主机接收到第一摄像机的视频流媒体数据后，会按照特定的解码方式，对传送过来的视频流媒体数据进行声音和视频的分离。
[0014]步骤106:将第一拾音器采集现场实时声音数据实时进行连接语音识别引擎，进行识别转换成多种样式的文字字幕进行屏幕展示；第一拾音器所采集的现场实时声音数据进行实时连接语音识别引擎，对声音数据进行识别转换成文字信息，再将文字信息实时刷新再屏幕上成为字幕展示。
[0015]步骤107:数据处理主机处理的时间戳将视频数据直接与预处理后的文字字幕信息进行编码同步；当数据处理主机对视频流媒体数据进行声音和视频的分离后，再利用时间戳对视频数据与声音数据识别转换成的文字信息即预处理后的文字进行同步。
[0016]步骤108:数据处理主机将预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，合成为同步含有文字字幕的直播画面；当数据处理主机将视频数据与文字信息进行了同步后，将同步后的视频数据与文字信息进行画面叠加，可以通过实时展现图层叠加方式或者利用播放器图层方式进行合成叠加，同时也可以采用数据编码合成输出方式进行处理。
[0017]步骤109:数据处理主机对合成画面进行编码输出；当合成处理完成后，数据处理主机将继续对处理完的视频及叠加的字幕进行视频的编码，编码后的视频可以推送到RTMP服务器，也可以在网络远端通过流媒体播放器播放，同时可以直接通过数据处理主机的HDMI、VGA、SDI进行输出显示。
[0018]下面举例进行详细说明：在现场直播活动中，在现场部署一套数据处理主机206、摄像机202及拾音器201，该拾音器201对现场实时声音进行采集，采集的声音同步传输给摄像机202，摄像机202将同时采集现场实时图像数据及拾音器传输过来的声音进行同步处理合成，合成后的实时直播的流媒体数据再传输给数据处理主机206，数据处理主机206按照特定的解码，将获取的流媒体数据，进行声音和视频的分离，将拾音器201采集现场实时声音数据实时进行连接语音识别引擎，进行识别转换成多种样式的文字字幕进行屏幕展示；数据处理主机206获取到的流媒体数据分离后的声音与拾音器201采集的现场实时声音进行编码对比同步处理，处理的时间戳将视频数据直接与预处理后的文字字幕信息进行编码同步，通过数据处理主机206直接将与文字字幕同步的画面进行输出，调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时语音转换字幕数据同步处理与画面合成直播的方法，其特征在于，包括以下步骤：第一拾音器采集现场实时声音，传输给第一摄像机及数据处理主机，第一摄像机采集现场实时图像数据及拾音器传送来的声音；按照视频编解码的方式将声音及画面进行同步处理合成成为实时直播的流媒体数据，生成后的数据通过网络信号或实体线材如HDMI/SDI/VGA等传输到数据处理主机中；当数据传输到数据处理主机中后，数据处理主机按照特定的解码，将获取的流媒体数据，进行声音和视频的分离，将第一拾音器采集现场实时声音数据实时进行连接语音识别引擎，进行识别转换成多种样式的文字字幕进行屏幕展示；数据处理主机获取到的流媒体数据分离后的声音与第一拾音器采集的现场实时声音进行编码对比同步处理，处理的时间戳将视频数据直接与预处理后的文字字幕信息进行编码同步，通过数据处理主机直接将与文字字幕同步的画面进行输出，调整预处理后的文字字幕与输出的文字字幕同步的画面进行叠加，合成为同步含有文字字幕的直播画面，再次对合成画面进行编码成流媒体数据，进行HDMI/VGA/SDI及RTMP流媒体等信号的输出。2.根据权利要求1所述的方法，其特征在于，数据处理主机分离获取到的流媒体数据中的声音和视频，利用分离出来的声音与第一拾音器采集现场实时声音数据实时对比，进行时间戳的同步处理，将第一拾音器采集现场实施声音数据通过语音转换文字的识别引擎进行处理承德文字字幕信息进行时间戳的对比同步处理。3.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：高爱平，
申请(专利权)人：安徽文徽科技有限公司，
类型：发明
国别省市：