本发明专利技术实施例涉及自然语言处理技术领域，公开了一种直播字幕转写方法，该方法包括：对当前直播视频画面进行场景识别确定场景类别；场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本；第一数据特征包括当前直播视频画面中当前发言人的音频特征、口型视频特征、文本特征及知识图谱特征；场景类别为比赛场景时，将第二数据特征输入比赛场景字幕转写模型，得到转写后的字幕文本；第二数据特征包括当前直播视频画面中当前发言人的音频特征、文本特征和知识图谱特征；将转写后的字幕文本以字幕的形式显示在当前直播视频画面中。通过上述方式，本发明专利技术实施例实现了有效提高实时字幕转写的准确率的效果。确率的效果。确率的效果。
【技术实现步骤摘要】
直播字幕转写方法、装置、设备及计算机可读存储介质
[0001]本专利技术实施例涉及自然语言处理
，具体涉及一种直播字幕转写方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]现如今，大部分直播视频无法实时显示字幕；另外，有些视频的字幕也是在视频录制完成后，再由人工录入进去，即在视频重播时才可以看到字幕；最后，也有些直播视频是采用语音实时转写技术，将视频的语音信息实时转写成文字，并以字幕的形式显示在视频上。
[0003]现有技术中存在的缺点：现有直播技术中，很少完成字幕的实时转写；即使进行了实时撰写，在直播场景下，基于语音实时转写技术的准确率有限。
技术实现思路
[0004]鉴于上述问题，本专利技术实施例提供了一种直播字幕转写方法、装置、设备及计算机可读存储介质，用于解决现有技术中存在的在直播场景下，基于语音实时转写技术的准确率有限问题。
[0005]根据本专利技术实施例的一个方面，提供了一种直播字幕转写方法，所述方法包括：
[0006]对当前直播视频画面进行场景识别，确定场景类别；
[0007]当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本；所述第一数据特征包括所述当前直播视频画面中当前发言人的音频特征、口型视频特征、文本特征及知识图谱特征；
[0008]当所述场景类别为比赛场景时，将第二数据特征输入比赛场景字幕转写模型，得到转写后的字幕文本；所述第二数据特征包括所述当前直播视频画面中当前发言人的音频特征、文本特征和知识图谱特征；
[0009]将所述转写后的字幕文本以字幕的形式显示在所述当前直播视频画面中。
[0010]在一种可选的方式中，所述对当前直播视频画面进行场景识别，确定场景类别，包括：
[0011]通过视频场景识别模型对当前直播视频画面进行场景识别，得到所述当前直播画面对应的场景类别；
[0012]所述视频场景识别模型为预先根据直播视频样本输入至预设的分类模型中训练得到的。
[0013]在一种可选的方式中，所述当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本之前，所述方法还包括：
[0014]对所述当前直播视频画面进行人脸识别，得到当前发言人的人脸视频数据及口型视频数据；
[0015]对所述当前直播视频画面的音频数据进行语音识别，得到当前发言人的语音识别
文本数据；
[0016]基于所述语音识别文本数据在预先构建的第一知识图谱中检索，得到所述语音识别文本数据对应的知识数据；
[0017]对所述音频数据、所述口型视频数据、所述语音识别文本数据及所述知识数据分别进行特征提取，得到第一数据特征。
[0018]在一种可选的方式中，所述演播场景字幕转写模型包括特征融合模块、编码层、输出层；所述当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本，包括：
[0019]将所述音频特征、所述口型视频特征、所述文本特征和所述知识图谱特征进行特征融合，获得多模态融合特征；
[0020]将所述多模态融合特征输入至编码层进行计算，得到编码后的多模态融合特征；
[0021]将所述编码后的多模态融合特征输入至输出层，得到转写后的字幕文本。
[0022]在一种可选的方式中，所述将所述音频特征、所述口型视频特征、所述文本特征和所述知识图谱特征进行特征融合，获得多模态融合特征，包括：
[0023]将所述音频特征和所述文本特征进行融合，得到融合后的音频与文本特征；
[0024]将所述口型视频特征与所述文本特征进行融合，得到融合后的口型视频与文本特征；
[0025]将所述知识图谱特征与所述文本特征进行融合，得到融合后的知识与文本特征；
[0026]将所述融合后的音频与文本特征、所述融合后的口型视频与文本特征、所述融合后的知识与文本特征以及所述文本特征，进行加权融合得到多模态融合特征。
[0027]在一种可选的方式中，所述当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本之前，所述方法还包括：
[0028]根据所述当前发言人的人脸视频数据确定当前发言人的身份名称；
[0029]当未能通过所述当前发言人的人脸视频数据确定当前发言人的身份名称时，对所述当前直播视频画面中当前发言人的音频数据提取声纹特征；
[0030]根据所述声纹特征，确定当前发言人的身份名称；
[0031]当未能通过所述声纹特征确定当前发言人的身份名称时，将当前发言人的音频数据及所述当前发言人的语音识别文本数据输入角色识别模型，得到当前发言人的角色名称，以作为当前发言人的身份名称。
[0032]在一种可选的方式中，所述将所述转写后的字幕文本以字幕的形式显示在所述当前直播视频画面中，包括：
[0033]将所述当前发言人的身份名称以及所述转写后的字幕文本拼接组合为当前发言人的字幕文本信息；
[0034]将所述字幕文本信息显示在所述当前直播视频画面中。
[0035]根据本专利技术实施例的另一方面，提供了一种直播字幕转写装置，包括：
[0036]确定模块，用于对当前直播视频画面进行场景识别，确定场景类别；
[0037]第一转写模块，用于当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本；所述第一数据特征包括所述当前直播视频画面中当前发言人的音频特征、口型视频特征、文本特征及知识图谱特征；
[0038]第二转写模块，用于当所述场景类别为比赛场景时，将第二数据特征输入比赛场景字幕转写模型，得到转写后的字幕文本；所述第二数据特征包括所述当前直播视频画面音频特征、文本特征和知识图谱特征；
[0039]显示模块，用于将所述转写后的字幕文本以字幕的形式显示在所述当前直播视频画面中。
[0040]根据本专利技术实施例的另一方面，提供了一种直播字幕转写设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
[0041]所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的直播字幕转写方法的操作。
[0042]根据本专利技术实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在直播字幕转写设备上运行时，使得直播字幕转写设备执行所述的直播字幕转写方法的操作。
[0043]本专利技术实施例通过对当前直播视频画面进行场景识别，确定场景类别；当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本；所述第一数据特征包括所述当前直播视频画面中当前发言人的音频特征、口型视频特征、文本特征及知识图谱特征；当所述场景类别为比赛场景时，将第二数据特本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种直播字幕转写方法，其特征在于，所述方法包括：对当前直播视频画面进行场景识别，确定场景类别；当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本；所述第一数据特征包括所述当前直播视频画面中当前发言人的音频特征、口型视频特征、文本特征及知识图谱特征；当所述场景类别为比赛场景时，将第二数据特征输入比赛场景字幕转写模型，得到转写后的字幕文本；所述第二数据特征包括所述当前直播视频画面中当前发言人的音频特征、文本特征和知识图谱特征；将所述转写后的字幕文本以字幕的形式显示在所述当前直播视频画面中。2.根据权利要求1所述的方法，其特征在于，所述对当前直播视频画面进行场景识别，确定场景类别，包括：通过视频场景识别模型对当前直播视频画面进行场景识别，得到所述当前直播画面对应的场景类别；所述视频场景识别模型为预先根据直播视频样本输入至预设的分类模型中训练得到的。3.根据权利要求1所述的方法，其特征在于，所述当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本之前，所述方法还包括：对所述当前直播视频画面进行人脸识别，得到当前发言人的人脸视频数据及口型视频数据；对所述当前直播视频画面的音频数据进行语音识别，得到当前发言人的语音识别文本数据；基于所述语音识别文本数据在预先构建的第一知识图谱中检索，得到所述语音识别文本数据对应的知识数据；对所述音频数据、所述口型视频数据、所述语音识别文本数据及所述知识数据分别进行特征提取，得到第一数据特征。4.根据权利要求3所述的方法，其特征在于，所述演播场景字幕转写模型包括特征融合模块、编码层、输出层；所述当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本，包括：将所述音频特征、所述口型视频特征、所述文本特征和所述知识图谱特征进行特征融合，获得多模态融合特征；将所述多模态融合特征输入至编码层进行计算，得到编码后的多模态融合特征；将所述编码后的多模态融合特征输入至输出层，得到转写后的字幕文本。5.根据权利要求4所述的方法，其特征在于，所述将所述音频特征、所述口型视频特征、所述文本特征和所述知识图谱特征进行特征融合，获得多模态融合特征，包括：将所述音频特征和所述文本特征进行融合，得到融合后的音频与文本特征；将所述口型视频特征与所述文本特征进行融合，得到融合后的口型视频与文本特征；将所述知识图谱特征与所述文本特征进行融合，得到融合后的知识与文本特征；将所述...
【专利技术属性】
技术研发人员：周晓晓，李琳，周效军，陆彦良，李东晓，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。