一种视频编码处理方法及装置制造方法及图纸

技术编号:38719982 阅读:24 留言:0更新日期:2023-09-08 23:15
本发明专利技术公开了一种视频编码处理方法及装置,该方法检测到实时网速发生变化时,将目标码率配置为不大于实时网速并重新分配比特数;其中,向各帧分配的比特数用于控制编码过程;基于分配得到的比特数,对采集到的视频进行压缩编码;将采集到的音频数据按时间顺序分割为多个音频片段,并按照时间顺序将所述音频片段输入语音识别模型,依次得到各语音片段对应的文字;利用上下文信息纠正所述文字中的错误,并基于纠正后的文字生成字幕;将所述字幕、音频数据和压缩后的视频进行封装,以便生成直播流。能够在通过语音转字幕之前,先利用上下文信息纠正文字中的错误(例如同音字错误),然后在生成字幕,可以减少生成语句不通顺的字幕。可以减少生成语句不通顺的字幕。可以减少生成语句不通顺的字幕。

【技术实现步骤摘要】
一种视频编码处理方法及装置


[0001]本专利技术涉及视频编码
,特别涉及一种视频编码处理方法及装置。

技术介绍

[0002]在视频直播中,除了要求视频不卡顿之外,对于有解说的直播,为了给观众提供更好的体验,一般会提供自动生成字幕的功能。现有的自动生成字幕算法存在不准确的缺点。原因是,存在很多同音字,而直播涉及的领域特别多,无法采用为每个领域都训练专门的模型,训练数据的采集和训练消耗资源都很大。例如,一段语音为womenjintianjiangzhenjinayuce,可能会识别为“我们今天讲帧间预测”,也可能是,“我们今天讲针尖预测”,原因是,我们给语言识别引擎输入的是一段段音节对应的语音信号,而语音识别引擎能够很好的识别语料库中常出现的音节组合,例如“针尖”,可能由于“针尖”在语料库中出现的频率更高所以将“zhenjian”识别为“针尖”。
[0003]由于直播的字幕在服务器翻译,一般对于每一句翻译完就将语音识别得到的文字作为字幕与视频比特流一同封装到格式容器中发送给观众端,观众很容易看到语句不通顺的字幕,体验很不好。之所以存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频编码处理方法,其特征在于,所述方法包括:检测到实时网速发生变化时,将目标码率配置为不大于实时网速并重新分配比特数;其中,向各帧分配的比特数用于控制编码过程;基于分配得到的比特数,对采集到的视频进行压缩编码;将采集到的音频数据按时间顺序分割为多个音频片段,并按照时间顺序将所述音频片段输入语音识别模型,依次得到各语音片段对应的文字;利用上下文信息纠正所述文字中的错误,并基于纠正后的文字生成字幕;将所述字幕、音频数据和压缩后的视频进行封装,以便生成直播流。2.根据权利要求1所述的一种视频编码处理方法,其特征在于,所述利用上下文信息纠正所述文字中的错误,具体包括:在当前段文字识别到多音词且当前段文字不存在具有相同标签的非多音字时,向上或下一段文字寻找具有相同标签的非多音词字;其中,每段文字对应一段音频,每个多音词具有多个标签,每个标签表示该多音词读音对应的各词所在的词库;从所述非多音字对应的词库中,选择与所述多音词相同读音的词,进行替换。3.根据权利要求1所述的一种视频编码处理方法,其特征在于,所述重新分配比特数包括:选取被采集时间最早的一组未被分配比特数的帧组;其中,所述帧组为由与帧率对应数量的相邻帧构成的帧序列;计算帧组内各帧的画面复杂度以及帧组内各帧画面复杂度之和;根据帧组内各帧的画面复杂度与帧组内各帧画面复杂度之和的比值确定帧组内各帧的第一分配比例;根据所述第一分配比例和所述目标码率为各帧分配比特数,得到第一目标比特数,所述第一目标比特数用于在编码过程中控制各帧的数据量。4.根据权利要求1所述的一种视频编码处理方法,其特征在于,所述计算帧组内各帧的画面复杂度,具体包括:对于帧组内的每个帧,执行如下步骤:获取当前帧的帧二维像素数组;取出帧二维像素数组中除了最后一行和最后一列的所有元素,生成第一二维数组;取出帧二维像素数组中除了第一行和第一列的所有元素,生成第二二维数组;将第一二维数组和第二二维数组做差,得到第三二维数组;将第三二维数组中的每个元素求平方,得到第四二维数组;将第四二维数组中的各元素求和,得到当前帧的画面复杂度。5.根据权利要求1所述的一种视频编码处理方法,其特征在于,所述重新分配比特数还包括:在根据所述分配比例和所述目标码率为各帧分配比特数之后,执行为每个帧的各帧内块分配比特数的步骤;其中,所述每个帧被分割为多个帧内块;所述为每个帧的各帧内块分配比特数,具体包括:计算当前帧的各帧内块的画面复杂度以及当前帧所有帧内块的画面复杂度之和;根据当前帧的各帧内块的画面复...

【专利技术属性】
技术研发人员:陈晾
申请(专利权)人:深圳东方凤鸣科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1