本申请公开了一种直播流的审查干预方法、装置、存储介质及设备，该方法包括：首先对获取到目标直播数据流进行预处理，分离出其中的音频流和视频流并进行缓存，然后对音频流进行语音识别，得到敏感词及其对应的标记信息，接着根据敏感词的标记信息，确定敏感词在音频流中出现的目标位置，并利用预设消音方式对目标位置上的音频流进行干预，得到审查干预后的音频流，进而根据音频流中音频帧的时间戳信息，从缓存的视频流中检索对应的视频帧与音频帧进行同步和播放。本申请是先基于语音识别技术，实时识别目标直播数据流中的敏感词，再利用预设消音方式，实时检测和干预敏感词及音视频的同步和播放，从而能够实现适时的延时播放，保障直播安全性。障直播安全性。障直播安全性。
【技术实现步骤摘要】
一种直播流的审查干预方法、装置、存储介质及设备
[0001]本申请涉及计算机
，尤其涉及一种直播流的审查干预方法、装置、存储介质及设备。
技术介绍
[0002]随着互联网经济的飞速发展，让直播经济异军突起，闯入了人们的视野中，当前很多直播和短视频平台对于内容的审查较为严格，对于直播主体来说，将一些违规的信息提前干预，规避敏感信息再播放出去是一个必要场景。
[0003]目前，对于直播流的审查干预方法通常有两种：一种是采用传统审查型干预系统进行审查干预，这类审查系统虽然能够通过技术手段让审查人员可以随时随地审查的更加方便，并且提供一些技术手段对违规的码流替换后播出，但由于需要安排审查员进行审查，对于提供直播平台的机构来说大量的直播活动需要投入大量的人工审查员，成本较高，并且也由于人工的参与，即使这类审查系统提供一些技术手段能够对违规的码流替换后播出，也必然需要延时几十秒，对于有些场合的直播也不太适用；而另一种则是采用技术封禁型系统进行审查干预，这类审查干预系统是利用计算机技术对直播流中的视频和音频数据进行违规内容的检测，以及结合历史大数据，比如直播间的异常流量、用户评论的违规情况等信息进行违规判断，但这类系统会对判断属于违规的直播进行技术提醒或直接封禁，虽然减少了审查人员的投入，但是也忽略了主播在某些场合只是无意识的说出违规内容，直接封禁对直播活动影响较大。可见，现有直播流的审查干预方法的审查干预结果并不理想，用户的直播体验较差。
技术实现思路
[0004]本申请实施例的主要目的在于提供一种直播流的审查干预方法、装置、存储介质及设备，能够在降低延时的情况下，对直播流媒体的敏感信息进行审查干预后将其正常播出。
[0005]本申请实施例提供了一种直播流的审查干预方法，包括：
[0006]获取待审查的目标直播数据流，并对所述目标直播数据流进行预处理，分离出所述目标直播数据流中的音频流和视频流进行缓存；
[0007]对所述音频流进行语音识别，得到敏感词以及所述敏感词对应的标记信息；
[0008]根据所述敏感词对应的标记信息，确定所述敏感词在所述音频流中出现的目标位置，并利用预设消音方式对所述目标位置上的音频流进行干预，得到审查干预后的音频流；
[0009]根据所述审查干预后的音频流中音频帧的时间戳信息，从缓存的所述视频流中检索对应的视频帧，并将所述审查干预后的音频帧和视频帧进行同步，以及将同步后的视频流进行播放。
[0010]一种可能的实现方式中，所述获取待审查的目标直播数据流，包括：
[0011]通过预设音视频采集设备获取待审查的目标直播数据流；和/或，根据网络实时消
息传输协议RTMP拉流地址获取待审查的目标直播数据流；和/或，从本地视频文件获取待审查的目标直播数据流。
[0012]一种可能的实现方式中，所述对所述音频流进行语音识别，得到敏感词以及所述敏感词对应的标记信息，包括：
[0013]对所述音频流进行语音识别，并将识别结果转换为标准字幕格式的字幕文本；
[0014]根据预设敏感词库，对所述字幕文本进行敏感词检测，确定所述敏感词并进行标记，得到所述字幕文本中包含的敏感词以及所述敏感词对应的标记信息。
[0015]一种可能的实现方式中，所述根据所述敏感词对应的标记信息，确定所述敏感词在所述音频流中出现的目标位置，包括：
[0016]根据所述敏感词对应的标记信息，确定所述敏感词在所述音频流中出现的开始时间和结束时间；
[0017]根据所述开始时间和结束时间，标记出所述敏感词在所述音频流中出现的目标位置。
[0018]一种可能的实现方式中，所述预设消音方式为静音或哔音；所述利用预设消音方式对所述目标位置上的音频流进行干预，得到审查干预后的音频流，包括：
[0019]利用静音或哔音覆盖所述目标位置上的敏感词发声的效果，得到审查干预后的音频流。
[0020]一种可能的实现方式中，所述根据所述审查干预后的音频流中音频帧的时间戳信息，从缓存的所述视频流中检索对应的视频帧，并将所述审查干预后的音频帧和视频帧进行同步，以及将同步后的视频流进行播放，包括：
[0021]根据所述审查干预后的音频流中当前时刻音频帧的时间戳信息，从缓存的所述视频流中检索出开始播放时间不大于所述当前时刻音频帧的开始播放时间的视频帧，并将所述当前时刻音频帧和检索出的视频帧编码成预设格式的视频流，作为当前时刻同步后的视频流进行播放。
[0022]一种可能的实现方式中，所述根据所述审查干预后的音频流中音频帧的时间戳信息，从缓存的所述视频流中检索对应的视频帧，并将所述审查干预后的音频帧和视频帧进行同步，以及将同步后的视频流进行播放，包括：
[0023]根据所述审查干预后的音频流中当前时刻音频帧的时间戳信息，从缓存的所述视频流中检索出开始播放时间不大于所述音频帧的开始播放时间的视频帧，以及从脱敏处理后的字幕文本中检索出开始播放时间不大于所述音频帧的开始播放时间的字幕帧；
[0024]将所述当前时刻音频帧和检索出的视频帧以及字幕帧编码成预设格式的视频流，作为当前时刻同步后的视频流进行播放。
[0025]一种可能的实现方式中，所述方法还包括：
[0026]记录对所述目标直播数据流进行审查干预所消耗的处理时间；
[0027]判断所述处理时间是否小于预设审查干预时间，若是，则调小所述预设审查干预时间；如否，则调大所述预设审查干预时间。
[0028]本申请实施例还提供了一种直播流的审查干预装置，包括：
[0029]获取单元，用于获取待审查的目标直播数据流，并对所述目标直播数据流进行预处理，分离出所述目标直播数据流中的音频流和视频流进行缓存；
[0030]识别单元，用于对所述音频流进行语音识别，得到敏感词以及所述敏感词对应的标记信息；
[0031]干预单元，用于根据所述敏感词对应的标记信息，确定所述敏感词在所述音频流中出现的目标位置，并利用预设消音方式对所述目标位置上的音频流进行干预，得到审查干预后的音频流；
[0032]同步单元，用于根据所述审查干预后的音频流中音频帧的时间戳信息，从缓存的所述视频流中检索对应的视频帧，并将所述审查干预后的音频帧和视频帧进行同步，以及将同步后的视频流进行播放。
[0033]一种可能的实现方式中，所述获取单元具体用于：
[0034]通过预设音视频采集设备获取待审查的目标直播数据流；和/或，根据网络实时消息传输协议RTMP拉流地址获取待审查的目标直播数据流；和/或，从本地视频文件获取待审查的目标直播数据流。
[0035]一种可能的实现方式中，所述识别单元包括：
[0036]识别子单元，用于对所述音频流进行语音识别，并将识别结果转换为标准字幕格式的字幕文本；
[0037]第一确定子单元，用于根据预设敏感词库，对所述字幕文本进行敏感词检测，确定所述敏感词并进行标记，得到所述字幕文本中包含的敏感本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种直播流的审查干预方法，其特征在于，包括：获取待审查的目标直播数据流，并对所述目标直播数据流进行预处理，分离出所述目标直播数据流中的音频流和视频流进行缓存；对所述音频流进行语音识别，得到敏感词以及所述敏感词对应的标记信息；根据所述敏感词对应的标记信息，确定所述敏感词在所述音频流中出现的目标位置，并利用预设消音方式对所述目标位置上的音频流进行干预，得到审查干预后的音频流；根据所述审查干预后的音频流中音频帧的时间戳信息，从缓存的所述视频流中检索对应的视频帧，并将所述审查干预后的音频帧和视频帧进行同步，以及将同步后的视频流进行播放。2.根据权利要求1所述的方法，其特征在于，所述获取待审查的目标直播数据流，包括：通过预设音视频采集设备获取待审查的目标直播数据流；和/或，根据网络实时消息传输协议RTMP拉流地址获取待审查的目标直播数据流；和/或，从本地视频文件获取待审查的目标直播数据流。3.根据权利要求1所述的方法，其特征在于，所述对所述音频流进行语音识别，得到敏感词以及所述敏感词对应的标记信息，包括：对所述音频流进行语音识别，并将识别结果转换为标准字幕格式的字幕文本；根据预设敏感词库，对所述字幕文本进行敏感词检测，确定所述敏感词并进行标记，得到所述字幕文本中包含的敏感词以及所述敏感词对应的标记信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述敏感词对应的标记信息，确定所述敏感词在所述音频流中出现的目标位置，包括：根据所述敏感词对应的标记信息，确定所述敏感词在所述音频流中出现的开始时间和结束时间；根据所述开始时间和结束时间，标记出所述敏感词在所述音频流中出现的目标位置。5.根据权利要求1所述的方法，其特征在于，所述预设消音方式为静音或哔音；所述利用预设消音方式对所述目标位置上的音频流进行干预，得到审查干预后的音频流，包括：利用静音或哔音覆盖所述目标位置上的敏感词发声的效果，得到审查干预后的音频流。6.根据权利要求1所述的方法，其特征在于，所述根据所述审查干预后的音频流中音频帧的时间戳信息，从缓存的所述视频流中检索对应的视频帧，并将所述审查干预后的音频帧和视频帧进行同步，以及将同步后的视频流进行播放，包括：根据所述审查干预后的音频流中当前时刻音频帧的时间戳信息，从缓存的所述视频流中检索出开始播放时间不大于所述当前时刻音频帧的开始播放时间的视频帧，并将...
【专利技术属性】
技术研发人员：王玮，杨灿，王兆育，丁艳燕，国丽，
申请(专利权)人：安徽听见科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。