本申请实施例提供了一种实时视频流中精确到帧的高效广告替换方法、系统及装置，包括：构建数据库，所述数据库中存储有广告替换关系；对源视频流进行浅解析，并确定被替换广告的起始帧、终止帧；对源视频流中被替换广告的起始帧前的参考缺失帧进行处理；读取替换素材码流，进行浅解析分割成码流片段；对应于源视频的被替换广告起始帧帧号，逐帧将替换素材码流的帧号进行更新；采用更新帧号后的替换素材码流对源视频流中的被替换广告进行替换；对替换后的源视频流中的终止帧之后的参考缺失帧进行处理；将上述经过处理和替换的码流作为新的视频码流并输出；本发明专利技术具有高效率、实时、码流合法且主观合理的有益效果，适用于视频处理领域。领域。领域。
【技术实现步骤摘要】
实时视频流中精确到帧的高效广告替换方法、系统及装置
[0001]本申请涉及视频处理的
，具体涉及实时视频流中精确到帧的高效广告替换方法、系统及装置。
技术介绍
[0002]随着新媒体的快速兴起，大量电视节目被新媒体渠道实时转播，进而催生了大量广告内容实时替换的实际需求，此类需求对广告替换方法和装置提出了如下要求：
[0003]实时性、突发性：广告替换过程需要实时、在线完成，也不支持过长时间的视频内容缓存，某些广告替换任务无法提前预知；
[0004]高效率：广告替换往往需要多路并行，且可能对不同的终端用户有不同替换方案，是一种海量数据高并发的需求，对实现效率非常敏感，需要尽量降低单路替换的计算资源开销；
[0005]码流合法：广告替换输出的视频码流，需要在各种解码终端正确播放，因此必须是符合输入码流编码标准的合法码流；
[0006]主观合理：被替广告的所有帧都应被新广告准确替换，并让人眼难以察觉广告被替换。
[0007]目前针对新媒体直播流的广告替换业务场景，市场上相关的解决方法可分为两大类。第一类解决方法主要针对的应用场景是单路电视节目从一个视频流切换到另一个视频流，其主要手段是将视频解码成帧图像并以帧图像为单位进行替换，具体来说是对源视频流和切换视频流先解码成帧图像、再逐帧替换并重新编码的方法，该类方法虽然能满足实时性、码流合法、主观合理的要求，但难以满足大量广告替换任务并发的应用场景所提出的高效率的要求。
[0008]第二类解决方法针对的应用场景更看重替换效率，其主要手段是以码流或码流片段为单位进行替换，具体来说还可分为两种实现方法：
[0009](1)不改变原始码流中的GOP内码流结构，而是将替换素材的码流和替换起止时间信息嵌入原始码流中，形成新的码流，输出给解码终端。解码终端需要将原始视频码流和替换素材码流都解码，并在替换时段内显示替换素材，替换时段外显示原始码流；此类方法将视频内容替换工作交给解码终端来进行，其输出的码流不是合法码流，需要与其适配的专用解码器才能正确替换。
[0010](2)对原始视频码流进行“浅解析”，能区分各个帧的码流片段即可，然后用替换素材码流中的各帧码流片段替换原始视频码流中需要被替换帧的码流片段；但单纯使用这种方法可能造成GOP中被参考的帧被替换掉，导致因参考帧缺失而无法正确解码的情况。一些采用此类方法的技术方案，其应用场景并无严格的在特定帧切换的需求，因此在受到切换指令之后可以找下一个I帧进行切换，从而避免参考帧缺失的问题。另有一些技术方案的应用场景具有严格的切换时刻要求，则将原始视频码流中切换位置所在GOP局部解码，去掉需被替换的帧，再重新编码，以避免参考帧缺失的问题。但这难以满足高效率的要求。
[0011]在
技术介绍
中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。
技术实现思路
[0012]本申请实施例由于采用以上技术方案，具有以下技术效果：
[0013]针对相关技术中存在的不足，本专利技术所要解决的技术问题在于：提供一种高效率、实时、码流合法且主观合理的实时视频流中精确到帧的高效广告替换方法、系统及装置。
[0014]为解决上述技术问题，本专利技术采用的技术方案为：
[0015]实时视频流中精确到帧的高效广告替换方法，包括以下步骤：
[0016]S10，构建数据库，所述数据库中存储有广告替换关系，所述广告替换关系包括：电视节目中被替换广告、与电视节目中被替换广告对应的替换素材、以及对应帧号、编码结构、编码标准、编码参数等；
[0017]S20，对源视频流进行浅解析，并确定被替换广告的起始帧、终止帧；
[0018]S30，对源视频流中被替换广告的起始帧前的参考缺失帧进行处理；
[0019]S40，读取替换素材码流，进行浅解析分割成码流片段；对应于源视频的被替换广告起始帧帧号，逐帧将替换素材码流的帧号进行更新；
[0020]S50，采用更新帧号后的替换素材码流对源视频流中的被替换广告进行替换；
[0021]S60，对替换后的源视频流中的终止帧之后的参考缺失帧进行处理；
[0022]S70，将上述经过处理和替换的码流作为新的视频码流并输出。
[0023]优选地，所述步骤S20，对源视频流进行浅解析，并确定被替换广告的起始帧、终止帧；具体包括：
[0024]S201，将源视频码流分解成多个GOP码流片段，并在每个GOP中分解出各个帧及其帧头信息；
[0025]S202，根据被替换广告的起始时刻，计算被替换广告的起始帧的显示顺序编号、编码顺序编号；
[0026]并定位到被替换广告的起始帧、终止帧的码流片段，及其所在GOP的码流片段。
[0027]优选地，所述步骤S30，对源视频流中被替换广告的起始帧前的参考缺失帧进行处理，将参考缺失帧的码流片段替换为Pskip帧码流片段；具体包括：
[0028]S301，判断起始帧的类型，若为I帧，表示不存在需要处理的参考缺失帧；若为P帧或B帧，则执行步骤S302；
[0029]S302，需要处理的参考缺失帧为起始帧所在miniGOP中位于起始帧之前的所有帧，将参考缺失帧的码流片段替换为Pskip帧码流片段；
[0030]其中，Pskip帧码流片段中包含有Ks个Pskip帧；Ks为miniGOP中显示顺序在替换起始帧之前的帧的个数；
[0031]各个Pskip帧的帧号与被替换的各个参考缺失帧的帧号相对应。
[0032]优选地，所述步骤S50，采用更新帧号后的替换素材码流对源视频流中的被替换广告进行替换之前，还包括：
[0033]S41，处理被替换广告帧数与替换素材帧数差异，以使替换素材与被替换广告的时长相同。
[0034]优选地，所述处理被替换广告帧数与替换素材帧数差异，具体包括：
[0035]S411，判断处理被替换广告帧数与替换素材帧数差异的差异类型，若替换素材帧数大于被替换广告帧数，则执行步骤S412，否则执行步骤S413；
[0036]S412，将替换素材码流中对应于被替换广告终止帧之后的L1个多余帧进行裁剪；
[0037]S413，计算替换素材帧数与被替换广告帧数之间的缺少帧数L2，采用L2个Pskip帧将替换素材码流进行补长。
[0038]优选地，所述步骤S60，对替换后的源视频流中的终止帧之后的参考缺失帧进处理；具体包括：
[0039]将替换后的源视频流中终止帧所在图像组GOP中位于终止帧之后的未替换的各帧码流片段，用Pskip帧码流片段进行替换，各个Pskip帧的帧号被设置为与被替换的各个帧的帧号相同。
[0040]优选地，所述替换素材采用IPPP编码结构、且与对应的电视节目源视频流的编码标准、编码参数相同。
[0041]优选地，所述数据库中存储有预先编码的Pskip帧，所述Pskip帧与本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实时视频流中精确到帧的高效广告替换方法，其特征在于：包括以下步骤：S10，构建数据库，所述数据库中存储有广告替换关系，所述广告替换关系包括：电视节目中被替换广告、与电视节目中被替换广告对应的替换素材、以及对应帧号、编码结构、编码标准、编码参数等；S20，对源视频流进行浅解析，并确定被替换广告的起始帧、终止帧；S30，对源视频流中被替换广告的起始帧前的参考缺失帧进行处理；S40，读取替换素材码流，进行浅解析分割成码流片段；对应于源视频的被替换广告起始帧帧号，逐帧将替换素材码流的帧号进行更新；S50，采用更新帧号后的替换素材码流对源视频流中的被替换广告进行替换；S60，对替换后的源视频流中的终止帧之后的参考缺失帧进行处理；S70，将上述经过处理和替换的码流作为新的视频码流并输出。2.根据权利要求1所述的实时视频流中精确到帧的高效广告替换方法，其特征在于：所述步骤S20，对源视频流进行浅解析，并确定被替换广告的起始帧、终止帧；具体包括：S201，将源视频码流分解成多个GOP码流片段，并在每个GOP中分解出各个帧及其帧头信息；S202，根据被替换广告的起始时刻，计算被替换广告的起始帧的显示顺序编号、编码顺序编号；并定位到被替换广告的起始帧、终止帧的码流片段，及其所在GOP的码流片段。3.根据权利要求1所述的实时视频流中精确到帧的高效广告替换方法，其特征在于：所述步骤S30，对源视频流中被替换广告的起始帧前的参考缺失帧进行处理，将参考缺失帧的码流片段替换为Pskip帧码流片段；具体包括：S301，判断起始帧的类型，若为I帧，表示不存在需要处理的参考缺失帧；若为P帧或B帧，则执行步骤S302；S302，需要处理的参考缺失帧为起始帧所在miniGOP中位于起始帧之前的所有帧，将参考缺失帧的码流片段替换为Pskip帧码流片段；其中，Pskip帧码流片段中包含有Ks个Pskip帧；Ks为miniGOP中显示顺序在替换起始帧之前的帧的个数；各个Pskip帧的帧号被设置为与被替换的各帧的帧号相同。4.根据权利要求1所述的实时视频流中精确到帧的高效广告替换方法，其特征在于：所述步骤S50，采用更新帧号后的替换素材码流对源视频流中的被替换广告进行替换之前，还包括：S41，处理被替换广告帧数与替换素材帧数差异，以使替换素材与被替换广告的时长相同。5.根据权利要求4所述的实时视频流中精确到帧的高效广告替换方法，其特征在于：所述处理被替换...
【专利技术属性】
技术研发人员：李英斌，王玉全，崔文聪，李烨，杨娜，高鑫翼，孙雨甜，
申请(专利权)人：中央广播电视总台，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。