System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种广播电视未按规定转播的识别方法技术_技高网

一种广播电视未按规定转播的识别方法技术

技术编号:41217543 阅读:3 留言:0更新日期:2024-05-09 23:38
本发明专利技术公开了一种广播电视未按规定转播的识别方法,涉及IPTV转播监测技术领域。本发明专利技术包括以下步骤,步骤一,在转播开始时间,获取直播视频流和转播视频流的数据信息,解码两路视频流并进行音画同步,缓存图片和对应的音频;步骤二,获取直播视频流和转播视频流的关键帧;步骤三,匹配关键帧,直播流转播流关键帧列表之间计算图片相似度,图片相似度大于阈值则计算音频相似度,音频相似度也大于阈值则认为在转播中,任务结束;步骤四,经过一定时间没有匹配到关键帧和音频,则认为未转播,发出告警,任务结束。在未转播情况下,本发明专利技术可以及时发出告警,用于减少未转播事故率。

【技术实现步骤摘要】

本专利技术属于iptv转播监测,涉及一种广播电视未按规定转播的识别方法


技术介绍

1、对于重大节目,如体育盛事、政治大会、重要新闻报道等,需要各电视台转播,如果没有转播则是重大的播出事故,所以对其进行监测是必要的。如果能及时识别到未转播的电视台并告警,可以挽回相当大的损失。

2、目前关于转播监测的方法大多默认已经转播,直接进行同步操作以及内容一致性的比对,比如公开号为cn112887707a的专利,其同步方式是直接对两路信号源逐帧比对,耗时太多。公开号为cn116320624a的专利简化了比对策略,但是没有同步,而且第一步异常检测方法太过简单,可能会有漏报。

3、转播监测首先应该做的是识别转播频道是否在规定时间转播,未转播则应发出告警提醒其进行转播。识别是否转播类似于两路视频流同步,即如果能匹配到相似度很高的两帧图片,则认为同步成功。但是逐帧进行比对耗时很高,实时性差,或者牺牲准确度提高效率,得不偿失。所以需要一种可以高效地实现转播状态的识别方法。


技术实现思路

1、本专利技术为了弥补现有技术的不足,提供了一种广播电视未按规定转播的识别方法,实现了高效地实现转播状态的识别方法,可以实时监测转播情况,减少未转播事故率。本专利技术是通过如下技术方案实现的:本专利技术提供了一种广播电视未按规定转播的识别方法,包括以下步骤,

2、步骤一,在转播开始时间,获取直播视频流和转播视频流的数据信息,解码两路视频流并进行音画同步,缓存图片和对应的音频;

<p>3、步骤二,获取直播视频流和转播视频流的关键帧;

4、步骤三,匹配关键帧,直播流转播流关键帧列表之间计算图片相似度,图片相似度大于阈值则计算音频相似度,音频相似度也大于阈值则认为在转播中,任务结束;

5、步骤四,经过一定时间没有匹配到关键帧和音频,则认为未转播,发出告警,任务结束。

6、优选的,步骤一中解码视频流并音画同步,具体的为:创建udp网络连接,实时接收视频流数据包,基于多媒体视频处理工具ffmpeg进行视频流数据包识别,获取参数信息,分别对视频帧和音频帧解码,将图片缩放为固定分辨率,音频转换为单声道、固定采样率,得到视频帧序列和音频帧序列,根据显示时间戳同步音视频,组合为音视频帧序列,每一个音视频帧包括一张图片和其对应的音频数据,存入消息队列。

7、优选的,步骤二中获取关键帧,具体的为:首先将图片转换为灰度图,统计每个灰度的像素点数,得到灰度直方图;前后两帧计算灰度直方图之差的绝对值均值,若该值大于阈值,则判定后一帧为关键帧,加入关键帧列表。

8、优选的,步骤三中音频相似度计算具体为,基于梅尔频率倒谱系数mfcc特征和皮尔逊相关系数,进行音频相似度计算;具体步骤如下:

9、(1)首先对音频数据进行预处理,将音频数据分成短时间帧,每帧的时长为 20-40毫秒;

10、(2)对每帧音频数据应用快速傅里叶变换fft将时域信号转换为频域信号;

11、(3)在频域信号中将音频信号通过一组梅尔滤波器,计算每个滤波器组输出的对数能量;

12、(4)将上述的对数能量带入离散余弦变换dct,求出l阶的倒谱系数;

13、(5)将所有短时间音频帧的相同阶数的倒谱系数组合起来,得到l个时序特征向量;

14、(6)对l个时序特征向量分别进行平滑处理,计算皮尔逊相关系数,求均值作为最终的音频相似度;

15、(7)两路视频流的音频可能和视频同步有一定的差异,导致两组音频数据之间有一些延时,会影响音频相似度的计算。如果音频相似度小于阈值,则错位计算皮尔逊相关系数,如果大于阈值,也认为音频匹配成功。

16、本专利技术的有益效果是:

17、本专利技术提供了一种广播电视未按规定转播的识别方法,首先解码直播视频流和转播视频流,同步音视频,然后基于灰度直方图之差提取关键帧,然后基于ssim结构相似性计算直播流关键帧和转播流关键帧的相似度,大于阈值则认为匹配成功,然后提取匹配成功的关键帧之后的一段音频,计算音频相似度,如果音频相似度也大于阈值,则认为转播频道正在转播,任务结束,如果任务运行到最大匹配时间,即经过一段时间一直匹配不成功,则先判断是否关键帧太少,如果是的话重新选择关键帧,重新匹配。没有匹配成功则认为转播频道没有转播,发出告警,提醒运维人员及时按规定转播相关节目。

18、本专利技术通过简单有效的方法提取两路视频流关键帧,提取到关键帧后,再对关键帧进行相似度匹配,减少了计算量,可以实时监测转播情况,在转播情况下,可以快速匹配成功,方便结束任务进行下一步操作。图片匹配成功后再进行音频对比,和只进行图片匹配来比可以减少漏报。在未转播情况下,本专利技术可以及时发出告警,用于减少未转播事故率。

本文档来自技高网
...

【技术保护点】

1.一种广播电视未按规定转播的识别方法,其特征在于,包括以下步骤,

2.根据权利要求1所述的广播电视未按规定转播的识别方法,其特征在于,所述步骤一中根据显示时间戳同步音视频,具体的为:从视频帧序列里取出一组数据,包括视频的显示时间戳和图片,然后和音频帧序列首个音频数据的显示时间戳做对比;如果视频时间戳小于音频时间戳,则删除图片,继续从视频帧序列里取出一组数据,如果视频时间戳大于音频时间戳加一个音频数据的时长,则删除该音频帧数据,继续比对直到视频时间戳落在两个音频时间戳中间,然后截取该落点之后一帧图片对应时间的音频数据,这样一帧图片和其对应的音频数据就组合为一个音视频帧。

3.根据权利要求1所述的广播电视未按规定转播的识别方法,其特征在于,所述步骤三中匹配关键帧,具体为:在判断一帧为关键帧后,计算其与另一路视频流所有关键帧的图片相似度,如果相似度大于阈值,则分别获取两帧之后N秒的音频数据,并计算音频相似度;如果音频相似度也大于阈值,则认为转播流正在转播,任务结束;否则继续提取关键帧并进行比对。

4.根据权利要求1所述的广播电视未按规定转播的识别方法,其特征在于,步骤三中图片相似度计算的具体步骤为:

5.根据权利要求1所述的广播电视未按规定转播的识别方法,其特征在于,步骤三中音频相似度计算具体为,基于梅尔频率倒谱系数MFCC特征和皮尔逊相关系数,进行音频相似度计算;具体步骤如下:

6.根据权利要求1所述的广播电视未按规定转播的识别方法,其特征在于,未转播判断标准,具体的为:如果时间到达最大匹配时间,则首先判断是否直播视频流关键帧太少;如果关键帧不少则认为没有转播,发出告警,结束任务;关键帧太少则根据灰度直方图差值排序,选择较大的几个作为关键帧,然后重新计算转播关键帧和直播关键帧的相似度,如果最大相似度大于阈值,则获取两路匹配到的关键帧之后N秒的音频,计算音频相似度,如果音频相似度也大于阈值,则认为是在转播,否则判定为没有转播,发出告警,任务结束。

...

【技术特征摘要】

1.一种广播电视未按规定转播的识别方法,其特征在于,包括以下步骤,

2.根据权利要求1所述的广播电视未按规定转播的识别方法,其特征在于,所述步骤一中根据显示时间戳同步音视频,具体的为:从视频帧序列里取出一组数据,包括视频的显示时间戳和图片,然后和音频帧序列首个音频数据的显示时间戳做对比;如果视频时间戳小于音频时间戳,则删除图片,继续从视频帧序列里取出一组数据,如果视频时间戳大于音频时间戳加一个音频数据的时长,则删除该音频帧数据,继续比对直到视频时间戳落在两个音频时间戳中间,然后截取该落点之后一帧图片对应时间的音频数据,这样一帧图片和其对应的音频数据就组合为一个音视频帧。

3.根据权利要求1所述的广播电视未按规定转播的识别方法,其特征在于,所述步骤三中匹配关键帧,具体为:在判断一帧为关键帧后,计算其与另一路视频流所有关键帧的图片相似度,如果相似度大于阈值,则分别获取两帧之后n秒的音频数据,并计算音频相似度;如果音频相似度也大于阈值,...

【专利技术属性】
技术研发人员:赵儒祥邓强朱政李克磊伍广腾李东
申请(专利权)人:海看网络科技山东股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1