基于帧比对的直播节目首播和重播内容一致性监测方法技术

本申请公开了一种基于帧比对的直播节目首播和重播内容一致性监测方法，涉及电视直播节目监测技术领域，根据首播节目片头和片尾识别录制片头和片尾间的首播视频，提取首播视频场景转换帧序列；进行重播节目片头识别，将待检测的视频帧图像存入消息队列；重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐；逐帧进行内容一致性判断，不一致则输出报警信号

【技术实现步骤摘要】
基于帧比对的直播节目首播和重播内容一致性监测方法


[0001]本申请涉及电视直播节目监测
，具体涉及一种基于帧比对的直播节目首播和重播内容一致性监测方法
。

技术介绍

[0002]电视台作为重要的信息传播媒介，具有广泛的影响力，直播节目的准确性和可信度是保障观众权益和信息安全的基石，任何对节目内容的篡改都可能导致社会公众的误解
、
恐慌或造成不良社会影响
。
在电视直播节目的监测领域，对于节目的首播和重播内容一致性进行监测是至关重要的，特别是新闻直播类节目，如果内容被篡改，可能会对社会稳定和公共秩序造成严重影响
。
[0003]节目首播和重播内容一致性监测的常见的监测方案主要包括两种
。
一种是对直播码流进行数据加密，在服务端对直播信号进行加密，客户端播放时进行解密和校验，或者，将提取到的视频特征码与服务器端进行同步比较
。
这种方式虽然简单高效，但是在码流传输过程中，不少网络设备
(
如编转码设备
、
复用设备
、IP
流矩阵等
)
会对码流内容进行修改
(
例如：分辨率转换
、
插入
PSI
表格
、
更改音视频
PID
信息等
)
，这就会导致码流特征码发生变化，而节目内容本身（音频
、
视频）没有发生变化，从而造成校验失败而误告警
。<br/>另一种是对节目视频内容进行校验，针对两段视频文件进行内容一致性比对，不支持对直播信号进行监测，且比对是以场景片段为单位，而非逐帧比对，不符合快速实时监测报警的要求
。
[0004]因此，如何实现播节目首播和重播内容一致性监测的即时性是本领域亟待解决的技术问题
。

技术实现思路

[0005]本申请为了解决上述技术问题，提出了如下技术方案：第一方面，本申请实施例提供了一种基于帧比对的直播节目首播和重播内容一致性监测方法，包括：根据直播频道
UDP
组播视频流获取待检测的视频帧图像并存入消息队列；基于模板匹配进行首播节目片头和片尾识别并录制片头和片尾间的首播视频；根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列；基于模板匹配进行重播节目片头识别，将待检测的视频帧图像存入消息队列；重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐；针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号
。
[0006]在一种可能的实现方式中，所述根据直播频道
UDP
组播视频流获取待检测的视频帧图像并存入消息队列，包括：创建
UDP
网络连接实时接收数据包并进行识别；获取参数信息，根据需求对视频转码，然后将视频拆分为视频帧序列；
将图像帧进行缩放
、
过滤，处理后的图像存入消息队列
。
[0007]在一种可能的实现方式中，所述基于模板匹配进行首播节目片头和片尾识别录制片头和片尾间的首播视频，包括：首先从头消息队列中的每一帧图像与一组片头模板图像进行匹配，当所有片头模板都配置到时，即为识别到了片头；识别片尾同样与一组片尾模板图像进行匹配，当所有片尾模板都匹配到时，即为识别到了片尾；当识别到片头时，开始启动直播流的录制，当识别到片尾时，停止直播流的录制，获得首播节目视频文件；当视频帧图像匹配到模板图像时，以此视频帧图像替换为模板图像，供下一次的模板匹配使用
。
[0008]在一种可能的实现方式中，所述模板匹配具体为：针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码；逐帧比较直播视频图像与片头模版图像的差值哈希编码，计算汉明距离，包括：
⊕ꢀ
，其中：
i=0,1,..n
‑1，
x
，
y
都是
n
位的编码，
⊕
表示异或；当汉明距离小于设定的阈值，即认为匹配到了模板图像；当匹配到所有的模板图像后，即认为实现了模板匹配
。
[0009]在一种可能的实现方式中，所述针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码，包括：将每帧图像缩小为固定的尺寸，并将其转换为灰度图像；计算所述灰度图像相邻像素的差值，为右侧像素值减左侧像素值；当差值大于等于0时对应二进制位为1，否则为0；将所有像素的二进制位组合起来，得到图像的差值哈希编码
。
[0010]在一种可能的实现方式中，所述根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列，包括：提取首播视频第一时间窗口视频片段的每一帧图像，得到首播视频流列表 ；针对 中所有相邻两帧，基于
SSIM
算法进行相似度比对；相邻两帧计算
SSIM
相似度值小于设定阈值，即认为提取到了场景转换帧；场景转换帧索引与相邻两个场景转换帧间的距离组成首播场景转换帧列表
。
[0011]在一种可能的实现方式中，所述针对中所有相邻两帧，基于
SSIM
算法进行相似度比对，包括：将中图像帧进行图像预处理统一待比对图像的分辨率和尺寸；对图像进行分割局部比对或整图像比对；分别计算相邻两帧
RGB
三通道图像的
SSIM
值，三通道
SSIM
均值作为图像比对相似度值，
SSIM
计算公式如下：
其中 和 分别表示两幅图像
x
和
y
的像素平均值，用 和 分别表示两幅图像
x
和
y
的像素标准差，用表示两幅图像
x
和
y
的像素协方差， 和 是为了避免分母为零而引入的常数
。
[0012]在一种可能的实现方式中，所述重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐，包括：基于
SSIM
算法将消息队列中的重播视频流列表 和 进行相似度比对；匹配相似度值大于设定阈值即认为找到了对齐帧，当中找到连续两帧对齐帧，且帧间隔与中相应两个对齐帧间隔相同，即认为实现帧对齐；将相邻两个对齐帧中后一个帧认为是最终对齐帧，删除各自队列中对齐帧前的视频帧，实现视频同步
。
[0013]在一种可能的实现方式中，所述针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号，包括：基于
PSNR
算法将对齐后的 和 逐帧进行相似度比对；当比对
PSNR
值大于设定阈值，即认为图像内容一致；利用错位比对机制错位比对后判定内容一致，具体为：如重播视频丢帧可将中图像帧序列右移
n
次与 重新对齐继续比对，首播视频丢帧则将图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，包括：根据直播频道
UDP
组播视频流获取待检测的视频帧图像并存入消息队列；基于模板匹配进行首播节目片头和片尾识别并录制片头和片尾间的首播视频；根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列；基于模板匹配进行重播节目片头识别，将待检测的视频帧图像存入消息队列；重播视频逐帧与首播视频场景转换帧序列比对，实现重播首播视频帧对齐；针对对齐后的首播视频和重播视频，逐帧进行内容一致性判断，不一致则输出报警信号
。2.
根据权利要求1所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述根据直播频道
UDP
组播视频流获取待检测的视频帧图像并存入消息队列，包括：创建
UDP
网络连接实时接收数据包并进行识别；获取参数信息，根据需求对视频转码，然后将视频拆分为视频帧序列；将图像帧进行缩放
、
过滤，处理后的图像存入消息队列
。3.
根据权利要求1所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述基于模板匹配进行首播节目片头和片尾识别并录制片头和片尾间的首播视频，包括：首先将消息队列中的每一帧图像与一组片头模板图像进行匹配，当所有片头模板都配置到时，即为识别到了片头；识别片尾同样与一组片尾模板图像进行匹配，当所有片尾模板都匹配到时，即为识别到了片尾；当识别到片头时，开始启动直播流的录制，当识别到片尾时，停止直播流的录制，获得首播节目视频文件；当视频帧图像匹配到模板图像时，以此视频帧图像替换为模板图像，供下一次的模板匹配使用
。4.
根据权利要求3所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述模板匹配具体为：针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码；逐帧比较直播视频图像与片头模版图像的差值哈希编码，计算汉明距离，包括：
⊕
，其中：
=0,1,..n
‑1，
,
都是
n
位的编码，
⊕
表示异或；当汉明距离小于设定的阈值，即认为匹配到了模板图像；当匹配到所有的模板图像后，即认为实现了模板匹配
。5.
根据权利要求4所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述针对直播视频每一帧图像和模板图像，基于图像差值哈希算法得到它们的差值哈希编码，包括：将每帧图像缩小为固定的尺寸，并将其转换为灰度图像；计算所述灰度图像相邻像素的差值，为右侧像素值减左侧像素值；
当差值大于等于0时对应二进制位为1，否则为0；将所有像素的二进制位组合起来，得到图像的差值哈希编码
。6.
根据权利要求1所述的基于帧比对的直播节目首播和重播内容一致性监测方法，其特征在于，所述根据录制的首播视频更新片头和片尾模版并提取首播视频场景转换帧序列，包括：提取首播视频第一时间窗口视频片段的每一帧图像，得到首播视频流列表；针对中所有相邻两帧，基于
SSIM
...

【专利技术属性】
技术研发人员：程亚辉，刘鹏，李东，周筱婷，
申请(专利权)人：海看网络科技山东股份有限公司，
类型：发明
国别省市：