基于音视频的直播节目首播和重播内容一致性监测方法技术

本申请公开了一种基于音视频的直播节目首播和重播内容一致性监测方法，涉及电视直播节目监测技术领域，首先获取直播频道UDP组播视频流，然后通过模板匹配分别识别首播和重播节目的片头及片尾，并进行首播和重播节目的录制；采用灰度差时序特征和皮尔逊相关系数进行视频相似度计算；采用MFCC特征和余弦相关系数进行音频相似度计算；最后基于视频和音频的相似度进行内容一致性的判定。通过识别节目片头和片尾，精准获取节目的音频和视频，大幅度减少了逐帧比对的计算量；通过视频画面特征和音频频域特征的相似性来判断节目内容的一致性，充分利用了节目的画面和音频特征，保障了监测的准确性。的准确性。的准确性。

【技术实现步骤摘要】
基于音视频的直播节目首播和重播内容一致性监测方法


[0001]本申请涉及电视直播节目监测
，具体涉及一种基于音视频的直播节目首播和重播内容一致性监测方法。

技术介绍

[0002]电视台作为重要的信息传播媒介，具有广泛的影响力，直播节目的准确和可信是保障观众权益和信息安全的基石。在电视直播节目的监测领域，对于节目的首播和重播内容一致性进行监测是至关重要的。
[0003]传统技术中节目首播和重播内容一致性监测的常见的监测方案主要包括两种。一种是对直播码流进行数据加密，在服务端对直播信号进行加密，客户端播放时进行解密和校验。或者，是将提取到的视频特征码与服务器端进行同步比较。这种方式虽然简单高效，但是在码流传输过程中，不少网络设备(如编转码设备、复用设备、IP流矩阵等)会对码流内容进行修改(例如：分辨率转换、插入PSI表格、更改音视频PID信息等)，这就会导致码流特征码发生变化，而节目内容本身（音频、视频）是没有发生变化，从而造成校验失败而误告警。另一种是对节目视频或音频内容进行校验，仅对音频信号进行监测，不支持视频监测，也不支持对直播内容进行监测，没有考虑到直播流的节目音视频帧对齐问题。
[0004]因此，如何实现播节目首播和重播内容一致性监测的准确性是本领域亟待解决的技术问题。

技术实现思路

[0005]本申请为了解决上述技术问题，提出了如下技术方案：第一方面，本申请实施例提供了一种基于音视频的直播节目首播和重播内容一致性监测方法，包括：根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列；基于模板匹配进行首播节目片头和片尾识别，录制片头和片尾之间的首播视频和音频，并更新模板图像文件；基于模板匹配进行重播节目片头和片尾识别，录制片头和片尾之间的重播视频和音频；针对录制的首播视频和重播视频，基于灰度差时序特征和皮尔逊相关系数，进行视频相似度计算；针对录制的首播音频和重播音频，基于梅尔频率倒谱系数MFCC特征和余弦相关系数，进行音频相似度计算；对首播和重播内容一致性进行判定，若视频和音频的相似度都低于阈值则输出报警信号。
[0006]在一种可能的实现方式中，所述根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列，包括：
创建UDP网络连接实时接收数据包并进行识别；获取参数信息，根据需求对视频转码，然后将视频拆分为视频帧序列；将图像帧进行缩放、过滤，处理后的图像存入消息队列。
[0007]在一种可能的实现方式中，所述基于模板匹配进行首播节目片头和片尾识别，录制片头和片尾之间的首播视频和音频，并更新模板图像文件，包括：首先将消息队列中的每一帧图像与一组片头模板图像进行匹配，当所有片头模板都配置到时，即为识别到了片头；识别片尾同样与一组片尾模板图像进行匹配，当所有片尾模板都匹配到时，即为识别到了片尾；当识别到片头时，开始启动直播流的录制，当识别到片尾时，停止直播流的录制，获得首播节目视频文件；当视频帧图像匹配到模板图像时，以此视频帧图像替换为模板图像，供下一次的模板匹配使用。
[0008]在一种可能的实现方式中，模板匹配包括：将视频帧图像的RGB三通道图像的每个通道分别计算与模板图像此通道的SSIM，三个通道的SSIM均值作为模板匹配系数，与阈值进行比较，高于阈值即为匹配成功，低于阈值即为匹配失败，SSIM计算公式如下：其中:和 分别表示两幅图像x和y的像素平均值，用 和分别表示两幅图像x和y的像素标准差，用表示两幅图像x和y的像素协方差， 和 是为了避免分母为零而引入的常数。
[0009]在一种可能的实现方式中，所述针对录制的首播视频和重播视频，基于灰度差时序特征和皮尔逊相关系数，进行视频相似度计算，包括：首先分别提取首播视频A和重播视频B第一时间窗口视频片段的每一帧图像，得到图像列表A
i
和B
i
；然后分别计算图像列表中相邻两帧图像的灰度直方图差值，得到灰度差时序特征值向量AH
i
和BH
i
；计算AH
i
中前1/2元素中的最大值所处的位置K1，即为首播视频A的关键帧图像；计算首播视频关键帧图像A
K1
和重播图像列表B的灰度直方图差值ABH
i
，差值最小的图像，即为重播视频B的关键帧图像K2；将首播视频A和重播视频B以K1和K2位置开始，实现了帧对齐；从AH
i
和BH
i
中提取相同长度L的特征向量AH
L
和BH
L
，计算AH
L
和BH
L
的皮尔逊相关系数，作为首播视频A和重播视频B的相似度S1。
[0010]在一种可能的实现方式中，灰度差时序特征，具体为两幅图像的灰度直方图差异性；设两幅图像的灰度直方图分别为H1和H2，它们都是长度为L的向量，表示灰度级别的频数，则两幅图像的灰度差时序特征的计算公式如下：
其中： 是两幅图像的灰度直方图差值；分别表示第 i 个灰度级别在两幅图像中的频数；L是灰度级别的总数；皮尔逊相关系数，具体的计算方式为：其中： 和分别表示两个变量的第 i 个观测值； 和 分别表示两个变量的均值。
[0011]在一种可能的实现方式中，所述针对录制的首播音频和重播音频，基于梅尔频率倒谱系数MFCC特征和余弦相关系数，进行音频相似度计算，包括：首先提取首播音频C和重播音频D的第一时间窗口音频片段，并根据视频相似度计算中得到的K1和K2的视频对齐位置，向后索引出相等长度的音频片段CS和DS；然后计算音频CS和DS的MFCC特征向量CF和DF，分别进行均值滤波得到音频特征向量CFM和DFM；计算CFM和DFM的余弦相关系数，作为首播音频C和重播音频D的相似度S2。
[0012]在一种可能的实现方式中，计算音频CS和DS的MFCC特征向量CF和DF，包括：首先对音频数据进行预处理，将音频数据分成短时间帧，每帧的时长为 20
‑
40 毫秒;对每帧音频数据应用快速傅里叶变换FFT将时域信号转换为频域信号;在频域信号中将音频信号通过一组梅尔滤波器;对每个滤波器的输出结果进行取对数运算，得到梅尔频谱系数;将梅尔频谱系数通过离散余弦变换DCT转换成倒谱系数;保留转换后的倒谱系数的前预设数量的系数，作为 MFCC 特征； MFCC 特征的计算公式如下：其中： 是第n个 MFCC 系数；X(m) 是经过梅尔滤波器 m 后的输出结果；M 是梅尔滤波器的数量。
[0013]在一种可能的实现方式中，计算CFM和DFM的余弦相关系数，作为首播音频C和重播音频D的相似度S2，包括：所述余弦相关系数，具体计算方式为： 其中： 表示向量 M1 和 M2 的点积， 和分别表示向量 M1 和 M2 的范数。
[0014]在一种可能的实现方式中，所述对首播和重播内容一致性进行判定，若视频和音频的相似度都低于阈值则输出报警信号，包括：对首播和重播内容一致性判定，若视频和音频相似度都小于阈值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音视频的直播节目首播和重播内容一致性监测方法，其特征在于，包括：根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列；基于模板匹配进行首播节目片头和片尾识别，录制片头和片尾之间的首播视频和音频，并更新模板图像文件；基于模板匹配进行重播节目片头和片尾识别，录制片头和片尾之间的重播视频和音频；针对录制的首播视频和重播视频，基于灰度差时序特征和皮尔逊相关系数，进行视频相似度计算；针对录制的首播音频和重播音频，基于梅尔频率倒谱系数MFCC特征和余弦相关系数，进行音频相似度计算；对首播和重播内容一致性进行判定，若视频和音频的相似度都低于阈值则输出报警信号。2.根据权利要求1所述的基于音视频的直播节目首播和重播内容一致性监测方法，其特征在于，所述根据直播频道UDP组播视频流获取待检测的视频帧图像并存入消息队列，包括：创建UDP网络连接实时接收数据包并进行识别；获取参数信息，根据需求对视频转码，然后将视频拆分为视频帧序列；将图像帧进行缩放、过滤，处理后的图像存入消息队列。3.根据权利要求1所述的基于音视频的直播节目首播和重播内容一致性监测方法，其特征在于，所述基于模板匹配进行首播节目片头和片尾识别，录制片头和片尾之间的首播视频和音频，并更新模板图像文件，包括：首先将消息队列中的每一帧图像与一组片头模板图像进行匹配，当所有片头模板都配置到时，即为识别到了片头；识别片尾同样与一组片尾模板图像进行匹配，当所有片尾模板都匹配到时，即为识别到了片尾；当识别到片头时，开始启动直播流的录制，当识别到片尾时，停止直播流的录制，获得首播节目视频文件；当视频帧图像匹配到模板图像时，以此视频帧图像替换为模板图像，供下一次的模板匹配使用。4.根据权利要求3所述的基于音视频的直播节目首播和重播内容一致性监测方法，其特征在于，模板匹配包括：将视频帧图像的RGB三通道图像的每个通道分别计算与模板图像此通道的SSIM，三个通道的SSIM均值作为模板匹配系数，与阈值进行比较，高于阈值即为匹配成功，低于阈值即为匹配失败，SSIM计算公式如下：其中：和分别表示两幅图像x和y的像素平均值，用和分别表示两幅图像x和y的像素标准差，用表示两幅图像x和y的像素协方差，和是为了避免分母为零而引入
的常数。5.根据权利要求1所述的基于音视频的直播节目首播和重播内容一致性监测方法，其特征在于，所述针对录制的首播视频和重播视频，基于灰度差时序特征和皮尔逊相关系数，进行视频相似度计算，包括：首先分别提取首播视频A和重播视频B第一时间窗口视频片段的每一帧图像，得到图像列表A
i
和B
i
；然后分别计算图像列表中相邻两帧图像的灰度直方图差值，得到灰度差时序特征值向量AH
i
和BH
i
；计算AH
i
中前1/2元素中的最大值所处的位置K1，即为首播视频A的关键帧图像；计算首播视频关键帧图像A
K1
和重播图像列表B的灰度直方图差值ABH
i
，差值最小的图像，即为重播视频B的关键帧图像K2；将首播视频A和重播视频B以K1和K2位置开始，实现了...

【专利技术属性】
技术研发人员：程亚辉，李东，刘鹏，娄庆，
申请(专利权)人：海看网络科技山东股份有限公司，
类型：发明
国别省市：