一种基于关键帧的改进色情视频检测方法及系统技术方案

本发明专利技术公开了一种基于关键帧的改进色情视频检测方法及系统，采用色情视频检测系统将视频流转换为视频帧集合后，利用关键帧抽取模块采用取图像熵极值的方法得到候选关键帧集合，然后对候选关键帧集合中的关键视频帧图像采用局部帧差分的关键帧提取方法得到关键视频帧集合；通过图像预处理模块对抽到的每一张关键视频帧进行图像预处理操作；通过局部敏感特征检测模块对经过预处理后的关键视频帧图像进行局部特征提取；通过全局特征抽取模块，对经过预处理后的关键视频帧图像进行全局特征提取；利用特征融合模块将提取得到的局部特征和全局特征通过特定的加权计算得到最终的检测结果，以确定视频流是否为色情视频。以确定视频流是否为色情视频。以确定视频流是否为色情视频。

【技术实现步骤摘要】
一种基于关键帧的改进色情视频检测方法及系统


[0001]本专利技术涉及网络安全技术等领域，具体的说，是一种基于关键帧的改进色 情视频检测方法及系统。

技术介绍

[0002]随着互联网和社交媒体的快速发展，网络已经成为人们获取和分享信息的 重要平台，但随之而来的是各种不良信息在网络中的蔓延，在这之中色情信息 的危害更是日趋凸显。色情信息在互联网中的爆炸式传播给网络环境造成了极 其恶劣的影响，给网络使用者们带来了极差的体验，特别是对青少年的身心健 康造成了巨大的危害。因此，整治互联网色情内容，加快色情视频的自动检测 与过滤技术发展已刻不容缓。
[0003]近年来流行的无论是短视频还是各类直播都可以视作是多个关键视频帧的 集合，通过对关键视频帧调用色情图像的检测方法或者提取出帧与帧之间的信 息可以有效检测出色情视频流，因此对色情视频的检测可以看作是对色情图像 集合的检测。随着深度学习技术的不断突破，各类研究人员在色情内容识别领 域进行了各类研究，图像识别相关技术得到了飞跃式的发展，色情内容检测技 术也因此得到了极大的提升。但是面临短视频与直播行业的崛起，当前色情内 容识别技术仍然难以满足数量爆炸的视频流检测任务的需求。面对如今实际场 景的检测任务，色情视频检测方向的研究仍然有许多问题亟待解决。具体有以 下现有检测方法存在的问题：1)过多的关键视频帧导致检测时间长。视频中 的关键视频帧是指任何平滑过渡的起点和终点的图像或镜头。现有的色情视频 检测方法大多数是通过对关键视频帧进行检测来判断视频是否存在色情内容。 但是随着高清图像高帧率视频流的普及，一个视频所包含的图像数量增加了数 倍，这也使得所需要检测的关键视频帧数量大大增加，因而色情视频检测速率 也随之降低。在直播行业快速崛起，色情视频检测速率需求愈加严苛的背景下， 如何在不遗漏关键信息的前提下尽量减少视频关键视频帧提取的数量，成为色 情视频检测需要解决的难题。2)混淆特征导致误报率高。现有方法在色情图 像检测任务上已获得较高的识别率，但对于拥有与色情图像相似特征的正常图 像视频仍然容易出现误判的情况，例如沙滩比基尼、赤身格斗、婴儿哺乳等会 被检测为色情图像。这些场景下的图像拥有与色情类图像相似的特征，即肤色 占比高，经过训练的检测模型对这类图像极易出现误判。3)图像失真导致检 测准确率低。由于多数色情视频都是在光线较暗的情况下进行的拍摄和录制， 因此提取出的关键视频帧受光线影响，大多较为模糊，且难以识别色情关键信 息(如皮肤、敏感部位)，这极大影响了色情图像识别模型的准确率。

技术实现思路

[0004]本专利技术的目的在于提供一种基于关键帧的改进色情视频检测方法及系统， 所述方法针对过多关键视频帧导致视频检测时间长的问题，采用图像熵取极值 和局部帧差分相结合的关键视频帧提取方法，在保留关键视频帧的情况下尽可 能舍弃掉冗余帧并加快
关键视频帧提取的速度；为了能够充分利用图像中的色 情特征，该方法结合全局特征与局部特征的色情图像识别方法，减少模型对特 定图像的误判；此外，为了避免图像光线不足、色情特征不明显导致模型准确 率降低的问题，该方法还引入了一种新的光线增强模型对图像数据进行光线增 强；所述系统能够用于实现基于关键视频帧和特征融合的色情视频检测方法。
[0005]本专利技术通过下述技术方案实现：一种基于关键帧的改进色情视频检测方法， 包括下述步骤：
[0006]1)将视频流转换为视频帧集合后，利用关键帧抽取模块采用取图像熵极 值的方法得到候选关键帧集合；
[0007]2)利用关键帧抽取模块对候选关键帧集合中的关键视频帧图像采用局部 帧差分的关键帧提取方法得到关键视频帧集合；
[0008]3)通过图像预处理模块对抽到的每一张关键视频帧进行包括图像数据增 强、光线增强、自适应尺寸在内的图像预处理操作；
[0009]4)通过局部敏感特征检测模块对经过预处理后的关键视频帧图像使用 YOLOv5技术进行局部特征提取；
[0010]5)通过全局特征抽取模块，对经过预处理后的关键视频帧图像采用 MobileNet3神经网络模型进行全局特征提取；
[0011]6)利用特征融合模块将提取得到的局部特征和全局特征通过特定的加权 计算得到最终的检测结果，以此判断该关键视频帧是否存在色情信息，从而确 定视频流是否为色情视频。
[0012]进一步的为更好地实现本专利技术所述的一种基于关键帧的改进色情视频检测 方法，特别采用下述设置方式：图像熵的值采用下述公式计算得到：E(f
i
)＝
‑ꢀ
∑
j
pf
i
(j)logpf
i
(j)，其中pf
i
(j)表示为第f
i
个帧的概率密度函数，该值通过归一化 计算其强度直方图得到；将计算到的图像熵的值E(f
i
)映射至以关键视频帧序列 编号为x轴的坐标轴中，最后取分段内图像熵为极值或前后变化差异较大的图 像作为该段中的关键视频帧图像，形成候选关键帧集合。
[0013]进一步的为更好地实现本专利技术所述的一种基于关键帧的改进色情视频检测 方法，特别采用下述设置方式：所述步骤2)包括下述具体步骤：
[0014]2.1)将两个相邻的关键视频帧图像分割为26*26的网格；
[0015]2.2)按照前后对应的网格位置采用局部帧差分计算，并将得到的帧差分 值网格取绝对值并相加一元化处理作为相邻帧之间的局部帧差分值；
[0016]2.3)通过选取出所有网格中值最大的局部帧差分值作为该相邻帧的差异 值，并通过判断该值是否超过预先设定的阈值，若超过则执行步骤2.4)，若 未超过则执行2.5)；
[0017]2.4)如果超过了则视作相邻帧变化较大，将前一帧保存至关键视频帧集 合，将当前帧作为前一帧接着与下一帧进行局部帧差分计算；
[0018]2.5)如果未超过设定阈值则视作相邻两帧变化不大，舍弃前一帧，将当 前帧与下一帧继续进行上述局部帧差分计算，直至计算至视频流最后一帧并得 到最终的关键视频帧集合。
[0019]进一步的为更好地实现本专利技术所述的一种基于关键帧的改进色情视频检测 方
法，特别采用下述设置方式：所述步骤3)具体为：
[0020]图像增强：采用Mosaic数据增强方法将候选关键帧集合中作为训练集部 分中的四张图像进行随机翻转、随机剪裁与随机排列操作，将完成随机操作的 四张图像进行拼接得到新的图片；
[0021]光线增强：将SKNet机制引入到数据预处理过程中，提出了一种不依赖训 练数据只依赖具体图像的光线增强方法，具体的是将图像通过公式 LE((x)；α)＝I(x)+αI(x)(1
‑
I(x))进行图像的光线增强处理，为了更好的保留 图像色彩，本专利技术优选的是将图像的RGB三个通道分别通过公式LE((x)；α)＝ I(x)+αI(x)(1
‑
I(x))进行图像的光线增强处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键帧的改进色情视频检测方法，其特征在于：包括下述步骤：1)将视频流转换为视频帧集合后，利用关键帧抽取模块采用取图像熵极值的方法得到候选关键帧集合；2)利用关键帧抽取模块对候选关键帧集合中的关键视频帧图像采用局部帧差分的关键帧提取方法得到关键视频帧集合；3)通过图像预处理模块对抽到的每一张关键视频帧进行包括图像数据增强、光线增强、自适应尺寸在内的图像预处理操作；4)通过局部敏感特征检测模块对经过预处理后的关键视频帧图像使用YOLOv5技术进行局部特征提取；5)通过全局特征抽取模块，对经过预处理后的关键视频帧图像采用MobileNet3神经网络模型进行全局特征提取；6)利用特征融合模块将提取得到的局部特征和全局特征通过特定的加权计算得到最终的检测结果，以此判断该关键视频帧是否存在色情信息，从而确定视频流是否为色情视频。2.根据权利要求1所述的一种基于关键帧的改进色情视频检测方法，其特征在于：图像熵的值采用下述公式计算得到：E(f
i
)＝
‑
∑
j
pf
i
(j)logpf
i
(j)，其中pf
i
(j)表示为第f
i
个帧的概率密度函数，该值通过归一化计算其强度直方图得到；将计算到的图像熵的值E(f
i
)映射至以关键视频帧序列编号为x轴的坐标轴中，最后取分段内图像熵为极值或前后变化差异较大的图像作为该段中的关键视频帧图像，形成候选关键帧集合。3.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法，其特征在于：所述步骤2)包括下述具体步骤：2.1)将两个相邻的关键视频帧图像分割为26*26的网格；2.2)按照前后对应的网格位置采用局部帧差分计算，并将得到的帧差分值网格取绝对值并相加一元化处理作为相邻帧之间的局部帧差分值；2.3)通过选取出所有网格中值最大的局部帧差分值作为该相邻帧的差异值，并通过判断该值是否超过预先设定的阈值，若超过则执行步骤2.4)，若未超过则执行2.5)；2.4)将前一帧保存至关键视频帧集合，将当前帧作为前一帧接着与下一帧进行局部帧差分计算；2.5)舍弃前一帧，将当前帧与下一帧继续进行局部帧差分计算，直至计算至视频流最后一帧并得到最终的关键视频帧集合。4.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法，其特征在于：所述步骤3)具体为：图像增强：采用Mosaic数据增强方法将候选关键帧集合中作为训练集部分中的四张图像进行随机翻转、随机剪裁与随机排列操作，将完成随机操作的四张图像进行拼接得到新的图片；光线增强：将图像通过公式LE((x)；α)＝I(x)+αI(x)(1
‑
I(x))进行图像的光线增强处理，其中，x为输入图像的像素坐标，I(x)为输入图像，LE((x)；α)为原图像增强后的输出，参数α∈[
‑
1,1]，用于调整图像与控制曝光效果；图像自适应尺寸：采用LetterBox对输入的图像进行标准化处理，将输入的图像进行等
比例缩小，将原始图片尺寸统一调整为224
×
224；其中，图像增强、光线增强和图像自适应尺寸的处理顺序不分先后。5.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法，其特征在于：所述步骤4)包括下述具体步骤：4.1)使用YOLOV5的Focus模块对经步骤3)处理后所得关键视频帧图像进行下采样，即对输入的关键视频帧图像每隔一个像素获取一个像素值，组成一个新的通道，从而将原始的关键视频帧图像的特征通道扩充为原来的4倍，然后将新得到的通道特征图使用卷积积分得到新的特征图；4.2)使用YOLOv5中的CSP模块对新的特征图进行避免重复特征的计算；4.3)将步骤4.2)得到的输出送入到FPN与PAN从多个尺度提取图像的局部特征。6.根据权利要求1或2所述的一种基于关键帧的改进色情视频检测方法，其特征在于：所述步骤5)包括下述具体步骤：5.1)将步骤4)所得输入至MobileNet3神经网络模型，通过深度卷积和逐点卷积组合的方式...

【专利技术属性】
技术研发人员：梁刚，许春，陈诚，杨进，曾军皓，陈良银，陈俊任，
申请(专利权)人：四川大学，
类型：发明
国别省市：