一种针对互联网直播异常行为的智能检测系统技术方案

本发明专利技术涉及一种针对互联网直播异常行为的智能检测系统。包括：对网络直播视频进行视频采集，获取直播平台的视频数据；采用基于深度学习的动作识别算法对直播视频数据中的异常行为进行检测和识别，基于深度学习的动作识别算法无需人工设计特征，采用端到端的方式进行识别。通过本发明专利技术，能够实时、准确地对互联网直播中的异常行为进行检测和识别，为规范主播直播行为、文明的互联网直播环境提供重要保证。本系统操作简单，可对异常行为进行自动检测，减少人工成本，适用于大面积推广和使用。适用于大面积推广和使用。适用于大面积推广和使用。

【技术实现步骤摘要】
一种针对互联网直播异常行为的智能检测系统


[0001]本专利技术涉及视频及图像处理领域，尤其涉及一种互联网直播异常行为的智能检测系统。

技术介绍

[0002]目前传统的网络监管机制仍然更多依赖于人工审查，通过各个平台设立的审查部门来人工地判断是否存在违法违规等异常行为信息。通常情况下待审核的对象包括文本、图片、视频和语音等。其中图像内容的人工审查效果是最好的，这是由于图形是人们视觉上最基本的感受，直观地映射了客观自然景象。而文字内容的审查难度会随着文章篇幅的增多而大幅提升，为了对文章内容进行全面地审查，审查员不得不通篇阅读，即使全文绝大多数内容都没有违背审查要求，也可能存在某一句话违背法律法规，向民众传播不良影响。语音内容与文字内容类似，需要通篇播放才能完成审查。而视频内容则是文字、语音类内容与图像内容的折中。和文字、语音类内容相似，其审查难度与视频长度成正相关但对审查员阅读的专注度要求却低于文字类内容，通过快速浏览视频内容，即可完成对视频内容审查是否符合要求的判断。与视频同一机制的还有当下比较热门的网络直播，直播的特点是实时性较强，因此如要人工监管需要长时间的观看直播，这些传统的基于人工审查的网络监管方法虽然对内容是否违规可以做到高置信度的判断，但既耗费了大量人力资源也显得低效。
[0003]随着深度学习技术的出现与发展，利用深度学习对网络上的不良信息进行筛查成为当前比较热门的趋势，针对文本、图像的各类模型层出不穷，通过对其进行微调修改用于识别异常信息，都有更为良好的效果，同时不依赖人工，极大程度的解放了人力。
[0004]目前，对于互联网直播异常行为的检测一般是由人工对异常行为进行筛选，然后对异常直播视频及主播进行保存。这种方法在实际应用中存在以下问题：
[0005]1、需要人工24小时不间断的对互联网直播进行监测，数据量大、时效性及准确性难以保证；
[0006]2、直播视频的筛选过程，主播异常行为的保存均由人工完成，操作质量难以保证，可能引入主观误差；
[0007]3、利用人工对互联网直播异常行为进行监测，时间成本和人工成本高，已经不能适应当前复杂的直播状况；
[0008]因此，利用深度学习对网络上的不良视频内容进行筛查要更具有效率，同时能解放人力资源，使其从事更具有创造性和发展前景的岗位。基于计算机处理以及人工智能等技术有效结合的互联网直播异常行为智能检测系统的开发和研制，具有重要的研究价值和研究意义。

技术实现思路

[0009]本专利技术的目的在于针对现有技术存在的成本高、时效性和准确性差等缺点，提供
一种针对互联网直播异常行为的智能检测系统，具有节约人力成本，稳定性高，操作简单、实时性好的优点。为实现上述目的，本专利技术设计了一种针对互联网直播异常行为的智能检测系统，能够实时、准确地对互联网直播视频中的异常行为如枪支、穿着暴露、敏感肢体动作等行为进行检测和识别；
[0010]本专利技术为实现上述目的所采用的技术方案是：
[0011]一种针对互联网直播异常行为的智能检测系统，在服务器上设置以下模块：视频采集模块、视频解析模块、异常行为检测模型模块、实时视频异常检测模块，建立用于异常行为判别的网络模型并实际采集网络上的实时视频进行异常行为判定：
[0012]所述视频采集模块，用于获取互联网直播平台的视频数据；
[0013]所述视频解析模块，用于将采集的视频流逐帧处理为图像数据，并通过稀疏采样视频帧的方式对视频进行抽帧处理，获取单帧采样图像；
[0014]所述异常行为检测模型模块，包括建立异常图像样本集，建立异常行为网络模型，利用异常图像样本集数据对异常行为网络模型进行训练，优化网络模型参数及异常判别阈值；
[0015]所述实时视频异常检测模块，用于存储实时异常行为检测步骤，利用异常行为检测算法调用训练好的异常行为网络模型对互联网直播视频进行实时检测，若超过异常判别阈值则判断直播视频存在异常行为。
[0016]所述异常图像样本集为对视频解析模块获取的单帧采样图像通过人工判别异常并标记，再按比例分成训练集、验证集和测试集。所述训练集用于训练，验证集用于验证并通过判别概率结果反向传播调整网络参数，所述测试集用于测试。
[0017]所述异常行为网络模型结构包括：卷积神经网络、全连接层、输出层；
[0018]所述卷积神经网络，包括若干个ResNet152残差块，用于提取预先标记的单帧异常图像的异常特征；
[0019]所述全连接层，用于对异常图像的异常特征进行降维并输出至输出层；
[0020]所述输出层，采用softmax分类器，用于根据异常特征计算是否为异常图像的判别概率。
[0021]所述输出层输出的判别结果包括：异常视频时间time、判别结果result和判别概率probability。
[0022]所述训练时是将训练集数据分批次输入模型，对当前该批次异常图像给出判别概率。
[0023]是将异常图像样本集数据输入模型反复迭代，从而优化网络模型参数及异常判别概率阈值。
[0024]所述稀疏采样视频帧的的间隔为10s。
[0025]所述实时异常行为检测步骤包括：
[0026]服务器的视频采集步骤，采集互联网直播平台的视频数据；
[0027]服务器的视频解析步骤，将采集的视频流逐帧处理为图像数据，并通过稀疏采样进行抽帧处理，获取单帧采样图像；
[0028]实时视频异常检测步骤，利用异常行为检测算法调用训练好的异常行为ResNet152网络模型，提取特征后最后送入全连接层，然后通过softmax函数计算判定概率，
最终输出判别结果，对互联网直播视频进行实时检测，判断直播视频是否存在异常行为。
[0029]本专利技术具有以下有益效果及优点：
[0030]1.本专利技术采用基于深度学习残差网络的目标检测算法，并进行数据采集，在此基础上进行训练，有效地提高了对直播中异常行为检测的准确率，而采用训练好的模型进行实时跟踪监测，保证了检测系统的实时跟踪监测特性。
[0031]2.本专利技术利用晚期特征融合的目标检测算法，把相距一定距离的两帧进行特征抽取，将抽取后的特征在最后一层进行全连接。方法独特，能抽取到远距离相关度信息。
[0032]3.采用Resnet预训练残差网络进行视觉特征抽取，内部通过跳跃连接有效缓解了深度神经网络中存在的梯度消失问题，本模型可以拓展到更深层，且泛化性较好。
[0033]4.本系统操作简单，识别准确率较高，在当今直播盛行的年代，适合大面积推广应用。
附图说明
[0034]图1为本专利技术总体流程图；
[0035]图2为本专利技术中模型结构图；
[0036]图3(a)为本专利技术中ResNet 34模型的残差模块结构图；
[0037]图3(b)是为本专利技术中ResNet152模型的残差模块结构图。
具体实施方式
[0038]为使本专利技术的上述目的、特征和优点能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对互联网直播异常行为的智能检测系统，其特征在于，在服务器上设置以下模块：视频采集模块、视频解析模块、异常行为检测模型模块、实时视频异常检测模块，建立用于异常行为判别的网络模型并实际采集网络上的实时视频进行异常行为判定：所述视频采集模块，用于获取互联网直播平台的视频数据；所述视频解析模块，用于将采集的视频流逐帧处理为图像数据，并通过稀疏采样视频帧的方式对视频进行抽帧处理，获取单帧采样图像；所述异常行为检测模型模块，包括建立异常图像样本集，建立异常行为网络模型，利用异常图像样本集数据对异常行为网络模型进行训练，优化网络模型参数及异常判别阈值；所述实时视频异常检测模块，用于存储实时异常行为检测步骤，利用异常行为检测算法调用训练好的异常行为网络模型对互联网直播视频进行实时检测，若超过异常判别阈值则判断直播视频存在异常行为。2.根据权利要求1所述的一种针对互联网直播异常行为的智能检测系统，其特征在于，所述异常图像样本集为对视频解析模块获取的单帧采样图像通过人工判别异常并标记，再按比例分成训练集、验证集和测试集。3.根据权利要求1所述的一种针对互联网直播异常行为的智能检测系统，其特征在于，所述异常行为网络模型结构包括：卷积神经网络、全连接层、输出层；所述卷积神经网络，包括若干个ResNet152残差块，用于提取预先标记的单帧异常图像的异常特征；所述全连接层，用于对异常图像的异常特征进行降维并输出...

【专利技术属性】
技术研发人员：于碧辉，孙华军，张祥祥，王克，魏靖烜，卜立平，张祺，
申请(专利权)人：中国科学院沈阳计算技术研究所有限公司，
类型：发明
国别省市：