一种基于制造技术

本发明专利技术提供一种基于

【技术实现步骤摘要】
一种基于AI直播的图像分析方法及系统


[0001]本申请涉及图像处理
，特别是涉及一种基于
AI
直播的图像分析方法及系统
。

技术介绍

[0002]随着网络质量和带宽的不断提升，人们能够使用上越来越高质量高速度的网络服务
。
在此背景下，依靠着强大的网络部署和高网速的支持，直播行业应运而生
。
[0003]随着人工智能技术的发展，人工智能
AI
直播也开始被广泛应用于直播行业，以一种全新的直播模式来取代传统的直播模式，
AI
直播是基于人工智能技术，构建的一种智能虚拟形象，通过该虚拟形象在网络平台上进行实时直播，其可增强用户的体验
、
提高直播质量
、
改善直播的环境条件
。
[0004]但
AI
直播所存在的问题也日渐显现，在
AI
直播过程中，会出现一些敏感图像，现对敏感图像的管理基本处于人力管理阶段，其主要通过用户及平台的工作人员的监督，然而，同一时间段进行
AI
直播的数量极为庞大，仅依靠人力管理已无法满足对直播过程中敏感图像的实时管理需求
。

技术实现思路

[0005]本申请实施例提供了一种基于
AI
直播的图像分析方法及系统，以解决现有技术中仅依靠人力管理的方式对
AI
直播过程中的敏感图像进行管理，其管理力度不足，无法满足对
AI
直播过程中敏感图像的实时管理需求的技术问题
。
[0006]第一方面，本申请实施例提供了一种基于
AI
直播的图像分析方法，包括以下步骤：获取直播的视频流，对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像；自所述视频段中确定关键帧图像，并提取所述视频段中的光流图像；基于所述关键帧图像及所述光流图像确定所述视频段的组合特征；构建
LSTM
分类器，通过所述组合特征训练所述
LSTM
分类器，以使所述
LSTM
分类器具备敏感图像识别能力
。
[0007]进一步地，所述对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像的步骤包括：将所述视频流分隔为连续帧下的若干个帧图像，将第一帧的所述帧图像划分至第一视频段，并以第一帧的所述帧图像为所述第一视频段的第一中心点；将第二帧的所述帧图像与所述第一中心点进行相似度比对；若第二帧的所述帧图像与所述第一中心点的相似度大于相似度阈值，则将第二帧的所述帧图像划分至所述第一视频段，并计算所述第一视频段的第一更新中心点；若第二帧的所述帧图像与所述第一中心点的相似度小于相似度阈值，则将第二帧的所述帧图像划分至第二视频段，并以第二帧的所述帧图像为所述第二视频段的第二中心
点；以时间序列依次处理后续的所述帧图像，直至将若干个所述帧图像分类为若干个视频段，以形成视频集
。
[0008]进一步地，所述第一更新中心点的计算公式为：，其中，表示第一更新中心点，表示第
i
视频段内已有帧图像的数量，表示第
j
帧的帧图像，表示第
i
视频段内第
k
个帧图像
。
[0009]进一步地，所述自所述视频段中确定关键帧图像的步骤具体为：计算所述视频段中所述帧图像的熵值，并将不同的所述帧图像的熵值进行比对，以将熵值最大的所述帧图像选定为关键帧图像
。
[0010]进一步地，所述提取所述视频段中的光流图像的步骤包括：通过
TV
‑
L1
稠密光流算法提取所述视频段的第一方向运动图像及第二方向运动图像；将所述第一方向运动图像及所述第二方向运动图像堆积为光流图像
。
[0011]进一步地，所述基于所述关键帧图像及所述光流图像确定所述视频段的组合特征的步骤包括：构建特征提取模型，所述特征提取模型包括空间卷积网络及光流卷积网络，所述空间卷积网络及所述光流卷积网络均连接组合网络；将所述关键帧图像作为所述空间卷积网络的输入值，以获取空间特征；将所述光流图像作为所述光流卷积网络的输入值，以获取动作特征；将所述空间特征及所述动作特征作为所述组合网络的输入值，以通过所述组合网络获取组合特征
。
[0012]进一步地，所述以通过所述组合网络获取组合特征的步骤具体为：通过所述组合网络对所述动作特征及所述空间特征进行均值化处理，以形成组合特征
。
[0013]进一步地，所述构建
LSTM
分类器，通过所述组合特征训练所述
LSTM
分类器，以使所述
LSTM
分类器具备敏感图像识别能力的步骤包括：构建若干个第一神经元，以形成
LSTM
层；构建若干个第二神经元，以形成全连接层，使所述
LSTM
层连接所述全连接层，以形成
LSTM
分类器；基于敏感图像及正常图像将所述组合特征区隔为正样本及负样本，将所述正样本及所述负样本作为输入值输入所述
LSTM
分类器，以使所述
LSTM
分类器具备敏感图像识别能力
。
[0014]进一步地，所述全连接层包括2个所述第二神经元，所述全连接层的激活函数为
sofmax
函数
。
[0015]第二方面，本申请实施例提供了一种基于
AI
直播的图像分析系统，应用于如上述
技术方案中的基于
AI
直播的图像分析方法，所述系统包括：预处理模块，用于获取直播的视频流，对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像；提取模块，用于自所述视频段中确定关键帧图像，并提取所述视频段中的光流图像；组合模块，用于基于所述关键帧图像及所述光流图像确定所述视频段的组合特征；分析模块，用于构建
LSTM
分类器，通过所述组合特征训练所述
LSTM
分类器，以使所述
LSTM
分类器具备敏感图像识别能力
。
[0016]相比于现有技术，本专利技术的有益效果在于：通过提取所述关键帧图像，进而通过提取所述关键帧图像的空间特征，以所述关键帧图像的空间特征训练神经网络后，即可完成对
AI
直播的视频流中敏感图像的自动识别，通过一并提取所述光流图像，进一步提取所述光流图像的动作特征，将空间特征与动作特征组合为所述组合特征，可避免仅考虑空间特征而造成的对部分较难区分的图像产生误判的情况，有效的提高敏感图像的自动识别的准确性，通过构建并训练所述
LSTM
分类器后，对于同时段大量的所述视频流，在完成其组合特征的提起后，可同时通过所述
LSTM
分类器进行图像分类，以完成敏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
AI
直播的图像分析方法，其特征在于，包括以下步骤：获取直播的视频流，对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像；自所述视频段中确定关键帧图像，并提取所述视频段中的光流图像；基于所述关键帧图像及所述光流图像确定所述视频段的组合特征；构建
LSTM
分类器，通过所述组合特征训练所述
LSTM
分类器，以使所述
LSTM
分类器具备敏感图像识别能力
。2.
根据权利要求1所述的基于
AI
直播的图像分析方法，其特征在于，所述对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像的步骤包括：将所述视频流分隔为连续帧下的若干个帧图像，将第一帧的所述帧图像划分至第一视频段，并以第一帧的所述帧图像为所述第一视频段的第一中心点；将第二帧的所述帧图像与所述第一中心点进行相似度比对；若第二帧的所述帧图像与所述第一中心点的相似度大于相似度阈值，则将第二帧的所述帧图像划分至所述第一视频段，并计算所述第一视频段的第一更新中心点；若第二帧的所述帧图像与所述第一中心点的相似度小于相似度阈值，则将第二帧的所述帧图像划分至第二视频段，并以第二帧的所述帧图像为所述第二视频段的第二中心点；以时间序列依次处理后续的所述帧图像，直至将若干个所述帧图像分类为若干个视频段，以形成视频集
。3.
根据权利要求2所述的基于
AI
直播的图像分析方法，其特征在于，所述第一更新中心点的计算公式为：，其中，表示第一更新中心点，表示第
i
视频段内已有帧图像的数量，表示第
j
帧的帧图像，表示第
i
视频段内第
k
个帧图像
。4.
根据权利要求1所述的基于
AI
直播的图像分析方法，其特征在于，所述自所述视频段中确定关键帧图像的步骤具体为：计算所述视频段中所述帧图像的熵值，并将不同的所述帧图像的熵值进行比对，以将熵值最大的所述帧图像选定为关键帧图像
。5.
根据权利要求1所述的基于
AI
直播的图像分析方法，其特征在于，所述提取所述视频段中的光流图像的步骤包括：通过
TV
‑
L1
稠密光流算法提取所述视频段的第一方向运动图像及第二方向运动图像；将所述第一方向运动图像及所述第二方向运动图像堆积为光流图像
。6.
根据权利要求1所述的基于
AI
...

【专利技术属性】
技术研发人员：陈达剑，李火亮，陈鹏，
申请(专利权)人：江西拓世智能科技股份有限公司，
类型：发明
国别省市：