基于关键帧的视觉语义检测方法和系统技术方案

本发明专利技术提供一种基于关键帧的视觉语义检测方法和系统，通过计算帧图像的直方图在梯度方向的特征值，得到特征值跳跃点，进行视频采样、向量化和卷积运算得到关键帧，在该关键帧处进行维度转换和划分平面，将同一平面的帧图像进行图形分析，判断帧图像以及数据流是否合规。规。规。

【技术实现步骤摘要】
基于关键帧的视觉语义检测方法和系统


[0001]本申请涉及网络多媒体领域，尤其涉及一种基于关键帧的视觉语义检测方法和系统。

技术介绍

[0002]现有网络中存在很多视频，其不包含或包含少量语义信息，根据现有的语义检测方法很难准确识别和解析。然而这些视频都会有若干个关键帧，关键帧为视频中最能代表其内容的视频帧。如果利用好关键帧进行视频检测，成为本领域技术人员研究的重点方向。
[0003]因此，急需一种针对性的基于关键帧的视觉语义检测方法和系统。

技术实现思路

[0004]本专利技术的目的在于提供一种基于关键帧的视觉语义检测方法和系统，通过计算帧图像的直方图在梯度方向的特征值，得到特征值跳跃点，进行视频采样、向量化和卷积运算得到关键帧，在该关键帧处进行维度转换和划分平面，将同一平面的帧图像进行图形分析，判断帧图像以及数据流是否合规。
[0005]第一方面，本申请提供一种基于关键帧的视觉语义检测方法，所述方法包括：
[0006]获取视频数据流，计算每一帧图像的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，对所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化；
[0007]将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果，对所述第一中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
[0008]将所述关键帧的图像向量化后进行维度转换，输入高维度样本集合，调用分类器对该高维度样本集合进行分类，集合的两两特征值在预设差值范围内的划为一组，计算组的平均特征值，将所述组与组之间的平均特征值差值大于阈值的不同组划为不同的平面；
[0009]将同一平面的帧图像输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容；
[0010]如果帧图像包括的图形内容不合规，则删除该段视频数据流。
[0011]结合第一方面，在第一方面第一种可能的实现方式中，所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。
[0012]结合第一方面，在第一方面第二种可能的实现方式中，所述调用分类器对该高维度样本集合进行分类，包括输入向量与高维度样本集合间的内积运算。
[0013]结合第一方面，在第一方面第三种可能的实现方式中，所述语义分析模型和图形分析模型的内核均使用神经网络模型。
[0014]第二方面，本申请提供一种基于关键帧的视觉语义检测系统，所述系统包括处理器以及存储器：
[0015]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0016]所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
[0017]第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
[0018]本专利技术提供一种基于关键帧的视觉语义检测方法和系统，通过计算帧图像的直方图在梯度方向的特征值，得到特征值跳跃点，进行视频采样、向量化和卷积运算得到关键帧，在该关键帧处进行维度转换和划分平面，将同一平面的帧图像进行图形分析，判断帧图像以及数据流是否合规。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术方法的流程图。
具体实施方式
[0021]下面结合附图对本专利技术的优选实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0022]图1为本申请提供的基于关键帧的视觉语义检测方法的流程图，包括：
[0023]获取视频数据流，计算每一帧图像的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，对所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化；
[0024]将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果，对所述第一中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
[0025]将所述关键帧的图像向量化后进行维度转换，输入高维度样本集合，调用分类器对该高维度样本集合进行分类，集合的两两特征值在预设差值范围内的划为一组，计算组的平均特征值，将所述组与组之间的平均特征值差值大于阈值的不同组划为不同的平面；
[0026]将同一平面的帧图像输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容；
[0027]如果帧图像包括的图形内容不合规，则删除该段视频数据流。
[0028]在一些优选实施例中，所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。
[0029]在一些优选实施例中，所述调用分类器对该高维度样本集合进行分类，包括输入
向量与高维度样本集合间的内积运算。
[0030]在一些优选实施例中，所述语义分析模型和图形分析模型的内核均使用神经网络模型。
[0031]本申请提供一种基于关键帧的视觉语义检测系统，所述系统包括：所述系统包括处理器以及存储器：
[0032]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0033]所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
[0034]本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
[0035]具体实现中，本专利技术还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本专利技术各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
[0036]本领域的技术人员可以清楚地了解到本专利技术实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本专利技术实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键帧的视觉语义检测方法，其特征在于，所述方法包括：获取视频数据流，计算每一帧图像的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，对所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化；将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果，对所述第一中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；将所述关键帧的图像向量化后进行维度转换，输入高维度样本集合，调用分类器对该高维度样本集合进行分类，集合的两两特征值在预设差值范围内的划为一组，计算组的平均特征值，将所述组与组之间的平均特征值差值大于阈值的不同组划为不同的平面；将同一平面的帧图像输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包...

【专利技术属性】
技术研发人员：苏长君，曾祥禄，
申请(专利权)人：北京智美互联科技有限公司，
类型：发明
国别省市：