一种改进的场景内容检测的方法和系统技术方案

本发明专利技术提供一种改进的场景内容检测的方法和系统，通过提取多媒体数据中的多种特征，将多种特征按不同维度输入神经网络模型，得到经过机器学习后的高维度向量矩阵，再经由状态链模型，得到显性特征分布区域，进而确定出需要的语义特征集合，最后确定出不同场景划分的分界线，实现精确地分段内容检测，并且减少了运算量。运算量。运算量。

【技术实现步骤摘要】
一种改进的场景内容检测的方法和系统


[0001]本申请涉及网络多媒体领域，尤其涉及一种改进的场景内容检测的方法和系统。

技术介绍

[0002]现有网络中存在大量场景信息、非常丰富的视频数据，一段视频中常常剪辑有多个完全不同的场景，针对不同的场景调用不同的内容检测算法，会极大地增加运算量。即使能够划分出精确的场景分界线，其内容检测的运算量还是不小，给系统带来很大的负担。
[0003]因此，急需一种针对性的改进的场景内容检测的的方法和系统。在给出精确场景分界线的情况下，进一步改进内容检测算法。

技术实现思路

[0004]本专利技术的目的在于提供一种改进的场景内容检测的方法和系统，通过提取多媒体数据中的多种特征，将多种特征按不同维度输入神经网络模型，得到经过机器学习后的高维度向量矩阵，再经由状态链模型，得到显性特征分布区域，进而确定出需要的隐性特征分布区域的语义特征集合，最后确定出不同场景划分的分界线，实现精确地分段内容检测。
[0005]第一方面，本申请提供一种改进的场景内容检测的方法，所述方法包括：
[0006]接收采集终端发送的多媒体数据，从中提取出视觉特征、声音特征和文本特征，将所述视觉特征、声音特征和文本特征列入第一向量矩阵的三个维度，将所述第一向量矩阵送入神经网络模型的输入端；
[0007]其中，所述神经网络模型具有三个输入端，三个输入端分别接入对应的中间层，经过运算处理后，连接到三个缓冲区，其中一个中间层包括一个全态连接单元，所述全态连接单元会将中间层的结果反馈给其余两个缓冲区，所述其余两个缓冲区根据反馈修正数据，所述三个缓冲区输出经过加权求和后得到一个输出端；
[0008]所述神经网络模型对所述第一向量矩阵进行运算，剔除单个维度偏差大于预设阈值的特征值，得到机器学习后的第二高维度向量矩阵；
[0009]将所述第二高维度向量矩阵输入到状态链模型，根据预设的概率密度函数，确定所述多媒体数据对应的显性特征分布区域，得出可能的隐性特征分布区域，提取所述可能的隐性特征分布区域中的多个第三向量矩阵，分解所述第三向量矩阵得到隐性特征；
[0010]语义分析上述隐性特征，得到多个待定语义特征，并计算所述多个待定语义特征之间的相关度，去除其中相关度低于阈值的待定语义特征，确定所述多媒体数据对应的语义特征集合；
[0011]将所述第二高维度向量矩阵和所述语义特征集合输入计算函数，同时引入状态链模型的概率密度参数，得到所述第三向量矩阵到所述第二高维度向量矩阵的条件概率公式，经由神经网络模型计算该条件概率公式，计算得到最优的第三向量矩阵；
[0012]根据所述最优的第三向量矩阵之间的分布情况，确定不同场景划分的分界线，根据所述分界线将多媒体数据划分为不同的场景段，依次进行语义分析，得到对应不同场景
段的语义标签；
[0013]根据所述语义标签，调用不同的内容检测算法，对所述语义标签对应的场景段进行内容检测。
[0014]结合第一方面，在第一方面第一种可能的实现方式中，所述语义分析还包括聚类操作，对同一类的场景段集中分析。
[0015]结合第一方面，在第一方面第二种可能的实现方式中，所述接收采集终端发送的多媒体数据流包括对所述多媒体数据流的编解码。
[0016]结合第一方面，在第一方面第三种可能的实现方式中，所述语义分析采用神经网络模型。
[0017]第二方面，本申请提供一种改进的场景内容检测的系统，所述系统包括处理器以及存储器：
[0018]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0019]所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
[0020]第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
[0021]有益效果
[0022]本专利技术提供一种改进的场景内容检测的方法和系统，由于通过将提取的多种特征按不同维度输入神经网络模型，得到经过机器学习后的高维度向量矩阵，再经由状态链模型，确定出需要的语义特征集合，最后确定出不同场景划分的分界线，从而可以实现精确地分段内容检测，提高了检测精度，并且进一步减少了运算量。
附图说明
[0023]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本专利技术方法的流程图。
具体实施方式
[0025]下面结合附图对本专利技术的优选实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0026]图1为本申请提供的一种改进的场景内容检测的方法的流程图，包括：
[0027]接收采集终端发送的多媒体数据，从中提取出视觉特征、声音特征和文本特征，将所述视觉特征、声音特征和文本特征列入第一向量矩阵的三个维度，将所述第一向量矩阵送入神经网络模型的输入端；
[0028]其中，所述神经网络模型具有三个输入端，三个输入端分别接入对应的中间层，经过运算处理后，连接到三个缓冲区，其中一个中间层包括一个全态连接单元，所述全态连接单元会将中间层的结果反馈给其余两个缓冲区，所述其余两个缓冲区根据反馈修正数据，所述三个缓冲区输出经过加权求和后得到一个输出端；
[0029]所述神经网络模型对所述第一向量矩阵进行运算，剔除单个维度偏差大于预设阈值的特征值，得到机器学习后的第二高维度向量矩阵；
[0030]将所述第二高维度向量矩阵输入到状态链模型，根据预设的概率密度函数，确定所述多媒体数据对应的显性特征分布区域，得出可能的隐性特征分布区域，提取所述可能的隐性特征分布区域中的多个第三向量矩阵，分解所述第三向量矩阵得到隐性特征；
[0031]语义分析上述隐性特征，得到多个待定语义特征，并计算所述多个待定语义特征之间的相关度，去除其中相关度低于阈值的待定语义特征，确定所述多媒体数据对应的语义特征集合；
[0032]将所述第二高维度向量矩阵和所述语义特征集合输入计算函数，同时引入状态链模型的概率密度参数，得到所述第三向量矩阵到所述第二高维度向量矩阵的条件概率公式，经由神经网络模型计算该条件概率公式，计算得到最优的第三向量矩阵；
[0033]根据所述最优的第三向量矩阵之间的分布情况，确定不同场景划分的分界线，根据所述分界线将多媒体数据划分为不同的场景段，依次进行语义分析，得到对应不同场景段的语义标签；
[0034]根据所述语义标签，调用不同的内容检测算法，对所述语义标签对应的场景段进行内容检测。
[0035]在一些优选实施例中，所述语义分析还包括聚类操作，对同一类的场景段集中分析。
[0036]在一些优选实施例中，所述接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改进的场景内容检测的方法，其特征在于，所述方法包括：接收采集终端发送的多媒体数据，从中提取出视觉特征、声音特征和文本特征，将所述视觉特征、声音特征和文本特征列入第一向量矩阵的三个维度，将所述第一向量矩阵送入神经网络模型的输入端；其中，所述神经网络模型具有三个输入端，三个输入端分别接入对应的中间层，经过运算处理后，连接到三个缓冲区，其中一个中间层包括一个全态连接单元，所述全态连接单元会将中间层的结果反馈给其余两个缓冲区，所述其余两个缓冲区根据反馈修正数据，所述三个缓冲区输出经过加权求和后得到一个输出端；所述神经网络模型对所述第一向量矩阵进行运算，剔除单个维度偏差大于预设阈值的特征值，得到机器学习后的第二高维度向量矩阵；将所述第二高维度向量矩阵输入到状态链模型，根据预设的概率密度函数，确定所述多媒体数据对应的显性特征分布区域，得出可能的隐性特征分布区域，提取所述可能的隐性特征分布区域中的多个第三向量矩阵，分解所述第三向量矩阵得到隐性特征；语义分析上述隐性特征，得到多个待定语义特征，并计算所述多个待定语义特征之间的相关度，去除其中相关度低于阈值的待定语义特征，确定所述多媒体数据对应的语义特征集合；将所述第二高维度向量矩阵和所述语义特征集合输入计算函数，同时引入状态链...

【专利技术属性】
技术研发人员：吴冠标，孙涛，陈涛，
申请(专利权)人：天津市国瑞数码安全系统股份有限公司，
类型：发明
国别省市：