多特征融合的动态场景分类方法与装置制造方法及图纸

本发明专利技术提供一种多特征融合的动态场景分类方法与装置。该方法包括：获取待分类视频；采用C3D特征提取器对待分类视频进行特征提取，获取第一特征信息；采用iDT特征提取器对待分类视频进行特征提取，获取第二特征信息；采用VGG特征提取器对待分类视频进行特征提取，获取第三特征信息；对第一特征信息、第二特征信息和第三特征信息进行融合，获取融合特征；根据融合特征对待分类视频进行分类，得到待分类视频的分类结果。本发明专利技术提供的特征融合的动态场景分类方法，采用三种特征提取器提取待分类视频的不同特征，不仅考虑了待分类视频的短时动态特征，还考虑了待分类视频的长时动态特征和静态特征，使得动态场景分类更准确。

【技术实现步骤摘要】

本专利技术涉及航空监视技术，尤其涉及多特征融合的动态场景分类方法与装置。
技术介绍
随着无人机技术的发展以及国家对低空领域使用的不断开放，无人机被广泛应用于灾情巡查、山区救援、物资输送、样本采集等任务中。带有摄像装置的无人机在飞行过程中进行拍摄，并将画面返回给服务器，服务器可自动根据画面内容进行目标检测跟踪，可以实现自动识别天气、环境、灾情等。为提高目标检测跟踪的准确度，本领域技术人员除对算法进行了大量研究和改进外，还考虑到目标所在的动态场景的不同，也会严重影响到目标检测跟踪的准确度。因此，本领域技术人员提出在进行目标检测跟踪之前，首先进行动态场景分类。但是，现有动态场景分类方法通常仅基于静态图像进行分类，导致分类精度较差。
技术实现思路
本专利技术提供一种多特征融合的动态场景分类方法与装置，用于解决现有动态场景分类方法通常仅基于静态图像进行分类，导致分类精度较差的问题。一方面，本专利技术提供一种多特征融合的动态场景分类方法，包括：获取待分类视频；采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息；采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息；采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息；对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征；根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果。如上所述的多特征融合的动态场景分类方法，所述对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征，包括：获取所述第一特征信息中第一预设维度对应的第一特征数据，获取所述第二特征信息中第二预设维度对应的第二特征数据，获取所述第三特征信息中第三预设维度对应的第三特征数据；根据所述第一特征数据、所述第二特征数据、所述第三特征数据获取所述融合特征。如上所述的多特征融合的动态场景分类方法，所述对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征之前，还包括：获取训练视频库中所有训练视频各自的第一特征信息、第二特征信息和第三特征信息；根据所述所有训练视频各自的第一特征信息、第二特征信息和第三特征信息，获取第一特征信息、第二特征信息和第三特征信息的所有维度的费舍尔判别比；根据所述第一特征信息中的所有维度的费舍尔判别比确定所述第一特征信息的第一预设维度，根据所述第二特征信息中的所有维度的费舍尔判别比确定所述第二特征信息的第二预设维度，所述第三特征信息中的所有维度的费舍尔判别比确定所述第三特征信息的第三预设维度；其中，所述训练视频库包括至少两个属于不同类别的训练视频。如上所述的多特征融合的动态场景分类方法，任一所述特征信息中的第i个维度的费舍尔判别比的获取公式如下所示：k＝Sb/Si；属的类别总数，xij为第j个类别的所有训练视频的第i个维度的特征数据矩阵，mij为第j个类别的所有训练视频的第i个维度的特征数据矩阵的平均值矩阵，mih为第h个类别的所有训练视频的第i个维度的特征数据矩阵的平均值矩阵。i的取值范围为1到I的正整数，I为所述第i个维度所属的特征信息的维度总数，j的取值范围为1到J的正整数，h的取值范围为是除j外的1到J的正整数。如上所述的多特征融合的动态场景分类方法，所述采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息，包括：将所述待分类视频进行划分，得到至少一个包含N帧图像的视频片段；采用三维卷积神经网络特征提取器对所有所述视频片段进行特征提取，获取所述第一特征信息；其中，N为大于1的正整数。如上所述的多特征融合的动态场景分类方法，所述采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息，包括：获取所述待分类视频的稠密轨迹特征和单应性矩阵；采用所述单应性矩阵对所述稠密轨迹特征进行矫正，获取所述第二特征信息。如上所述的多特征融合的动态场景分类方法，所述采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息，包括：在所述待分类视频中提取至少一帧关键帧，采用VGG特征提取器对所述至少一帧关键帧进行特征提取，获取所述第三特征信息。如上所述的多特征融合的动态场景分类方法，所述根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果，包括：根据所述融合特征，采用支持向量机分类器对所述待分类视频进行分类，得到所述待分类视频的分类结果。下面介绍本专利技术实施例提供的多特征融合的动态场景分类装置，该装置与方法一一对应，用以实现上述实施例中的特征融合的动态场景分类方法，具有相同的技术特征和技术效果，本专利技术实施例对此不再赘述。另一方面，本专利技术提供一种多特征融合的动态场景分类装置，包括：待分类视频获取模块，用于获取待分类视频；特征提取模块，用于采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息；采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息；采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息；融合模块，用于对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征；分类模块，用于根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果。本专利技术提供的特征融合的动态场景分类方法和装置，采用C3D特征提取器、iDT特征提取器和VGG特征提取器三种特征提取器提取待分类视频的不同特征，将不同特征融合后进行动态场景分类。不仅考虑了待分类视频的短时动态特征，还考虑了待分类视频的长时动态特征，更融合了待分类视频的静态信息，使得动态场景分类更准确。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的多特征融合的动态场景分类方法实施例一的流程示意图；图2为本专利技术提供的多特征融合的动态场景分类方法实施例二的流程示意图；图3为本专利技术提供的多特征融合的动态场景分类装置实施例一的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在进行目标检测跟踪前，确定动态场景的类型有助于提高目标检测跟踪的速度与精度。动态场景分类问题的难点在于由于光照、视角变换等因素，导致同一类动态场景类内的差别较大，以及不同类动态场景的类间差别较小。例如，同样是森林火灾的场景，可能由于火灾的程度不同，拍摄的视角不同，烟雾的浓度不同，拍摄出来的动态场景存在很大差异；由同样的物体不同的组合可以组成不同的动态场景，就造成了类间的差距变小，比如瀑布场景和河流场景的类间差别较小。现有的基于场景中物体识别的动态场景分类方法在进行动态场景分类时，本文档来自技高网...

【技术保护点】
一种多特征融合的动态场景分类方法，其特征在于，包括：获取待分类视频；采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息；采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息；采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息；对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征；根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果。

【技术特征摘要】
1.一种多特征融合的动态场景分类方法，其特征在于，包括：获取待分类视频；采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息；采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息；采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息；对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征；根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果。2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征，包括：获取所述第一特征信息中第一预设维度对应的第一特征数据，获取所述第二特征信息中第二预设维度对应的第二特征数据，获取所述第三特征信息中第三预设维度对应的第三特征数据；根据所述第一特征数据、所述第二特征数据、所述第三特征数据获取所述融合特征。3.根据权利要求2所述的方法，其特征在于，所述对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征之前，还包括：获取训练视频库中所有训练视频各自的第一特征信息、第二特征信息和第三特征信息；根据所述所有训练视频各自的第一特征信息、第二特征信息和第三特征信息，获取第一特征信息、第二特征信息和第三特征信息的所有维度的费舍尔判别比；根据所述第一特征信息中的所有维度的费舍尔判别比确定所述第一特征信息的第一预设维度，根据所述第二特征信息中的所有维度的费舍尔判别比确定所述第二特征信息的第二预设维度，所述第三特征信息中的所有维度的费舍尔判别比确定所述第三特征信息的第三预设维度；其中，所述训练视频库包括至少两个属于不同类别的训练视频。4.根据权利要求3所述的方法，其特征在于，任一特征信息中的第i个维度的费舍尔判别比的获取公式如下所示：k＝Sb/Si；其中，Si为第i个维度的类内离散度，Sb为第i个维度的类间离散度，J为所述所有训练视频所属的类别总数，xij为第j个类别的所有训练视频的第i个维度的特征数据矩阵，mij为第j个类别的所有训练视频的第i个维度的特征数据矩阵的平均值矩阵，mih为第h个类别的所有训练视频的第i个维度的特征数据矩阵的平均值矩阵。i的取值范围为1到I的正整数，I为所述第i个维度所...

【专利技术属性】
技术研发人员：曹先彬，郑洁宛，黄元骏，潘朝凤，刘俊英，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11