【技术实现步骤摘要】
基于双超图神经网络的场景图像分类方法及系统
[0001]本专利技术涉及场景图像分类
，特别是涉及一种基于双超图神经网络的场景图像分类方法、系统、电子设备及存储介质。
技术介绍
[0002]场景图像分类能够为智能视频监控中收集到的事件、场景数据进行智能地识别和分类，从而提高智能视频监控的效率。然而，当前主流的场景图像分类技术大多倾向于对各个场景图像进行单独处理，忽略了同类场景图像间的共性特征，因此，其所能获得的特征信息较为有限，特别是在标记样本较少的情况下，这大大限制了场景图像分类的性能。
[0003]图神经网络由于其能够有效地挖掘和处理数据中的图结构信息而成为了当前研究的热点。图神经网络已经广泛用于文献分类、图像分类、个性化推荐、风险预测等多个研究领域。图神经网络不仅能处理单个样本的特征信息，还考虑样本之间的关联关系，能够获得比单独处理单个样本更多的有用信息。因此，将图神经网络用于智能视频监控中场景图像分类能够有效地突破上述局限。基于图神经网络的场景图像分类方法不仅能够处理单个场景图像样本的特征信息，还能够有效...
【技术保护点】
【技术特征摘要】
1.一种基于双超图神经网络的场景图像分类方法，其特征在于，所述方法包括：获取待分类场景图像；根据待分类场景图像，得到场景图像对应的特征矩阵；所述待分类场景图像至少为一张，且均为智能视频监控场景图像；将所述特征矩阵输入训练好的双超图神经网络的多视图超图学习网络中，通过将多视图超图学习网络在多个视图上学习到的超图进行融合，得到超图关联矩阵；所述多视图超图学习网络中的每个视图均采用不同的可学习相似度度量函数；将所述特征矩阵和超图关联矩阵输入训练好的双超图神经网络的密度感知超图注意力网络中，利用密度感知注意力机制挖掘数据中的密度信息以进行超图表示学习，得到待分类场景图像的类别预测结果；所述密度感知注意力机制用于将超图中顶点/超边的密度信息融合到顶点/超边密度注意力中。2.根据权利要求1所述的场景图像分类方法，其特征在于，所述将所述特征矩阵输入训练好的双超图神经网络的多视图超图学习网络中，通过将多视图超图学习网络在多个视图上学习到的超图进行融合，得到超图关联矩阵，包括：利用多视图融合模块对多视图超图学习网络中的每个视图上学习到的超图进行融合，得到第一超图关联矩阵；所述超图中的每个节点代表一个场景图像，超图中的超边表示场景图像之间的高阶关联关系；根据所述特征矩阵，计算场景图像间的相似度；根据所述相似度构造超边，得到原始超图关联矩阵；将所述第一超图关联矩阵和原始超图关联矩阵进行合并，得到超图关联矩阵。3.根据权利要求2所述的场景图像分类方法，其特征在于，在多视图超图学习网络中的任意一个视图上学习到的超图，包括：利用低维嵌入模块，将所述特征矩阵从原始特征空间映射到低维嵌入空间；利用相似度学习模块，在低维嵌入空间中通过相似度度量函数学习场景图像间的相似度；利用超边构建模块基于所学习到的相似度进行超边构建，得到该视图上学习到的超图结构。4.根据权利要求3所述的场景图像分类方法，其特征在于，所述在低维嵌入空间中通过相似度度量函数学习场景图像间的相似度，包括：通过相似度度量函数，计算场景图像间的相似度，得到相似度矩阵；对所述相似度矩阵进行稀疏采样，过滤掉低于第一预设阈值的相似度。5.根据权利要求1～4任一项所述的场景图像分类方法，其特征在于，所述方法还包括：根据所述特征矩阵和超图关联矩阵，利用超图信息传播机制获得顶点特征矩阵和超边特征矩阵。6.根据权利要求5所述的场景图像分类方法，其特征在于，所述将所述特征矩阵和超图关联矩阵输入训练好的双超图神经网络的密度感知超图注意力网络中，利用密度感知注意力机制挖掘数据中的密度信息以进行超图表示学习，得到待分类场景图像的类别预测结果，包括：将所述顶点特征矩阵和超边特征矩阵...
【专利技术属性】
技术研发人员：廖剑鹏，陶乾，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。