用于获取融合多尺度第一和第二维感受野信息的方法、系统和计算机可读介质技术方案

在一实施例中，一种方法包括：融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息，以获取与所述多尺度第二维感受野相应的来自多尺度第一和第二维感受野的信息；其中，第一维的所述多尺度第一维感受野是空间和时间中的一个，第二维的所述多尺度第二维感受野是空间和时间中的另一个；每一个所述多尺度第二维感受野由相应的第一卷积神经网络操作集提供，并且所述第一卷积神经网络操作集中的每一个操作具有相应的第一维局部到局部约束；和融合所述来自多尺度第一和第二维感受野的组合的信息，以获取融合多尺度第一和第二维感受野信息。度第一和第二维感受野信息。度第一和第二维感受野信息。

【技术实现步骤摘要】
【国外来华专利技术】用于获取融合多尺度第一和第二维感受野信息的方法、系统和计算机可读介质


[0001]本申请涉及视频理解的领域，具体涉及一种用于获取融合多尺度第一和第二维感受野信息的方法、系统和计算机可读介质。

技术介绍

[0002]视频是当今大数据不可或缺的一部分。受图像和语音深度学习的进展的推动，使用深度学习技术来理解视频内容已成为最热门的话题之一。视频理解涉及分析视频片段，并解释其中发生的事情。视频分类专注于根据视频片段的语义内容(如人类行为或复杂事件)对视频片段进行自动分类/标记。

技术实现思路

[0003]本申请的一个目的是提出一种用于获取融合多尺度第一和第二维感受野信息的方法、系统和计算机可读介质。
[0004]在本申请的第一方面，一种计算机实施的方法包括：融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息，以获取与所述多尺度第二维感受野相应的来自多尺度第一和第二维感受野的信息；其中，第一维的所述多尺度第一维感受野是空间和时间中的一个，第二维的所述多尺度第二维感受野是空间和时间中的另一个；每一个所述多尺度第二维感受野由相应的第一卷积神经网络操作集提供，并且所述第一卷积神经网络操作集中的每一个操作具有相应的第一维局部到局部约束；和融合所述来自多尺度第一和第二维感受野的组合的信息，以获取融合多尺度第一和第二维感受野信息。
[0005]在本申请的第二方面，一种系统包括至少一个内存和处理器模块。至少一个内存配置为存储程序指令。处理器模块配置为执行程序指令，该程序指令使处理器模块执行以下步骤：融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息，以获取与所述多尺度第二维感受野相应的来自多尺度第一和第二维感受野的信息；其中，第一维的所述多尺度第一维感受野是空间和时间中的一个，第二维的所述多尺度第二维感受野是空间和时间中的另一个；每一个所述多尺度第二维感受野由相应的第一卷积神经网络操作集提供，并且所述第一卷积神经网络操作集中的每一个操作具有相应的第一维局部到局部约束；和融合所述来自多尺度第一和第二维感受野的组合的信息，以获取融合多尺度第一和第二维感受野信息。
[0006]在本申请的第三方面，提供了一种其上存储有程序指令的非暂时性计算机可读介质。当程序指令由处理器模块执行时，使处理器模块执行以下步骤：融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息，以获取与所述多尺度第二维感受野相应的来自多尺度第一和第二维感受野的信息；其中，第一维的所述多尺度第一维感受野是空间和时间中的一个，第二维的所述多尺度第二维感受野是空间和时间中的另一个；每一个所述多尺度第二维感受野由相应的第一卷积神经网络操作集提供，并且所述第
一卷积神经网络操作集中的每一个操作具有相应的第一维局部到局部约束；和融合所述来自多尺度第一和第二维感受野的组合的信息，以获取融合多尺度第一和第二维感受野信息。
附图说明
[0007]为更清楚地说明本申请或相关技术的实施例，简要介绍了将在实施例中进行描述的以下附图。显然，这些附图仅是本申请的一些实施例，本领域普通技术人员可以在不付出创造性劳动的前提下，根据这些附图获取其他附图。
[0008]图1A和图1B是示出第一卷积神经网络操作集的相应操作的示意图，在对输入特征图序列执行以获取时间重要性时，第一卷积神经网络操作集中的每一个操作具有空间局部到局部约束。
[0009]图2A和图2B是示出第一卷积神经网络操作集的相应操作的示意图，在对输入特征图序列执行以获取空间重要性时，第一卷积神经网络操作集中的每一个操作具有时间局部到局部约束。
[0010]图3A和图3B是示出第一卷积神经网络操作集的相应操作的示意图，在对输入特征图序列执行以获取时间重要性时，第一卷积神经网络操作集中的每一个操作具有空间局部到局部约束。
[0011]图4A和图4B是示出第一卷积神经网络操作集的相应操作的示意图，在对输入特征图序列执行以获取空间重要性时，第一卷积神经网络操作集中的每一个操作具有时间局部到局部约束。
[0012]图5是示出根据本申请一实施例的终端中的输入、处理和输出硬件模块的框图。
[0013]图6是示出根据本申请一实施例的融合多尺度第一和第二维感受野信息获取模块的框图。
[0014]图7是示出根据本申请一实施例的图6中的多尺度第一和第二维感受野信息获取模块的框图，多尺度第一和第二维感受野信息获取模块包括图7中的模块。
[0015]图8是示出根据本申请一实施例的感受野的组合的图，该感受野的组合对应于图7中的多尺度第一和第二维感受野信息获取模块中的模块以及图6中的融合多尺度第一和第二维感受野信息获取模块中的模块所执行的步骤。
[0016]图9是示出根据本申请一实施例的图7中的融合多尺度第一维感受野信息获取模块，以及图7及图6中与图9中的融合多尺度第一维感受野信息获取模块相应的模块的框图，融合多尺度第一维感受野信息获取模块包括图9中的模块。
[0017]图10是示出根据本申请一实施例的图7中的融合多尺度第一维感受野信息获取模块，以及图7及图6中与图10中的融合多尺度第一维感受野信息获取模块相应的模块的框图，融合多尺度第一维感受野信息获取模块包括图10中的模块。
[0018]图11是示出根据本申请一实施例的图10中第一维重要性获取模块的细节的示意图。
[0019]图12是示出根据本申请一实施例的图10中的多融合重要和最精细第一维尺度和单一第二维尺度第一和第二维感受野信息获取模块以及重要和最精细第一维尺度和重要第二维尺度第一和第二维感受野信息获取模块的细节的框图。
[0020]图13是示出根据本申请一实施例的融合多尺度第一和第二维感受野信息和多尺度第一维感受野信息获取模块的框图。
[0021]图14是示出根据本申请一实施例的由融合时间重要性和输入特征图序列获取模块所获取的具有至少一个更合适时间尺度的上下文的示意图。
[0022]图15是示出根据本申请一实施例的融合多尺度第一维感受野信息获取模块的背景抑制效果的示意图。
[0023]图16是示出根据本申请一实施例的由图9中的融合多尺度第一和第二维感受野信息获取模块所获取的具有全局和最精细空间尺度和重要时间尺度的上下文的示意图。
[0024]图17是示出根据本申请一实施例的由图10中的融合多尺度第一和第二维感受野信息获取模块所获取的具有重要空间尺度和重要时间尺度的上下文的示意图。
[0025]图18是示出根据本申请一实施例的图6中的多尺度第一和第二维感受野信息获取模块的框图，多尺度第一和第二维感受野信息获取模块包括图18中的模块。
[0026]图19是示出根据本申请一实施例的感受野的组合的图，该感受野的组合对应于图18中的多尺度第一和第二维感受野信息获取模块中的模块以及图6中的融合多尺度第一和第二维感受野信息获取模块中的模块所执行的步骤。
[0027]图20是示出根据本申请一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，其特征在于，包括：融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息，以获取与所述多尺度第二维感受野相应的来自多尺度第一和第二维感受野的信息；其中，第一维的所述多尺度第一维感受野是空间和时间中的一个，第二维的所述多尺度第二维感受野是空间和时间中的另一个；每一个所述多尺度第二维感受野由相应的第一卷积神经网络操作集提供，并且所述第一卷积神经网络操作集中的每一个操作具有相应的第一维局部到局部约束；和融合所述来自多尺度第一和第二维感受野的组合的信息，以获取融合多尺度第一和第二维感受野信息。2.根据权利要求1所述的计算机实施的方法，其特征在于，所述融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息的步骤包括：使用输入特征图序列执行至少一个第二卷积神经网络操作，以获取融合多尺度第一维感受野信息；其中，至少一个所述多尺度第一维感受野由相应的所述至少一个第二卷积神经网络操作提供，其中所述至少一个所述多尺度第一维感受野的尺度大于所述多尺度第一维感受野的最小尺度；和使用所述融合多尺度第一维感受野信息执行多个第三卷积神经网络操作中的每一个，以获取相应的融合多第一维尺度和单一第二维尺度第一和第二维感受野信息；其中，每一个所述第一卷积神经网络操作集是提供相应一个所述多尺度第二维感受野的相应所述第三卷积神经网络操作；并且所有所述第三卷积神经网络操作的相应所述融合多第一维尺度和单一第二维尺度第一和第二维感受野信息是所述来自多尺度第一和第二维感受野的信息。3.根据权利要求2所述的计算机实施的方法，其特征在于，所述融合多尺度第一维感受野信息是使用第一维重要性获取的；和所述第一维重要性是通过多个所述第二卷积神经网络操作获取的。4.根据权利要求3所述的计算机实施的方法，其特征在于，所述融合多尺度第一维感受野信息是使用所述第一维重要性与所述输入特征图序列融合获取的。5.根据权利要求1所述的计算机实施的方法，其特征在于，所述融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息的步骤包括：使用输入特征图序列执行多个第四卷积神经网络操作中的每一个操作，以获取相应的单一第一维尺度和单一第二维尺度第一和第二维感受野信息；其中，每一个所述第一卷积神经网络操作集是提供相应一个所述多尺度第二维感受野的所述第四卷积神经网络操作中的相应多重操作集，其中每一个所述多重操作集提供所有所述多尺度第一维感受野和相应一个所述多尺度二维感受野；所有所述第四卷积神经网络操作的相应所述单一第一维尺度和单一第二维尺度第一和第二维感受野信息是所述来自所述多尺度第一和第二维感受野的信息。6.根据权利要求1所述的计算机实施的方法，其特征在于，所述多尺度第一维感受野和每一个所述多尺度第二维感受野由相应的池化操作集提
供，每一个所述池化操作集包括相应的所述第一卷积神经网络操作集。7.根据权利要求1所述的计算机实施的方法，其特征在于，所述融合多尺度第一和第二维感受野信息是使用第一和第二维重要性获取的。8.根据权利要求7所述的计算机实施的方法，其特征在于，所述第一和第二维重要性是使用注意力图序列机制获取的。9.一种系统，其特征在于，包括：内存模块，配置为存储程序指令；处理器模块，配置为执行所述程序指令，所述程序指令使所述处理器模块执行至少一个步骤，所述至少一个步骤包括：融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息，以获取与所述多尺度第二维感受野相应的来自多尺度第一和第二维感受野的信息；其中，第一维的所述多尺度第一维感受野是空间和时间中的一个，第二维的所述多尺度第二维感受野是空间和时间中的另一个；每一个所述多尺度第二维感受野由相应的第一卷积神经网络操作集提供，并且所述第一卷积神经网络操作集中的每一个操作具有相应的第一维局部到局部约束；和融合所述来自多尺度第一和第二维感受野的组合的信息，以获取融合多尺度第一和第二维感受野信息。10.根据权利要求9所述的系统，其特征在于，所述融合来自所有多尺度第一维感受野和每一个多尺度第二维感受野的相应组合的信息的步骤包括：使用输入特征图序列执行至少一个第二卷积神经网络操作，以获取融合多尺度第一维感受野信息；其中，至少一个所述多尺度第一维感受野由相应的所述至...

【专利技术属性】
技术研发人员：孟子博，陈鸣，何朝文，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：