基于序列状态演进的行为预测方法及装置制造方法及图纸

本申请提出一种基于序列状态演进的行为预测方法及装置，其中，方法包括：获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。由此，通过该方法进行行为预测时提升了行为预测的性能。

【技术实现步骤摘要】
基于序列状态演进的行为预测方法及装置
本申请涉及模式识别
，尤其涉及一种基于序列状态演进的行为预测方法及装置。
技术介绍
随着人体行为理解的快速发展，人体行为理解已经引起了广泛的兴趣并且成为了计算机视觉中的一个重要的领域。人体行为分析的快速发展使得动作预测已经成为人体动作分析的一个新的领域并且在很多应用中展现出其重要性，例如动作视频分析，异常行为检测和自动驾驶等。其中，动作预测是指从部分视频中推断出未完成的动作。从观测到的序列中预测已经发生的部分动作是非常具有挑战性的，现有的动作预测方法主要分为两类：模板匹配和基于时域特征的分类方法。模板匹配预测动作是通过对动作进行模板匹配，这些模板包含稠密的表达和稀疏的表达。然而，稠密的模板匹配方法容易受到离散值的干扰，而稀疏的模板匹配方法在预测具有相似给你的动作时存在困难。基于时域特征的分类方法是从时域中提取特征来建模观测到的动作序列的趋势。但是，该方法忽略了后续未观测到的序列的趋势，这种趋势在理解完整的动作时是非常重要的。现有的动作预测方法会受到部分动作的歧义性的干扰，因此，动作预测时如何挖掘部分动作和全部动作之间的关系以及如何消除部分动作的歧义性是亟待解决的技术问题。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种基于序列状态演进的行为预测方法，以解决了现有技术中行为预测方法不能够解决部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题。本申请一方面实施例提出了一种基于序列状态演进的行为预测方法，包括：获取当前周期的人体动作序列；将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。本申请实施例的基于序列状态演进的行为预测方法，通过获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。该方法通过将多个候选预测动作作为指导，生成出指定的动作，从而实现行为预测，解决了现有技术中的行为预测方法部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题，从而提升了行为预测的性能。本申请又一方面实施例提出了一种基于序列状态演进的行为预测装置，包括：第一获取模块，用于获取当前周期的人体动作序列；筛选模块，用于将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；第一生成模块，用于将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；第二生成模块，用于将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；确定模块，用于根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。本申请实施例的基于序列状态演进的行为预测装置，通过获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。该方法通过将多个候选预测动作作为指导，生成出指定的动作，从而实现行为预测，解决了现有技术中的行为预测方法部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题，从而提升了行为预测的性能。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例提供的一种基于序列状态演进的行为预测方法与传统方法的核心思想示意图；图2为本申请实施例提供的一种基于序列状态演进的行为预测方法的流程示意图；图3为本申请实施例提供的另一种基于序列状态演进的行为预测方法的流程示意图；图4为本申请实施例提供的一种基于序列状态演进的行为预测方法示例图；图5为本申请实施例提供的一种基于序列状态演进的行为预测装置的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。现有技术中，将观测到的动作序列输入到动作预测模型中，得到多个预设的预测动作的置信度，按照置信度从大到小的顺序将多个预设的预测动作进行排序，将置信度最高的预设的预测动作作为动作预测模型的预测结果输出。参见图1，图1中预设的预测动作为玩手机、打电话、挥手、穿鞋等，由于玩手机的动作的置信度最高，因此，动作预测模型将玩手机的动作作为预测动作输出。但是，现有技术中的行为预测方法不能够解决部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题。针对上述现有技术存在的技术问题，本申请实施例中，通过从预设的多个预测动作中筛选出多个候选预测动作，并将多个候选动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成与多个候选预测动作对应的多个第一候选动作序列，进而分别将每个第一候选动作序列拼接在人体动作序列之后，得到多个第二候选动作序列，将多个第二候选动作序列输入到真实度判断模型中，将输出概率最高的第二候选动作序列对应的动作作为预测动作输出。作为一种示例，参见图1，将观测到的动作序列输入到预测网络，得到预设的可能的动作的置信度，并根据置信度从大到小的顺序对可能的动作进行排序为：玩手机、本文档来自技高网...

【技术保护点】
1.一种基于序列状态演进的行为预测方法，其特征在于，所述方法包括以下步骤：获取当前周期的人体动作序列；将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。

【技术特征摘要】
1.一种基于序列状态演进的行为预测方法，其特征在于，所述方法包括以下步骤：获取当前周期的人体动作序列；将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。2.如权利要求1所述的行为预测方法，其特征在于，在所述根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断之前，还包括：将每个第二候选动作序列输入全长度分类器，获取所述全长度分类器的输出结果；根据所述输出结果，确定动作类别与其所属标签不一致的第三候选动作序列，并根据所述第三候选动作序列更新所述多个第二候选动作序列。3.如权利要求1所述的行为预测方法，其特征在于，所述根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列，包括：将更新后的所述多个第二候选动作序列的每个第二候选动作序列输入预设判别器网络，获取与所述每个第二候选动作序列对应的判别值；确定所述判别值满足预设值的目标动作序列为下一个周期的预测人体动作序列。4.如权利要求2所述的行为预测方法，其特征在于，在所述确定动作类别与其所属标签不一致的第三候选动作序列之后，还包括：根据预设的一致性损失函数对所述预设的预测网络进行训练；所述预设的一致性损失函数的计算公式如下：Lcon＝||RQ,G,C-AQ||1＝||C{(St,G(St,AQ))}-AQ||1其中，Lcon为所述一致性损失函数，R为所述第二候选动作序列对应的动作，AQ为所述候选预测动作，C为所述全长度分类器，G为所述生成器网络，St为所述人体动作序列，{}为对所述第一候选动作序列与所述人体动作序列进行拼接的操作。5.如权利要求1所述的行为预测方法，其特征在于，所述将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作包括：将所述人体动作序列输入计算公式得到所述多个候选预测动作，其中，所述计算公式为：其中，Φ为所述预设的筛选策略，用于根据所...

【专利技术属性】
技术研发人员：鲁继文，周杰，陈磊，段岳圻，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11