一种基于记忆组的采样方法、系统及电子设备技术方案

本公开提供一种基于记忆组的采样方法、系统及电子设备，涉及动作识别领域，通过设计采样机制，输入工作组的采样数据由包括最新的采样数据和暂存在记忆组中在前的采样数据，随着采样的进行，记忆组中在前采样数据占比越来越少，从而使得最新的采样数据比时间更久远的数据在预测中有更大的权重，保证了更近时刻的数据拥有更大的采样密度，基于记忆组同时考虑较长时间之前的数据帧和距离预测时间点最近的一段数据帧，并赋予不同时间点的数据不同的权重，结合分类器实现人体行为识别，提高了识别的精度和识别速度。

A sampling method, system and electronic equipment based on memory group

【技术实现步骤摘要】
一种基于记忆组的采样方法、系统及电子设备
本公开涉及动作识别领域，特别涉及一种基于记忆组的采样方法、系统及电子设备。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
，并不必然构成现有技术。人体动作行为识别在老年人看护、理疗康复、动漫游戏制作、安防监控、工厂人机协同等方面有着重要的应用价值。例如在老年人看护情景下，实时捕捉用户三维人体姿态，检测用户异常行为，可以为老年人提供更加舒适安全的看护服务，预防危险情况的发生。专利技术人发现，目前人体行为识别算法都是针对已经分割好的行为片段，并且在识别过程中可以使用完整的行为片段数据，这种离线的人体行为分类方法，需要根据行为类别事先把一个包含许多行为类别的视频序列分割成只包含一个行为类别的行为片段，无法满足实际场景中的人体行为识别需求；而在线行为识别过程中，滑动窗口的方法在窗口尺寸方面存在限制，在采样时会丢失长时间上下文信息，存在较长的延时，无法平衡久远数据和现有数据，导致其行为识别不够准确，难以满足需求。
技术实现思路
本公开的目的是针对现有技术存在的缺陷，提供一种基于记忆组的采样方法、系统及电子设备，通过设计采样机制，基于记忆组同时考虑较长时间之前的数据帧和距离预测时间点最近的一段数据帧，并赋予不同时间点的数据不同的权重，结合分类器实现人体行为识别，提高了识别的精度和识别速度。本公开的第一目的是提供一种基于记忆组的采样方法，采用以下技术方案：包括以下步骤：连续接收预设数目的数据帧并缓存，更新记忆组；记忆组更新工作组，将工作组数据帧输入分类器进行识别得到初次分类结果；再次缓存预设数目的数据帧并从中采样一半预设数目的数据帧输入工作组，从记忆组采样一半预设数目的数据帧输入工作组，将工作组数据输入分类器得到第二次分类结果，并以工作组数据更新记忆组；重复再次缓存数据帧的步骤，实现连续采样并依次获取识别分类结果，依据识别结果判断实时行为。进一步地，在更新记忆组时，记忆组中的数据帧被全部替换。进一步地，获取数据帧时，获取人体骨骼动作序列的三维坐标作为数据帧，采集当前时刻之前的连续数据帧进行缓存，在缓存数据帧输出到工作组后，清空缓存等待下一组缓存数据帧。进一步地，再次缓存数据帧时，从缓存中采样一半预设数目的数据帧与从记忆组中采样一半预设数目的数据帧进行合并，以此更新工作组，并以工作组更新记忆组，作为下一次的采样基础。进一步地，工作组输入分类器，对每个时间步做出实时的预测，将当前时刻的预测结果与上一次的预测结果相加取平均可以得到最终更新后的实时预测结果。进一步地，在判定实时行为时，若本次的识别结果与上次的识别结果不同，则表示识别到新的行为正在进行，连续三次得到相同的识别结果触发一次行为正确识别事件。进一步地，所述分类器获取工作组数据，并对数据进行几何特征、关节点集合距离特征和运动特征多个角度对动作序列进行时空建模，使用多个通道堆叠的一维时间卷积网络，融合多个通道的特征进行动作识别。本公开的第二目的是提供一种基于记忆组的采样系统，采用以下技术方案：缓存模块，采集当前时刻之前的连续数据帧进行缓存，并采样后输出到工作组；记忆模块，获取工作组的数据帧进行替换更新；工作模块，从缓存模块采样一半数据帧、从记忆模块采样一半数据帧合并成工作组，输入分类器；分类器，获取工作组数据帧并进行识别，输出识别分类结果。本公开的第三目的是提供一种介质，采用以下技术方案：介质上存储有程序，该程序被处理器执行时实现如上所述的基于记忆组的采样方法中的步骤。本公开的第四目的是提供一种电子设备，采用以下技术方案：包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的基于记忆组的采样方法中的步骤。与现有技术相比，本公开具有的优点和积极效果是：(1)通过设计采样机制，基于记忆组同时考虑较长时间之前的数据帧和距离预测时间点最近的一段数据帧，并赋予不同时间点的数据不同的权重，结合分类器实现人体行为识别，提高了识别的精度和识别速度；(2)输入工作组的采样数据由包括最新的采样数据和暂存在记忆组中在前的采样数据，随着采样的进行，记忆组中在前采样数据占比越来越少，从而使得最新的采样数据比时间更久远的数据在预测中有更大的权重，保证了更近时刻的数据拥有更大的采样密度，既考虑了长时间下的上下文数据信息，又保证了获取实时采样数据进行实时的行为识别精度，解决传统基于滑动窗口方法存在的问题。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为本公开实施例1、2中基于记忆组的采样机制流程示意图；图2为本公开实施例1、2中分类器的网络结构图。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步地说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；为了方便叙述，本公开中如果出现“上”、“下”、“左”、“右”字样，仅表示与附图本身的上、下、左、右方向一致，并不对结构起限定作用，仅仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本公开的限制。正如
技术介绍
中所介绍的，现有技术中在线行为识别过程中，滑动窗口的方法在窗口尺寸方面存在限制，在采样时会丢失长时间上下文信息，存在较长的延时，无法平衡久远数据和现有数据，导致其行为识别不够准确，难以满足需求；针对上述问题，本公开提出了一种基于记忆组的采样方法、系统及电子设备。实施例1本公开的一种典型的实施方式中，如图1所示，提出了一种基于记忆组的采样方法。在通过滑动窗口的方法对人体行为进行识别时，窗口尺寸方面存在限制，会丢失长时间上下文信息，存在较长的延时。包括以下步骤：连续接收预设数目的数据帧并缓存，更新记忆组；记忆组更新工作组，将工作组数据帧输入分类器进行识别得到初次分类结果；再次缓存预设数目的数据帧并从中采样一半预设数目的数据帧输入工作组，从记忆组采样一半预设数目的数据帧输入工作组，将工作组数据输入分类器得到第二次分类结果，并以工作组数据更新记忆组；重复再次缓存数据帧的步骤，实现连续采样并依次获取识别分类结果，依据识别结果判断实时行为。在本实施例中，设计采样机制，平衡离现在时间久远的数据和离现在比较本文档来自技高网...

【技术保护点】
1.一种基于记忆组的采样方法，其特征在于，包括以下步骤：/n连续接收预设数目的数据帧并缓存，更新记忆组；/n记忆组更新工作组，将工作组数据帧输入分类器进行识别得到初次分类结果；/n再次缓存预设数目的数据帧并从中采样一半预设数目的数据帧输入工作组，从记忆组采样一半预设数目的数据帧输入工作组，将工作组数据输入分类器得到第二次分类结果，并以工作组数据更新记忆组；/n重复再次缓存数据帧的步骤，实现连续采样并依次获取识别分类结果，依据识别结果判断实时行为。/n

【技术特征摘要】
1.一种基于记忆组的采样方法，其特征在于，包括以下步骤：
连续接收预设数目的数据帧并缓存，更新记忆组；
记忆组更新工作组，将工作组数据帧输入分类器进行识别得到初次分类结果；
再次缓存预设数目的数据帧并从中采样一半预设数目的数据帧输入工作组，从记忆组采样一半预设数目的数据帧输入工作组，将工作组数据输入分类器得到第二次分类结果，并以工作组数据更新记忆组；
重复再次缓存数据帧的步骤，实现连续采样并依次获取识别分类结果，依据识别结果判断实时行为。


2.如权利要求1所述的基于记忆组的采样方法，其特征在于，在更新记忆组时，记忆组中的数据帧被全部替换。


3.如权利要求1所述的基于记忆组的采样方法，其特征在于，获取数据帧时，获取人体骨骼动作序列的三维坐标作为数据帧，采集当前时刻之前的连续数据帧进行缓存，在缓存数据帧输出到工作组后，清空缓存等待下一组缓存数据帧。


4.如权利要求1所述的基于记忆组的采样方法，其特征在于，再次缓存数据帧时，从缓存中采样一半预设数目的数据帧与从记忆组中采样一半预设数目的数据帧进行合并，以此更新工作组，并以工作组更新记忆组，作为下一次的采样基础。


5.如权利要求1所述的基于记忆组的采样方法，其特征在于，工作组输入分类器，对每个时间步做出实时的预测，将当前时刻的预测结果与上一次的预测结果...

【专利技术属性】
技术研发人员：刘国良，李军伟，张庆徽，田国会，刘甜甜，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37