一种面向动作识别的基于拓扑数据分析的联邦增量方法技术

本发明专利技术公开了一种面向动作识别的基于拓扑数据分析的联邦增量方法，包括如下步骤：服务器端将训练好的健身动作识别模型分发给各个客户端；客户端采用训练好的健身动作识别模型识别用户的健身动作类型；服务器收到两个或两个以上来自客户端的对同一标准健身动作类型进行类型增量的任是；服务器端根据收到来自客户端的不标准的健身动作视频的

【技术实现步骤摘要】
一种面向动作识别的基于拓扑数据分析的联邦增量方法


[0001]本专利技术属于类别增量学习算法领域，涉及一种面向动作识别的基于拓扑数据分析的联邦增量方法
。

技术介绍

[0002]随着
VR\AR
的流行，在家健身已经逐渐成为多数人的趋势，但在健身的过程中很容易出现一些错误行为，比如，不准确的发力姿势，错误的站姿
。
这些错误仅靠用户自身来进行纠正是比较困难的，而这种潜在的错误健身姿势很有可能会影响训练的效果，甚至会对人体肌肉造成一定的拉伤，需要针对性的提供指导，这就在算法上需要实现不断增加分类种类的增量学习
。
[0003]在传统普通机器学习的过程中，分类是预先固定好的，每次有新的目标类增加（例如增加一个弯腰的动作识别类）的话，就需要全部重新计算，这对分布式系统而言，无论是通信还是在服务器计算上，负担很重
。
所以，类增量学习的发展得到了广泛的关注，类增量学习旨在于保证模型能够不断更新来学习新类别的同时，又不会出现对于已学习类别的“灾难性遗忘”，避免了不必要的全部重新计算工作
。
[0004]所有机器学习的前提是需要有一定数量的数据，但是对基于
VR\AR
产品提供健身的服务公司而言，这种错误的动作因人而异，是一种典型的个性化服务，数据量稀少，难以进行归纳式分析
。
因此，为了提高同类任务的数据量，需要在客户间共享类似的数据；且根据任务不断增加新的分类，从而提高相同分类的对应服务，由此这一问题存在以下四个需求：
[0005][1]. 服务商能够收集相关的数据；
[0006][2]. 需要整体系统是客户端
+
服务器端架构的分布式系统；
[0007][3]. 能够实现增量式学习
。
[0008]但是，对第一个需求而言，由于受到数据隐私保护的管理政策下，基于
VR\AR
产品提供健身的服务公司是不能直接获得客户的原始数据，无法提供更加个性化的服务，这是需要解决的问题
。
目前解决这个问题的方案是联邦学习，联邦学习作为一种新型的机器学习范式，其目的在于生成一个经过协作培训的全局学习模型，而不共享分布式数据源拥有的原始数据
。
用户无需在每次训练时将数据传输至服务器端，只需要在本地端进行训练，随后将相应的模型更新以加密的形式相互交换或者汇集到服务器之中
。
[0009]所以，很明显，上述问题的解决方案在于联邦学习与增量学习的组合，但是，联邦类增量学习的最终目的在于通过不断的学习新旧类知识，从而构建出一个统一的分类器
。
该分类器能够在识别新的类的同时，不会忘记旧类
。
而传统的知识蒸馏的技术通过保持模型的输入输出不变性从而达到减少对旧类别知识的遗忘
。
目前，面向本专利技术所面临的动作增量问题，现有方法存在两个问题：
[0010][1].
很难提取出一个合理的面向时序动作中拓扑变化的特征；
[0011][2].
在实际学习中往往是先忘记旧知识，然后从头重新学习知识
。
[0012][3].
具体来说，本专利技术运用拓扑数据分析的方法来对数据进行解构并展现其拓扑结构，从而可以在提高模型记忆能力的基础上，更好的评估在动作信息的输入下用户的健身动作
。

技术实现思路

[0013]本专利技术基于现有联邦学习
、
类增量学习
、
动作识别算法，提供一种面向动作识别的基于拓扑数据分析的联邦增量方法
。
该方法将数学领域内的拓扑数据分析算法与目前的深度神经网络技术相结合，并针对联邦学习环境下的本地灾难性遗忘和全局灾难性遗忘问题，提出了一种保持拓扑特征的类增量联邦学习框架
。
[0014]在该框架下，本专利技术首先通过计算机视觉技术来分析用户的动作
。
先通过传感器捕捉到不同用户的不同健身动作的姿态，采集健身姿态数据，所述健身姿态数据包括标准的健身动作
、
以及不标准的健身动作
。
[0015][1]. 本专利技术相关的工作环境设定为：
[0016]由于基于
VR\AR
进行运动体验时，基本上都是相机为固定，人员头戴
VR\AR
，在固定的小范围内运动的状态
。
所以，在本地端利用固定普通相机拍摄客户跟随
VR/AR
要求，跟随任务指定进行指定运动的过程
。
实时的记录用户的健身姿态，并将其与采集后的数据进行识别分析，从而判断健身动作是否标准
。
如果不标准，那么依据用户意愿建立这种错误的新的类，原标准动作对应的记为旧类，远程端也会学习这种反映错误的新的类，然后由体育老师给出这种类的合理建议
。
系统也会立即发出提示以提醒用户纠正，从而可以提高用户的健身效率，并避免了因不科学的健身姿势而导致的运动损伤
。
[0017][2]. 本专利技术主要操作流程如下：
[0018]流程
1. 在客户端，对采集的健身姿态数据进行动作识别，再通过特征聚类的方法，把单个用户原先众多类的各个动作的视频的特征分成2类，一类是用户跟随
VR\AR 学习动作标准的，另一类是跟随
VR\AR
学习动作不标准的；然后把不准确的动作看作是每个原有动作类的新类，把新类提交到用户，用户自己决定是否在客户端类别目录中增加新类，并告知服务器用户是否增加了新类的决定；
[0019]流程
2. 在服务器端，当服务器检测到多个用户在原有同一类的动作中，增加了新类时，采用联邦增量的方法，学习该新类的特征，合成出一个虚拟人的动作，服务器端的体育老师根据虚拟人的动作，给出健身指导信息，再分发给这些增加了新类的用户客户端，进行指导
。
[0020]本专利技术解决的任务是其中主要的联邦增量问题，
[0021][3]. 本专利技术的整个科学思路如下：
[0022]目前人类视觉工作记忆的研究表明，视觉工作记忆是一种临时性的记忆系统，可以在短时间内存储和处理有限数量的信息
。
在视觉工作记忆中，信息被存储为一组神经元的活动模式，这些神经元被认为是拓扑结构的组成部分
。
所以，当神经元的拓扑结构被大幅度修改或破坏时，人就很有可能会遗忘旧事情
。
同理而言，如果在传统的动作识别系统下，系统也很容易在学习完新的动作姿态下，就遗忘了旧动作，从而极大的影响了识别性能
。
[0023]因此，受此种机理的启发，本专利技术将会以
TDA
（拓扑学数据分析）所生成的广泛拓扑特征为基础而开发出一种局部拓扑保持损失函数，其功能在于保证拓扑特征的稳定以减少
本地模型对于旧类动作知识的遗忘
。
与此同时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向动作识别的基于拓扑数据分析的联邦增量方法，其特征在于，包括如下步骤：步骤1，在服务器端，构建标准健身动作视频数据集，计算标准健身动作视频数据的
Bottleneck
拓扑变化曲线
Bo
，输入到健身动作识别模型，对健身动作识别模型进行训练；步骤2，服务器端将训练好的健身动作识别模型分发给各个客户端；步骤3，客户端采集用户健身动作视频数据，计算用户健身动作视频的
Bottleneck
拓扑变化曲线
Bo
，输入到所述训练好的健身动作识别模型，用于在客户端识别用户的健身动作类型；步骤4，当客户端识别到用户不标准的健身动作时，将所述不标准的健身动作做为该标准动作的新类，客户端根据用户指令，判断是或否提交所述新类给服务器端进行类型增量；步骤5，服务器判断是否有两个或两个以上来自客户端的对同一标准健身动作类型进行类型增量的任务，如果是，进入步骤6；步骤6，服务器端采用收到的来自客户端的不标准的健身动作视频的
Bottleneck
拓扑变化曲线
Bo
，对健身动作识别模型进行训练，利用联邦增量学习算法，更新健身动作识别模型，并将重新训练好的健身动作识别模型分发给客户端
。2.
根据权利要求1所述一种面向动作识别的基于拓扑数据分析的联邦增量方法，其特征在于，计算健身动作视频数据的
Bottleneck
拓扑变化曲线
Bo
，具体方法如下 ：步骤
1.1
，采用帧差法，提取运动部分的视频，并转为灰度图步骤
1.2
，将灰度图像特征转化为拓补结构，采用拓扑数据分析算法
TDA
对所述灰度图进行建模，获取单帧图像的图像拓扑特征；步骤
1.3
，利用持久同源性生成持久性图，具体为，采用
Betti
曲线描绘出持久性图中不同维度的特征的生命周期，然后，运用持久性景观将持久性信息展示在二维平面上，从而得出完整且清晰的拓扑特征；步骤
1.4
，将前后帧图像持久性景观的特征进行比较，得到一个
Bottleneck
的值，然后把所有视频帧的
Bottleneck
值为
Y
，视频帧的帧序列号作为
X
，从而得到一个视频的
Bottleneck
曲线
Bo
；其中
Bottleneck
值的计算方法如下：
ꢀꢀꢀ
（7）其中，分别表示同调类开始时间和持续时间；
A
和
B
分别表示两个不同拓扑空间的点集
。3.
根据权利要求2所述一种面向动作识别的基于拓扑数据分析的联邦增量方法，其特征在于，步骤
1.2
中采用的所述拓补结构为复形，具体为立方体复形
。4.
根据权利要求2所述一种面向动作识别的基于拓扑数据分析的联邦增量方法，其特征在于，步骤
1.2
还包括对立方体复形进行过滤，具体采用密度过滤方法，密度过滤函数定义为：
ꢀꢀꢀ
（4）其中，表示为立方体复形中的任意一点，为图像中的像素，等价于阈值；即以维图像中的每个像素为中心，以...

【专利技术属性】
技术研发人员：陈森霖，袁博，沈玉龙，胡凯，
申请(专利权)人：南京栢拓视觉科技有限公司，
类型：发明
国别省市：