本申请提供了一种边缘计算架构下的多视角人行为识别方法及系统，属于人行为识别技术领域。方法包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的人行为视频数据，并传输至与其相连边缘计算节点，采集并保存相同时段内不同视角的待识别人行为视频数据并进行数据预处理，输入到人行为特征编码器，得到多视角人行为特征向量，云端服务器接收边缘计算节点上传的多视角人行为特征向量，并输入到人行为识别模型，得到人行为识别结果。通过在边缘计算节点上进行人行为特征提取，云端服务器进行人行为分类，从而减轻云端服务器计算压力，提高识别的实时性；采集利用多视角人行为信息，提高特征的表达能力，提高人行为识别的准确率。的准确率。的准确率。
【技术实现步骤摘要】
一种边缘计算架构下的多视角人行为识别方法与系统
[0001]本申请涉及人行为识别
，特别是涉及一种边缘计算架构下的多视角人行为识别方法与系统。
技术介绍
[0002]人行为识别技术能够通过摄像机集的图像数据判断人的行为和含义，对提高安防监控系统自动化和智能化水平，保证社会生产生活的安定有序具有重要意义。现有的人行为识别方法，需要先将摄像机采集的图像数据上传到云端服务器，在云端服务器中保存大量的视频数据，采用人工查看视频的方式为数据标注标签。
[0003]相关技术中，为减轻人工标注的工作量，采用自监督学习方法的技术路线。然而，在一方面，当存在物体遮挡或人体自身遮挡等情况时，自监督学习方法的识别准确率较低。在另一方面，自监督学习方法在端云端服务器上运行，占用了云端服务器的大量计算资源，导致人行为识别任务延迟较高。
技术实现思路
[0004]本申请公开了一种边缘计算架构下的多视角人行为识别方法与系统，以解决上述问题或者至少部分地解决上述的问题。
[0005]第一方面，本专利技术实施例公开了一种边缘计算架构下的多视角人行为识别方法，所述方法包括：
[0006]摄像机组从不同视角对同一场景进行拍摄，获得不同视角的待识别人行为视频数据，并将所述不同视角的待识别人行为视频数据传输至与其相连边缘计算节点；
[0007]所述边缘计算节点采集并保存相同时段内不同视角的待识别人行为视频数据，对所述相同时段内不同视角的待识别人行为视频数据进行数据预处理，将预处理后的数据输入到人行为特征编码器，得到多视角人行为特征向量，并传输至云端服务器；
[0008]所述云端服务器接收所述边缘计算节点上传的多视角人行为特征向量，并将所述人行为特征向量输入到人行为识别模型，得到所述不同视角的待识别人行为视频数据的人行为识别结果。
[0009]可选地，所述方法还包括：
[0010]摄像机组从不同视角对同一场景进行拍摄，获得不同视角的第一样本人行为视频数据，并将所述不同视角的第一样本人行为视频数据传输至与其相连边缘计算节点；
[0011]所述边缘计算节点采集并保存相同时段内不同视角的第一样本人行为视频数据，对所述相同时段内不同视角的第一样本人行为视频数据进行数据预处理，并基于预处理后不同视角的第一样本人行为视频数据，对预设人行为自监督特征学习模型进行训练，得到所述人行为特征编码器。
[0012]可选地，所述方法还包括：
[0013]摄像机组从不同视角对同一场景进行拍摄，获得不同视角的第二样本人行为视频
数据，并将所述不同视角的第二样本人行为视频数据传输至与其相连边缘计算节点；
[0014]所述边缘计算节点上传设数量的不同视角的第二样本人行为视频数据，采集并保存相同时段内不同视角的第二样本人行为视频数据，对所述相同时段内不同视角的第二样本人行为视频数据进行数据预处理，将预处理后的数据输入到人行为特征编码器，得到多视角人行为特征向量，并传输至云端服务器；
[0015]所述云端服务器接收所述边缘计算节点上传的多视角人行为特征向量和预设数量的不同视角的第二样本人行为视频数据，根据所述预设数量的不同视角的第二样本人行为视频数据标注的行为类别标签和所述多视角人行为特征向量，对预设模型进行训练，得到人行为识别模型。
[0016]可选地，不同视角的人行为视频数据预处理，包括：
[0017]根据所述不同视角的人行为视频数据，确定不同视角的人行为视频数据的骨架数据；
[0018]对所述不同视角的人行为视频数据的骨架数据进行预处理，得到不同视角的人行为视频数据的骨架序列；
[0019]对所述不同视角的人行为视频数据的骨架序列进行融合，得到融合骨架片段序列。
[0020]可选地，所述方法还包括：
[0021]将预处理后得到的融合骨架片段序列按照多种排序方式重新排序，并标记排序方式标签；
[0022]基于预处理后不同视角的第一样本人行为视频数据，对预设人行为自监督特征学习模型进行训练，包括：
[0023]将重新排序后的融合骨架片段序列及其排序方式标签，输入到人行为自监督特征学习模型进行训练。
[0024]可选地，所述根据所述不同视角的人行为视频数据，确定不同视角的人行为视频数据的骨架数据，包括：
[0025]计算不同视角的人行为视频数据中每帧画面的人体姿态关键点位置，所述人体姿态关键点位置即为不同视角的人行为视频数据的骨架数据；
[0026]所述骨架数据的计算公式为：
[0027][0028]其中，表示第i个摄像机的第t帧图像，x和y分别表示人体姿态关键点在图像中的横、纵坐标，j表示人体姿态关键点的编号，N为人体姿态关键点的总数。
[0029]可选地，对不同视角的人行为视频数据的骨架数据进行预处理，得到不同视角的人行为视频数据的骨架序列包括：
[0030]对每帧图像中的人体姿态关键点坐标位置减去该帧图像中所有人体姿态关键点坐标位置的均值，其计算公式为：
[0031][0032]确定每帧图像的骨架特征，计算公式为：
[0033][0034]确定不同视角的人行为视频数据的骨架序列，其计算公式为：
[0035][0036]将所述不同视角的人行为视频数据的骨架序列做归一化处理，其计算公式为：
[0037][0038]其中，为编号为第i个摄像机的第t帧图像的骨架特征，S
i
为不同视角的人行为视频数据骨架序列，为归一化后的不同视角的人行为视频数据骨架序列。
[0039]可选地，对所述不同视角的人行为视频数据的骨架序列进行融合，得到融合骨架片段序列包括：
[0040]按时间节点平分每个不同视角的人行为视频数据骨架序列，获得多个骨架片段；
[0041]随机抽取每个时间节点对应的所述骨架片段中的任意一个，将多个时间节点对应的骨架片段进行融合，得到不同视角的人行为视频数据的骨架片段序列。
[0042]可选地，所述人行为识别模型按照以下公式输出人行为识别预测结果：
[0043][0044]其中，f
fusion
为人行为分类器，g(X1),g(X2),g(X3)为多视角人行为特征向量，m为人行为识别预测结果，(i)表示向量的第i个元素，K为待识别行为的种类数。
[0045]第二方面，本专利技术实施例公开了一种边缘计算架构下的多视角人行为识别系统，所述系统包括：
[0046]摄像机组，所述摄像机组从不同视角对同一场景进行拍摄，获得不同视角的待识别人行为视频数据，并将所述不同视角的待识别人行为视频数据传输至与其相连边缘计算节点；
[0047]边缘计算节点，所述边缘计算节点用于接收所述摄像机组传输的不同视角的人行为视频数据，对所述不同视角的人行为视频数据进行数据预处理，并基于所述进行数据预处理后的不同视角的人行为视频数据，对预设人行为自监督特征学习模型进行训练，得到所述人行为特征编码器；以及，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种边缘计算架构下的多视角人行为识别方法，其特征在于，所述方法包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的待识别人行为视频数据，并将所述不同视角的待识别人行为视频数据传输至与其相连边缘计算节点；所述边缘计算节点采集并保存相同时段内不同视角的待识别人行为视频数据，对所述相同时段内不同视角的待识别人行为视频数据进行数据预处理，将预处理后的数据输入到人行为特征编码器，得到多视角人行为特征向量，并传输至云端服务器；所述云端服务器接收所述边缘计算节点上传的多视角人行为特征向量，并将所述人行为特征向量输入到人行为识别模型，得到所述不同视角的待识别人行为视频数据的人行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的第一样本人行为视频数据，并将所述不同视角的第一样本人行为视频数据传输至与其相连边缘计算节点；所述边缘计算节点采集并保存相同时段内不同视角的第一样本人行为视频数据，对所述相同时段内不同视角的第一样本人行为视频数据进行数据预处理，并基于预处理后不同视角的第一样本人行为视频数据，对预设人行为自监督特征学习模型进行训练，得到所述人行为特征编码器。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的第二样本人行为视频数据，并将所述不同视角的第二样本人行为视频数据传输至与其相连边缘计算节点；所述边缘计算节点上传预设数量的不同视角的第二样本人行为视频数据，采集并保存相同时段内不同视角的第二样本人行为视频数据，对所述相同时段内不同视角的第二样本人行为视频数据进行数据预处理，将预处理后的数据输入到人行为特征编码器，得到多视角人行为特征向量，并传输至云端服务器；所述云端服务器接收所述边缘计算节点上传的多视角人行为特征向量和预设数量的不同视角的第二样本人行为视频数据，根据所述预设数量的不同视角的第二样本人行为视频数据标注的行为类别标签和所述多视角人行为特征向量，对预设模型进行训练，得到人行为识别模型。4.根据权利要求1或2所述的方法，其特征在于，不同视角的人行为视频数据预处理，包括：根据所述不同视角的人行为视频数据，确定不同视角的人行为视频数据的骨架数据；对所述不同视角的人行为视频数据的骨架数据进行预处理，得到不同视角的人行为视频数据的骨架序列；对所述不同视角的人行为视频数据的骨架序列进行融合，得到融合骨架片段序列。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：将预处理后得到的融合骨架片段序列按照多种排序方式重新排序，并标记排序方式标签；基于预处理后不同视角的第一样本人行为视频数据，对预设人行为自监督特征学习模型进行训练，包括：将重新排序后的融合骨架片段序列及其排序方式标签，输入到人行为自监督特征学习
模型进行训练。6.根据权利要求4所述的方法，其特征在于，根据所述不同视角的人行为视频数据，确定不同视角的人行为视频数据的骨架数据，包括：计...
【专利技术属性】
技术研发人员：王雪，游伟，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。