【技术实现步骤摘要】
本申请实施例涉及行为识别，特别涉及一种基于行为识别的手部方向识别方法、电子设备和存储介质。
技术介绍
1、随着移动互联网的快速发展，每天登录短视频平台已经成为人们生活中的一部分，随着越来越多的非遗传承人的入驻短视频平台，其已逐步成为非遗文化传承的新渠道，有越来越多的非遗手工艺传承人和制作者选择在短视频平台上传播和展示自己的技艺。在对非遗手工艺的传承过程中，手部的操作方向和技巧至关重要，而在传统手工艺传承过程中，很多技艺都依赖于师傅的亲自示范，学徒通过观看和模仿来学习，这样的过程耗时长、效率低，且传艺效果受限于徒弟观察力和理解力，可能存在理解上的失误。
2、随着现代科技的发展，人们逐渐意识到，将非遗手工艺与现代技术融合起来，能够很好地推动非遗文化传承，促进非遗的活态化，而其中，手势识别技术就是将非遗手工艺制作与现代技术结合的一个重要实践。手势识别技术是一种将人类手部动作转化为计算机输入的技术，其可以基于传感器实现，但其识别准确度不高，实时性较差，这导致非遗文化传承的效果难以令人满意。
技术实现思路
1、本申请实施例的目的在于提供一种基于行为识别的手部方向识别方法、电子设备和存储介质，可以实时、准确地实现视频中的手部方向识别，并将识别出的方向和动作可视化，使得用户更仔细、更方便地学习非遗手工艺技术，让非遗手工艺传承永不断档。
2、为解决上述技术问题，本申请的实施例提供了一种基于行为识别的手部方向识别方法，包括以下步骤：获取若干个不同手工艺类别、不同工匠的手工艺制
3、本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于行为识别的手部方向识别方法。
4、本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于行为识别的手部方向识别方法。
5、本申请的实施例提供的基于行为识别的手部方向识别方法、电子设备和存储介质，训练基于c3d网络构建的识别模型，c3d网络能够对时间序列信息进行学习和建模，相较于传统的二维卷积神经网络，基于c3d网络构建的识别模型的识别准确率要高很多。在选择训练样本时，爬取不同手工艺类别、不同工匠的手工艺制作视频作为样本视频，可以提高训练出的识别模型的泛化能力和普适性，使训练出的识别模型适用不同的识别场景。对从待识别视频中识别出的手部方向结合手部动作进行可视化展示，让用户在视频上更清楚、更仔细、更准确的看到非遗手工艺传承人在制作手工艺作品时的详细步骤，跟学的时候容易上手，在成就感和满足感的支撑下不断学习制作，从而变成新的手工艺制作者、传播者，使非遗手工艺传承永不断档。
6、在一些可选的实施例中，所述获取若干个不同手工艺类别、不同工匠的手工艺制作视频作为样本视频，包括：对获取到的若干个不同手工艺类别、不同工匠的手工艺制作视频进行预处理，将预处理后的所述手工艺制作视频作为样本视频；所述预处理至少包括：对所述手工艺制作视频进行去噪、平滑；对各所述手工艺制作视频的画面尺寸进行归一化，归一化后的对各所述手工艺制作视频的画面尺寸相同；提取所述手工艺制作视频中手部动作的三维坐标数据并进行时间对齐。预处理能够去除样本视频中的干扰信息，使得各样本信息转换成统一的制式，便于识别模型的训练，提升训练出的识别模型的识别效果的准确性和稳定性。
7、在一些可选的实施例中，所述计算各所述关键帧之间的相似度，包括：对于第一关键帧和第二关键帧，分别在所述第一关键帧和所述第二关键帧的相同初始位置建立尺寸相同的第一窗口和第二窗口；根据所述第一窗口内各像素点的像素值和所述第二窗口内各像素点的像素值，计算局部结构相似性指标ssim；按照预设步长同步滑动所述第一窗口和所述第二窗口，计算得到各局部ssim；对计算得到的所有局部ssim求取平均值，得到全局ssim，将所述全局ssim作为所述第一关键帧和所述第二关键帧之间的相似度。ssim指标可以很好地衡量两张图片之间的相似度，由于手部动作比较隐晦，且手部包含很多区域，直接计算全局ssim并不准确，可能会冲淡部分局部区域的区别，因此本申请计算各局部ssim，再取平均得到全局ssim，可以更好地确定各关键帧之间的相似度。
8、在一些可选的实施例中，通过以下公式，根据所述第一窗口内各像素点的像素值和所述第二窗口内各像素点的像素值，计算局部ssim：
9、
10、c1＝(k1l)2
11、c2＝(k2l)2
12、k1＝0.01
13、k2＝0.03
14、其中，x表征所述第一关键帧，y表征所述第二关键帧，μx为所述第一窗口内各像素点的像素值的平均值，μy为所述第二窗口内各像素点的像素值的平均值，为所述第一窗口内各像素点的像素值的方差值，为所述第二窗口内各像素点的像素值的方差值，σxy为所述第一窗口内各像素点的像素值与第二窗口内各像素点的像素值之间的协方差值，l表征像素值的动态范围。
15、在一些可选的实施例中，所述提取所述文件夹中各视频片段的特征向量并求取第一平均值，将所述第一平均值标注为所述文件夹中各视频片段的标签，包括：提取所述文件夹中各视频片段的特征向量并求取第一平均值，将所述第一平均值作为所述文件夹的代表向量；计算所述代表向量与预设的五类标准向量之间的距离，将与所述代表向量距离最小的标准向量标注为所述文件夹中各视频片段的第一标签，并将与所述代表向量距离最小的标准向量所属的类别标注为所述文件夹中各视频片段的第二标签；其中，所述五类标准向量包括：表征手部从上往下运动的第一标准向量，表征手部从下往上运动的第二标准向量，表征手部顺时针转动的第三标准向量，表征手部逆时针转动的第四标准向量，表征两只手相反方向转动的第五标准向量。将标签分为表征特征向量的第一标签和表征类别的第二标签，可以进一步提升识别模型的训练精度。
16、在一些可选的实施例中，所述基于所述视频片段及其标签对预先基于c3d网络构建的识别模型进行训练，包括：基于所述视频片段及其第一标签将预设的c3d网络训练至收敛，得到训练完成的c3d网络；基于所述视频片段及其第二标签将预设的分类器训练至收敛，得到训练完成的分类器；其中，所述分类器为支持向量机svm；对所述训练完成的c3d网络和所述训练完成的分类器本文档来自技高网...
【技术保护点】
1.一种基于行为识别的手部方向识别方法，其特征在于，包括：
2.根据权利要求1所述的基于行为识别的手部方向识别方法，其特征在于，所述获取若干个不同手工艺类别、不同工匠的手工艺制作视频作为样本视频，包括：
3.根据权利要求1所述的基于行为识别的手部方向识别方法，其特征在于，所述计算各所述关键帧之间的相似度，包括：
4.根据权利要求3所述的基于行为识别的手部方向识别方法，其特征在于，通过以下公式，根据所述第一窗口内各像素点的像素值和所述第二窗口内各像素点的像素值，计算局部SSIM：
5.根据权利要求1所述的基于行为识别的手部方向识别方法，其特征在于，所述提取所述文件夹中各视频片段的特征向量并求取第一平均值，将所述第一平均值标注为所述文件夹中各视频片段的标签，包括：
6.根据权利要求5所述的基于行为识别的手部方向识别方法，其特征在于，所述基于所述视频片段及其标签对预先基于C3D网络构建的识别模型进行训练，包括：
7.根据权利要求1至6中任一项所述的基于行为识别的手部方向识别方法，其特征在于，所述在所述待识别视频中进
8.根据权利要求1至6中任一项所述的基于行为识别的手部方向识别方法，其特征在于，所述将待识别视频输入至训练完成的识别模型中，得到所述待识别视频中的手部方向，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于行为识别的手部方向识别方法。
...【技术特征摘要】
1.一种基于行为识别的手部方向识别方法，其特征在于，包括：
2.根据权利要求1所述的基于行为识别的手部方向识别方法，其特征在于，所述获取若干个不同手工艺类别、不同工匠的手工艺制作视频作为样本视频，包括：
3.根据权利要求1所述的基于行为识别的手部方向识别方法，其特征在于，所述计算各所述关键帧之间的相似度，包括：
4.根据权利要求3所述的基于行为识别的手部方向识别方法，其特征在于，通过以下公式，根据所述第一窗口内各像素点的像素值和所述第二窗口内各像素点的像素值，计算局部ssim：
5.根据权利要求1所述的基于行为识别的手部方向识别方法，其特征在于，所述提取所述文件夹中各视频片段的特征向量并求取第一平均值，将所述第一平均值标注为所述文件夹中各视频片段的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。