【技术实现步骤摘要】
本申请涉及人工智能领域，具体而言，涉及一种手势识别的方法、装置及电子设备。
技术介绍
1、手势识别技术是一种通过计算机视觉和人工智能技术来分析和识别人类手势动作的技术。它主要通过相机、传感器等输入输出设备捕捉手势信息，然后通过算法对捕捉到的手势信息进行处理和分析，从而实现对手势的识别和判断。
2、当前手势识别技术可以分为两大类：基于传感器的手势识和基于视觉的手势识别。基于传感器的手势识别技术主要利用加速计、陀螺仪等传感器来捕捉手势信息，并通过算法对捕捉到的手势信息进行分析和识别。而基于视觉的手势识别技术则利用摄像头捕捉手势信息，并通过计算机视觉和人工智能的算法对捕捉到的手势信息进行分析和识别。基于深度学习的手势识别是基于视觉手势识别的主流方案。虽然基于深度学习的手势识别在识别准确率方面，取得了不错的结果，但仍然存在以下几个问题。
3、1.深度学习作为数据驱动的任务，需要大量的标注数据训练模型，且模型的准确率与数据量成正比。如果训练一个表现优异的模型，通常需要几十万甚至上百万的标注数据，而标注数据需要耗费大量人力和时间，如购买数据，也是很大一笔开销，成本巨大。
4、2.深度学习作为计算密集型任务，对硬件资源有很大的要求。当使用基于深度学习的手势识别方案，通常会将模型部署到云端。这就需要一定数量的服务器资源，且与调用量成正相关。这将耗费大量的服务器资源和成本。
5、3.目前基于深度学习的手势识别方案，只能提供单一的模型，无法应对所有的用户环境，普适性有待提高。
6、针对上述
技术实现思路
1、本申请实施例提供了一种手势识别的方法、装置及电子设备，以至少解决相关技术中使用基于深度学习的手势识别方案，将模型部署在云端，耗费大量的服务器资源和成本的技术问题。
2、根据本申请实施例的一个方面，提供了一种手势识别的方法，包括：响应于目标对象在网页端的启动操作，初始化当前运行环境；在当前运行环境支持目标格式的情况下，依据当前运行环境分别运行第一深度学习框架中的手势识别模型和第二深度学习框架中的手势识别模型，得到第一资源消耗和第二资源消耗，其中，目标格式为网页端支持的格式；依据第一资源消耗和第二资源消耗的比较结果，确定目标深度学习框架中的手势识别模型，其中，目标深度学习框架为第一深度学习框架或第二深度学习框架；依据目标深度学习框架中的手势识别模型进行手势识别。
3、可选地，初始化当前运行环境之后，方法还包括：在当前运行环境不支持目标格式的情况下，采用后端服务形式调用部署在服务器中的手势识别模型，其中，手势识别模型用于识别目标对象的手势。
4、可选地，依据第一资源消耗和第二资源消耗的比较结果，确定目标深度学习框架中的手势识别模型，包括：在第一资源消耗大于第二资源消耗的情况下，将第二深度学习框架中的手势识别模型作为目标深度学习框架中的手势识别模型，并释放第一深度学习框架中的手势识别模型；在第一资源消耗小于第二资源消耗的情况下，将第一深度学习框架中的手势识别模型作为目标深度学习框架中的手势识别模型，并释放第二深度学习框架中的手势识别模型；在第一资源消耗等于第二资源消耗的情况下，将第一深度学习框架或第二深度学习框架中的手势识别模型作为目标深度学习框架中的手势识别模型，并释放目标深度学习框架之外的手势识别模型。
5、可选地，依据目标深度学习框架中的手势识别模型进行手势识别，包括：按照预设帧率对目标对象的手势进行识别，得到识别结果；在识别结果中识别出的目标手势的准确率大于预设阈值的情况下，触发与目标手势对应的特效。
6、可选地，手势识别模型通过以下方式得到：将训练数据输入至第一原始模型后通过动量编码器进行训练，得到第一特征提取模型，其中，训练数据为无标签的图像数据；依据第一特征提取模型和训练数据对第二原始模型进行交叉熵训练，得到第二特征提取模型，其中，第二原始模型是第一原始模型的简化模型；使用标签数据对第二特征提取模型进行训练，得到手势识别模型，其中，手势识别模型包括手部检测模型和手势分类模型。
7、可选地，依据第一特征提取模型和训练数据对第二原始模型进行交叉熵训练，得到第二特征提取模型，包括：将训练数据分别输入第一特征提取模型和第二原始模型，得到第一输出和第二输出；将第一输出和第一特征提取模型的历史输出存入实例队列；将实例队列中的输出与第一输出进行内积操作，得到第一概率分布；将实例队列中的输出与第二输出进行内积操作，得到第二概率分布；将第一概率分布和第二概率分布进行交叉熵运算，并依据交叉熵运算的结果对第二原始模型进行训练，得到第二特征提取模型。
8、可选地，使用标签数据对第二特征提取模型进行训练，得到手势识别模型，包括：将第二特征提取模型作为主干网络，并冻结第二特征提取模型的特征提取层，在特征提取层之后增加多层感知器层，得到检测网络；依据标签数据中的第一类数据对检测网络进行训练，得到手部检测模型，其中，手部检测模型用于识别是否为手势；依据标签数据中的第二类数据对检测网络进行训练，得到手势分类模型，其中，手势分类模型用于识别手势的类别。
9、可选地，得到手势识别模型之后，方法还包括：依据第一深度学习框架的转换工具，将手势识别模型转换为第一深度学习框架支持的手势识别模型，得到第一深度学习框架中的手势识别模型；依据第二深度学习框架的转换工具，将手势识别模型转换为第二深度学习框架支持的手势识别模型，得到第二深度学习框架中的手势识别模型；使用目标语言将第一深度学习框架中的手势识别模型和第二深度学习框架中的手势识别模型封装成软件开发工具包；使用格式转换工具将软件开发工具包中的代码转换为目标格式。
10、根据本申请实施例的另一方面，还提供了一种手势识别的装置，包括：处理模块，用于响应于目标对象在网页端的启动操作，初始化当前运行环境；运行模块，用于在当前运行环境支持目标格式的情况下，依据当前运行环境分别运行第一深度学习框架中的手势识别模型和第二深度学习框架中的手势识别模型，得到第一资源消耗和第二资源消耗，其中，目标格式为网页端支持的格式；确定模块，用于依据第一资源消耗和第二资源消耗的比较结果，确定目标深度学习框架中的手势识别模型，其中，目标深度学习框架为第一深度学习框架或第二深度学习框架；识别模块，用于依据目标深度学习框架中的手势识别模型进行手势识别。
11、根据本申请实施例的又一方面，还提供了一种电子设备，包括：存储器，用于存储程序指令；处理器，与存储器连接，用于执行实现以下功能的程序指令：响应于目标对象在网页端的启动操作，初始化当前运行环境；在当前运行环境支持目标格式的情况下，依据当前运行环境分别运行第一深度学习框架中的手势识别模型和第二深度学习框架中的手势识别模型，得到第一资源消耗和第二资源消耗，其中，目标格式为网页端支持的格式；依据第一资源消耗和第二资源消耗的比较结果，确定目标深度学习框架中的手势识别模型，其中，目标深度学习框架为第本文档来自技高网...
【技术保护点】
1.一种手势识别的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，初始化当前运行环境之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，依据所述第一资源消耗和所述第二资源消耗的比较结果，确定目标深度学习框架中的手势识别模型，包括：
4.根据权利要求1所述的方法，其特征在于，依据所述目标深度学习框架中的手势识别模型进行手势识别，包括：
5.根据权利要求1所述的方法，其特征在于，所述手势识别模型通过以下方式得到：
6.根据权利要求5所述的方法，其特征在于，依据所述第一特征提取模型和所述训练数据对第二原始模型进行交叉熵训练，得到第二特征提取模型，包括：
7.根据权利要求5所述的方法，其特征在于，使用标签数据对所述第二特征提取模型进行训练，得到所述手势识别模型，包括：
8.根据权利要求5所述的方法，其特征在于，得到所述手势识别模型之后，所述方法还包括：
9.一种手势识别的装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
...
【技术特征摘要】
1.一种手势识别的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，初始化当前运行环境之后，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，依据所述第一资源消耗和所述第二资源消耗的比较结果，确定目标深度学习框架中的手势识别模型，包括：
4.根据权利要求1所述的方法，其特征在于，依据所述目标深度学习框架中的手势识别模型进行手势识别，包括：
5.根据权利要求1所述的方法，其特征在于，所述手势识别模型通过以下方式得到：
6.根据权利要求5所述的方法，其特征在于，依据所述第一特征提取模型和所述训练数据对第...
【专利技术属性】
技术研发人员：王栋，左庆，何智翔，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。