动态手势识别方法及装置制造方法及图纸

本发明专利技术实施例公开了一种动态手势识别方法及装置，其中的方法包括：对待检测视频流中的动态手势进行定位，得到动态手势框；从所述视频流的多帧图像帧中截取与所述动态手势框对应的图像块；基于截取出的各图像块生成检测序列；根据所述检测序列进行动态手势识别。本发明专利技术实施例实现对动态手势的识别。

Dynamic Gesture Recognition Method and Device

【技术实现步骤摘要】
动态手势识别方法及装置
本专利技术实施例涉及图像处理技术，尤其是一种动态手势识别方法及装置。
技术介绍
手势是图像与视频信息中一个重要的人机交互特征。手势识别算法核心任务是给定一张包含手的图片，判断出其中手势的类型的方法。
技术实现思路
本专利技术实施例提供一种动态手势识别方法及装置的技术方案。根据本专利技术实施例一个方面，提供一种动态手势识别方法，包括：对待检测视频流中的动态手势进行定位，得到动态手势框；从所述视频流的多帧图像帧中截取与所述动态手势框对应的图像块；基于截取出的各图像块生成检测序列；根据所述检测序列进行动态手势识别。在一种可选方式中，所述对待检测视频流中的动态手势进行定位，得到动态手势框，包括：对所述多帧图像中的至少一帧进行静态手势定位，得到所述至少一帧的静态手势框；根据所述得到的所述至少一帧的静态手势框确定所述动态手势框。在一种可选方式中，根据所述得到的所述至少一帧的静态手势框确定所述动态手势框，包括：对所述至少一帧的静态手势框进行放大处理，得到所述动态手势框。在一种可选方式中，所述多帧图像帧中各图像帧的静态手势框满足：静态手势框位于所述动态手势框内，或者，静态手势框与动态手势框相同。在一种可选方式中，所述根据所述检测序列进行动态手势识别，包括：确定所述检测序列中多个帧间图像差；基于确定的多个帧间图像差生成图像差序列；根据所述检测序列和所述图像差序列识别进行动态手势识别。在一种可选方式中，所述帧间图像差为所述检测序列中两个相邻参考帧之间的图像差。在一种可选方式中，根据所述检测序列和所述图像差序列识别进行动态手势识别，包括：将所述检测序列输入第一动态手势识别模型，以获得所述第一动态手势识别模型输出的第一动态手势类别预测概率；将所述图像差序列输入第二动态手势识别模型，以获得所述第二动态手势识别模型输出的第二动态手势类别预测概率；根据所述第一动态手势类别预测概率和所述第二动态手势类别预测概率，确定动态手势识别结果。在一种可选方式中，所述第一动态手势识别模型为第一神经网络，所述第二动态手势识别模型为第二神经网络，所述第一神经网络和所述第二神经网络的结构相同或不同。在一种可选方式中，还包括：多次截取出检测序列，并多次生成图像差序列，以及多次根据检测序列以及图像差序列进行动态手势识别；根据每次动态手势识别出的动态手势类型的概率，确定出最终的动态手势识别结果。在一种可选方式中，还包括：采用以下方法建立所述第一动态手势识别模型：采集不同类型动态手势的样本视频流；对所述不同类型动态手势的动态手势框进行标记；从样本视频流的多帧图像帧中截取与动态手势框的标注信息对应的图像块，构成图像序列；以所述动态手势类型作为监督数据，以所述图像序列作为训练数据，训练所述第一动态手势识别模型。在一种可选方式中，所述以所述动态手势类型作为监督数据，以所述图像序列作为训练数据，训练所述第一动态手势识别模型，包括：将所述图像序列分为数段；在每一段中抽取出预置帧数的图像，堆叠组成图像训练数据；以所述动态手势类型作为监督数据，以所述图像训练数据训练出所述第一动态手势识别模型。在一种可选方式中，还包括：采用以下方法建立所述第二动态手势识别模型：采集不同类型动态手势的样本视频流；对所述不同类型动态手势的动态手势框进行标记；从样本视频流的多帧图像帧中截取与动态手势框的标注信息对应的图像块，构成图像序列；确定所述图像序列中多个帧间图像差；基于确定的多个帧间图像差生成图像差序列；以所述动态手势类型作为监督数据，以所述图像差序列作为训练数据，训练所述第二动态手势识别模型。在一种可选方式中，所述以所述动态手势类型作为监督数据，以所述图像差序列作为训练数据，训练出所述第二动态手势识别模型，包括：将所述图像差序列分为数段；在每一段中抽取出预置帧数的图像，堆叠组成图像差训练数据；以所述动态手势类型作为监督数据，以所述图像差训练数据训练所述第二动态手势识别模型。在一种可选方式中，所述动态手势的类型包括以下之一或任意组合：挥手手势、点击手势、手枪手势或抓取手势。根据本专利技术实施例另一个方面，提供一种动态手势识别建模方法，包括：采集不同类型动态手势的样本视频流；对所述不同类型动态手势的动态手势框进行标记；从样本视频流的多帧图像帧中截取与动态手势框的标注信息对应的图像块，构成图像序列；以所述动态手势类型作为监督数据，以所述图像序列作为训练数据，训练所述第一动态手势识别模型。在一种可选方式中，所述以所述动态手势类型作为监督数据，以所述图像序列作为训练数据，训练所述第一动态手势识别模型，包括：将所述图像序列分为数段；在每一段中抽取出预置帧数的图像，堆叠组成图像训练数据；以所述动态手势类型作为监督数据，以所述图像训练数据训练出所述第一动态手势识别模型。在一种可选方式中，还包括：采集不同类型动态手势的样本视频流；对所述不同类型动态手势的动态手势框进行标记；从样本视频流的多帧图像帧中截取与动态手势框的标注信息对应的图像块，构成图像序列；确定所述图像序列中多个帧间图像差；基于确定的多个帧间图像差生成图像差序列；以所述动态手势类型作为监督数据，以所述图像差序列作为训练数据，训练所述第二动态手势识别模型。在一种可选方式中，所述以所述动态手势类型作为监督数据，以所述图像差序列作为训练数据，训练出所述第二动态手势识别模型，包括：将所述图像差序列分为数段；在每一段中抽取出预置帧数的图像，堆叠组成图像差训练数据；以所述动态手势类型作为监督数据，以所述图像差训练数据训练所述第二动态手势识别模型。根据本专利技术实施例又一个方面，提供一种动态手势识别装置，包括：手势定位单元，用于对待检测视频流中的动态手势进行定位，得到动态手势框；处理单元，用于从所述视频流的多帧图像帧中截取与所述动态手势框对应的图像块；检测序列生成单元，用于基于截取出的各图像块生成检测序列；手势识别单元，用于根据所述检测序列进行动态手势识别。在一种可选方式中，所述手势定位单元包括：静态手势框定位子单元，用于对所述多帧图像中的至少一帧进行静态手势定位，得到所述至少一帧的静态手势框；动态手势框确定子单元，用于根据所述得到的所述至少一帧的静态手势框确定所述动态手势框。在一种可选方式中，动态手势框确定子单元具体用于：对所述至少一帧的静态手势框进行放大处理，得到所述动态手势框。在一种可选方式中，所述多帧图像帧中各图像帧的静态手势框满足：静态手势框位于所述动态手势框内，或者，静态手势框与动态手势框相同。在一种可选方式中，所述手势识别单元包括：图像差确定子单元，用于确定所述检测序列中多个帧间图像差；图像差序列确定子单元，用于基于确定的多个帧间图像差生成图像差序列；动态手势识别子单元，用于根据所述检测序列和所述图像差序列识别进行动态手势识别。在一种可选方式中，所述帧间图像差为所述检测序列中两个相邻参考帧之间的图像差。在一种可选方式中，所述动态手势识别子单元具体用于：将所述检测序列输入第一动态手势识别模型，以获得所述第一动态手势识别模型输出的第一动态手势类别预测概率；将所述图像差序列输入第二动态手势识别模型，以获得所述第二动态手势识别模型输出的第二动态手势类别预测概率；根据所述第一动态手势类别预测概率和所述第二动态手势类别预测概率，确定动态手势识本文档来自技高网...

【技术保护点】
1.一种动态手势识别方法，其特征在于，包括：对待检测视频流中的动态手势进行定位，得到动态手势框；从所述视频流的多帧图像帧中截取与所述动态手势框对应的图像块；基于截取出的各图像块生成检测序列；根据所述检测序列进行动态手势识别。

【技术特征摘要】
1.一种动态手势识别方法，其特征在于，包括：对待检测视频流中的动态手势进行定位，得到动态手势框；从所述视频流的多帧图像帧中截取与所述动态手势框对应的图像块；基于截取出的各图像块生成检测序列；根据所述检测序列进行动态手势识别。2.根据权利要求1所述的方法，其特征在于，所述对待检测视频流中的动态手势进行定位，得到动态手势框，包括：对所述多帧图像中的至少一帧进行静态手势定位，得到所述至少一帧的静态手势框；根据所述得到的所述至少一帧的静态手势框确定所述动态手势框。3.根据权利要求2所述的方法，其特征在于，根据所述得到的所述至少一帧的静态手势框确定所述动态手势框，包括：对所述至少一帧的静态手势框进行放大处理，得到所述动态手势框。4.根据权利要求1-3任一项所述的方法，其特征在于，所述多帧图像帧中各图像帧的静态手势框满足：静态手势框位于所述动态手势框内，或者，静态手势框与动态手势框相同。5.一种动态手势识别建模方法，其特征在于，包括：采集不同类型动态手势的样本视频流；对所述不同类型动态手势的动态手势框进行标记；从样本视频流的多帧图像帧中截取与动态手势框的标注信息对应的图像块，构成图像序列；以所述动态手势类型作为监督数据，以所述图像序列作为训练数据，训练所述第一动态手势识别模型。6.一种动态手势识别装置，其特征在于，包括：手势定位单...

【专利技术属性】
技术研发人员：王权，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11