手势跟踪方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种手势跟踪方法、装置、电子设备和存储介质，涉及图像处理技术领域。本发明专利技术实施例提供的手势跟踪方法、装置、电子设备和存储介质，基于第一人手检测框，对原图像进行裁剪，以得到第一图像，通过对第一图像进行特征提取得到第一特征图，判断第一特征图中是否存在人手，若第一特征图中存在人手，则对第一特征图进行分割，得到人手图像，将第一特征图和人手图像进行检测框回归处理，得到第二人手检测框，以第二人手检测框作为下一帧图像的输入，实现对下一帧图像的跟踪，实时性较好。

Gesture tracking methods, devices, electronic devices and storage media

【技术实现步骤摘要】
手势跟踪方法、装置、电子设备和存储介质
本专利技术涉及图像处理
，具体而言，涉及一种手势跟踪方法、装置、电子设备和存储介质。
技术介绍
手势识别技术是指在一张图像中找出人手部分并对其姿势进行分类的技术。手势信息作为一种高层次的语义信息，被广泛的运用于人机交互场景中。手势识别技术可以细分为三个子技术，分别是手势检测、手势分类和手势跟踪技术。其中手势检测技术负责从图像中检测到人手的包围框，手势分类技术负责对人手姿势进行分类，手势跟踪技术负责对检测到的人手进行跟踪，以保证一直检测到的手都是同一个人的手。目前，基于深度神经网络的分类技术作为研究热点，出现了很多提高了网络运行效率的方法(例如网络蒸馏、网络量化等技术)，使得其在移动端实时运行成为可能，但是跟踪技术往往无法做到实时处理，其实时性较差。
技术实现思路
基于上述研究，本专利技术提供了一种手势跟踪方法、装置、电子设备和存储介质。本专利技术的实施例可以这样实现：第一方面，本专利技术实施例提供一种手势跟踪方法，应用于电子设备，所述手势跟踪方法包括：基于第一人手检测框，对原图像进行裁剪，以得到第一图像；对所述第一图像进行特征提取得到第一特征图；判断所述第一特征图中是否存在人手，若所述第一特征图中存在人手，对所述第一特征图进行分割，得到人手图像；将所述第一特征图和所述人手图像进行检测框回归处理，得到第二人手检测框，以根据所述第二人手检测框，对下一帧图像进行跟踪。在可选的实施方式中，所述方法还包括：若所述第一特征图中不存在人手，则对所述原图像进行特征提取得到第二特征图；将所述第二特征图输入至区域建议网络，得到第一检测框；对所述第二特征图中所述第一检测框对应区域的特征进行裁剪，得到裁剪后的特征图；根据所述裁剪后的特征图对所述第一检测框进行精修处理，得到第三人手检测框，以根据所述第三人手检测框，对下一帧图像进行跟踪。在可选的实施方式中，所述根据所述裁剪后的特征图对所述第一检测框进行精修处理，得到第三人手检测框的步骤包括：将所述裁剪后的特征图输入至分类回归网络，得到检测框精修参数；根据所述检测框精修参数对所述第一检测框进行精修处理，得到第三人手检测框。在可选的实施方式中，在对所述原图像进行特征提取得到第二特征图之前，所述方法还包括：对所述原图像进行肤色检测，得到所述原图像的人手概率图；将所述原图像的人手概率图与所述原图像进行拼接，得到拼接后的原图像，所述第二特征图通过对所述拼接后的原图像进行特征提取得到。在可选的实施方式中，所述对所述原图像进行肤色检测，得到所述原图像的人手概率图的步骤包括：根据以下公式，对所述原图像进行肤色检测，得到所述原图像的人手概率图：其中，x代表原图像中像素的RGB向量，N代表高斯混合模型中子高斯模型的数量，Wi代表x属于第i个高斯模型的概率，μi代表第i个高斯模型的均值，∑i代表第i个高斯模型的协方差矩阵；P(x)为x属于人手部分的概率。在可选的实施方式中，所述基于第一人手检测框，对原图像进行裁剪，以得到第一图像的步骤包括：根据所述第一人手检测框，对所述原图像进行裁剪，得到待检测图像；对所述待检测图像进行肤色检测，得到所述待检测图像的人手概率图；将所述待检测图像的人手概率图和所述待检测图像进行拼接，得到所述第一图像。在可选的实施方式中，所述基于第一人手检测框，对原图像进行裁剪的步骤包括：基于预先设定的放大倍数对所述第一人手检测框进行放大，根据放大后的第一人手检测框对所述原图像进行裁剪。第二方面，本专利技术实施例提供一种手势跟踪装置，应用于电子设备，所述手势跟踪装置包括分类跟踪模块；所述分类跟踪模块用于：基于第一人手检测框，对原图像进行裁剪，以得到第一图像；对所述第一图像进行特征提取得到第一特征图；判断所述第一特征图中是否存在人手，若所述第一特征图中存在人手，对所述第一特征图进行分割，得到人手图像；将所述第一特征图和所述人手图像进行检测框回归处理，得到第二人手检测框，以根据所述第二人手检测框，对下一帧图像进行跟踪。第三方面，本专利技术实施例提供一种电子设备，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行前述实施方式中任意一项所述的手势跟踪方法。第四方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任意一项所述的手势跟踪方法。本专利技术实施例提供的手势跟踪方法、装置、电子设备和存储介质，基于第一人手检测框，对原图像进行裁剪，以得到第一图像，通过对第一图像进行特征提取得到第一特征图，判断第一特征图中是否存在人手，若第一特征图中存在人手，对第一特征图进行分割，得到人手图像，将第一特征图和人手图像进行检测框回归处理，得到第二人手检测框，以第二人手检测框作为下一帧图像的输入，实现对下一帧图像的跟踪，实时性较好。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例所提供的电子设备的一种方框示意图。图2为本专利技术实施例所提供的手势跟踪方法的一种流程示意图。图3为本专利技术实施例所提供的手势跟踪方法的另一种流程示意图。图4为本专利技术实施例所提供的手势跟踪方法的又一种流程示意图。图5为本专利技术实施例所提供的手势跟踪方法的又一种流程示意图。图6为本专利技术实施例所提供的手势跟踪方法的又一种流程示意图。图7为本专利技术实施例所提供的手势跟踪装置的一种方框示意图。图标：100-电子设备；10-手势跟踪装置；11-分类跟踪模块；12-手势检测模块；20-存储器；30-处理器；40-通信单元。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本专利技术的描述中，需要说明的是，若出现术语“上”、“下”本文档来自技高网...

【技术保护点】
1.一种手势跟踪方法，其特征在于，应用于电子设备，所述手势跟踪方法包括：/n基于第一人手检测框，对原图像进行裁剪，以得到第一图像；/n对所述第一图像进行特征提取得到第一特征图；/n判断所述第一特征图中是否存在人手，若所述第一特征图中存在人手，对所述第一特征图进行分割，得到人手图像；/n将所述第一特征图和所述人手图像进行检测框回归处理，得到第二人手检测框，以根据所述第二人手检测框，对下一帧图像进行跟踪。/n

【技术特征摘要】
1.一种手势跟踪方法，其特征在于，应用于电子设备，所述手势跟踪方法包括：
基于第一人手检测框，对原图像进行裁剪，以得到第一图像；
对所述第一图像进行特征提取得到第一特征图；
判断所述第一特征图中是否存在人手，若所述第一特征图中存在人手，对所述第一特征图进行分割，得到人手图像；
将所述第一特征图和所述人手图像进行检测框回归处理，得到第二人手检测框，以根据所述第二人手检测框，对下一帧图像进行跟踪。


2.根据权利要求1所述的手势跟踪方法，其特征在于，所述方法还包括：
若所述第一特征图中不存在人手，则对所述原图像进行特征提取得到第二特征图；
将所述第二特征图输入至区域建议网络，得到第一检测框；
对所述第二特征图中所述第一检测框对应区域的特征进行裁剪，得到裁剪后的特征图；
根据所述裁剪后的特征图对所述第一检测框进行精修处理，得到第三人手检测框，以根据所述第三人手检测框，对下一帧图像进行跟踪。


3.根据权利要求2所述的手势跟踪方法，其特征在于，所述根据所述裁剪后的特征图对所述第一检测框进行精修处理，得到第三人手检测框的步骤包括：
将所述裁剪后的特征图输入至分类回归网络，得到检测框精修参数；
根据所述检测框精修参数对所述第一检测框进行精修处理，得到第三人手检测框。


4.根据权利要求2所述的手势跟踪方法，其特征在于，在对所述原图像进行特征提取得到第二特征图之前，所述方法还包括：
对所述原图像进行肤色检测，得到所述原图像的人手概率图；
将所述原图像的人手概率图与所述原图像进行拼接，得到拼接后的原图像，所述第二特征图通过对所述拼接后的原图像进行特征提取得到。


5.根据权利要求4所述的手势跟踪方法，其特征在于，所述对所述原图像进行肤色检测，得到所述原图像的人手概率图的步骤包括：
根据以下公式，对所述原图像进行肤色检测...

【专利技术属性】
技术研发人员：杨思远，曲晓超，姜浩，刘岩，万鹏飞，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35