一种抓取手势识别的方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种抓取手势识别的方法、装置及电子设备。本发明专利技术实施例在抓取手势识别过程中，采取多重网络支流进行特征抽取，能够学习到不同数据源信息，通过同时采用手掌和物体的相关信息，并结合多支流的卷积神经网络来自动学习特征，提高了抓取手势识别的准确性。

【技术实现步骤摘要】
一种抓取手势识别的方法、装置及电子设备
本专利技术涉及图像和视频处理
，具体涉及一种抓取手势识别的方法、装置及电子设备。
技术介绍
在人们的日常生活中，手是用户和真实世界/物体进行交互的重要工具，并在以下的技术中有着重要的作用：增强现实技术：手掌是用户和其所穿戴设备交互的重要途径，用户可以用手掌控制所穿戴的设备。机器人技术：机器人可以通过学习人类如何抓取物体来对物体进行抓取。抓取手势的识别可以提供理论上和可测量的基础来设计人工系统。动作识别技术：随着穿戴设别的越来越普遍，经常需要从记录的影像设备中来挖掘识别用户的行为，而手作为一个用户和物体/世界交互的重要途径，可以通过对手的姿势识别来进一步识别用户的意图和活动。抓取手势提供了用户动作和环境之间的交互信息，在人机交互、可穿戴设备等应用场景中，经常需要识别用户手部的抓取手势。然而，在不确定的应用场景中，可能存在大量的不同形状的物体外观，并且由于遮挡以及几何形变等原因，使得识别抓取手势成为一个很具有挑战性的任务。因此，亟需一种方案，能够提高抓取手势识别的准确性。
技术实现思路
本专利技术实施例要解决的技术问题是提供一种抓取手势识别的方法、装置及电子设备，提高抓取手势识别的准确性。为解决上述技术问题，本专利技术实施例提供的抓取手势识别的方法，包括：获得一待识别的抓取手势的第一彩色图像和第一深度图像；根据所述第一彩色图像和第一深度图像，生成至少三种输入数据，所述至少三种输入数据包括：包含手掌部分的RGBD图像，手掌前景图像，被抓取物的掩膜图像；将所述至少三种输入数据，输入至一预先训练得到的多支流卷积神经网络中的对应支流，并将所述多支流卷积神经网络的输出结果输入至一预先训练得到的聚类模型，识别得到所述待识别的抓取手势的类别；其中，所述多支流卷积神经网络至少包括：用于学习抓取手势的全局信息的第一支流，用于学习手掌外观姿态的第二支流，用于学习物体形状的局部信息的第三支流，所述第一支流、第二支流和第三支流，分别对应于所述包含手掌部分的RGBD图像、所述手掌前景图像、和所述被抓取物的掩膜图像。优选的，上述方法中，在所述获得一待识别的抓取手势的第一彩色图像和第一深度图像的步骤之前，所述方法还包括：预处理多个抓取手势样本的样本彩色图像和样本深度图像，得到训练数据，所述训练数据包括每个抓取手势的所述至少三种输入数据；建立多支流卷积神经网络，所述多支流卷积神经网络包括一一对应于每种输入数据的多个支流；将所述训练数据中的每种输入数据，分别输入至所述多支流卷积神经网络中对应的支流，计算得到所述训练数据的特征；融合所述多支流卷积神经网络的各个支流的得到的特征，得到融合特征；对融合特征进行聚类，获得聚类结果并更新聚类中心；根据聚类结果，更新所述多支流卷积神经网络的目标函数，并根据目标函数的梯度，更新所述多支流卷积神经网络的模型参数；判断是否满足预设的迭代终止条件，若满足，则输出最终的多支流卷积神经网络和聚类模型，否则返回所述将所述训练数据中的每种输入数据，分别输入至所述多支流卷积神经网络中对应的支流，计算得到所述训练数据的特征的步骤。优选的，上述方法中，所述预处理多个抓取手势的样本彩色图像和样本深度图像，得到训练数据的步骤，包括：合成同一个抓取手势的样本彩色图像和样本深度图像，得到包含手掌以及被抓取物的RGBD图像；对所述样本彩色图像分割出前景部分的手掌图像，得到手掌前景图像；结合所述样本深度图像和被抓取物在样本彩色图像上的分割区域，得到被抓取物的掩膜图像。优选的，上述方法中，所述根据聚类结果，更新所述多支流卷积神经网络的目标函数，并根据目标函数的梯度，更新所述多支流卷积神经网络的模型参数的步骤，包括：在更新所述多支流卷积神经网络的目标函数时，计算所有的抓取手势样本与该抓取手势样本所属聚类中心之间的距离的和值，并在所述目标函数中加入所述和值，以作为约束条件训练所述多支流卷积神经网络。优选的，上述方法中，所述预设的迭代终止条件包括：目标函数收敛到预设的条件或者迭代次数达到预设的次数。本专利技术实施例还提供了一种抓取手势识别装置，包括：图像获得单元，用于获得一待识别的抓取手势的第一彩色图像和第一深度图像；图像预处理单元，用于根据所述第一彩色图像和第一深度图像，生成至少三种输入数据，所述至少三种输入数据包括：包含手掌部分的RGBD图像，手掌前景图像，被抓取物的掩膜图像；识别处理单元，用于将所述至少三种输入数据，输入至一预先训练得到的多支流卷积神经网络中的对应支流，并将所述多支流卷积神经网络的输出结果输入至一预先训练得到的聚类模型，识别得到所述待识别的抓取手势的类别；其中，所述多支流卷积神经网络至少包括：用于学习抓取手势的全局信息的第一支流，用于学习手掌外观姿态的第二支流，用于学习物体形状的局部信息的第三支流，所述第一支流、第二支流和第三支流，分别对应于所述包含手掌部分的RGBD图像、所述手掌前景图像、和所述被抓取物的掩膜图像。优选的，上述抓取手势识别装置还包括：样本预处理单元，用于预处理多个抓取手势样本的样本彩色图像和样本深度图像，得到训练数据，所述训练数据包括每个抓取手势的所述至少三种输入数据；模型建立单元，用于建立多支流卷积神经网络，所述多支流卷积神经网络包括一一对应于每种输入数据的多个支流；训练单元，用于将所述训练数据中的每种输入数据，分别输入至所述多支流卷积神经网络中对应的支流，计算得到所述训练数据的特征；融合所述多支流卷积神经网络的各个支流的得到的特征，得到融合特征；对融合特征进行聚类，获得聚类结果并更新聚类中心；根据聚类结果，更新所述多支流卷积神经网络的目标函数，并根据目标函数的梯度，更新所述多支流卷积神经网络的模型参数；判断输出单元，用于判断是否满足预设的迭代终止条件，若满足，则输出最终的多支流卷积神经网络和聚类模型，否则继续触发所述训练单元。优选的，上述抓取手势识别装置中，所述样本预处理单元，具体用于合成同一个抓取手势的样本彩色图像和样本深度图像，得到包含手掌以及被抓取物的RGBD图像；对所述样本彩色图像分割出前景部分的手掌图像，得到手掌前景图像；以及，结合所述样本深度图像和被抓取物在样本彩色图像上的分割区域，得到被抓取物的掩膜图像。优选的，上述抓取手势识别装置中，所述训练单元，在更新所述多支流卷积神经网络的目标函数时，计算所有的抓取手势样本与该抓取手势样本所属聚类中心之间的距离的和值，并在所述目标函数中加入所述和值，以作为约束条件训练所述多支流卷积神经网络。优选的，上述抓取手势识别装置中，所述预设的迭代终止条件包括：目标函数收敛到预设的条件或者迭代次数达到预设的次数。本专利技术实施例还提供了一种用于抓取手势识别的电子设备，包括：处理器；和存储器，所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获得一待识别的抓取手势的第一彩色图像和第一深度图像；根据所述第一彩色图像和第一深度图像，生成至少三种输入数据，所述至少三种输入数据包括：包含手掌部分的RGBD图像，手掌前景图像，被抓取物的掩膜图像；将所述至少三种输入数据，输入至一预先训练得到的多支流卷积神经网络中的对应支流，并将所述多支流卷积神经网络的输出结果输入至一预先训练得到本文档来自技高网...

【技术保护点】
一种抓取手势识别的方法，其特征在于，包括：获得一待识别的抓取手势的第一彩色图像和第一深度图像；根据所述第一彩色图像和第一深度图像，生成至少三种输入数据，所述至少三种输入数据包括：包含手掌部分的RGBD图像，手掌前景图像，被抓取物的掩膜图像；将所述至少三种输入数据，输入至一预先训练得到的多支流卷积神经网络中的对应支流，并将所述多支流卷积神经网络的输出结果输入至一预先训练得到的聚类模型，识别得到所述待识别的抓取手势的类别；其中，所述多支流卷积神经网络至少包括：用于学习抓取手势的全局信息的第一支流，用于学习手掌外观姿态的第二支流，用于学习物体形状的局部信息的第三支流，所述第一支流、第二支流和第三支流，分别对应于所述包含手掌部分的RGBD图像、所述手掌前景图像、和所述被抓取物的掩膜图像。

【技术特征摘要】
1.一种抓取手势识别的方法，其特征在于，包括：获得一待识别的抓取手势的第一彩色图像和第一深度图像；根据所述第一彩色图像和第一深度图像，生成至少三种输入数据，所述至少三种输入数据包括：包含手掌部分的RGBD图像，手掌前景图像，被抓取物的掩膜图像；将所述至少三种输入数据，输入至一预先训练得到的多支流卷积神经网络中的对应支流，并将所述多支流卷积神经网络的输出结果输入至一预先训练得到的聚类模型，识别得到所述待识别的抓取手势的类别；其中，所述多支流卷积神经网络至少包括：用于学习抓取手势的全局信息的第一支流，用于学习手掌外观姿态的第二支流，用于学习物体形状的局部信息的第三支流，所述第一支流、第二支流和第三支流，分别对应于所述包含手掌部分的RGBD图像、所述手掌前景图像、和所述被抓取物的掩膜图像。2.如权利要求1所述的方法，其特征在于，在所述获得一待识别的抓取手势的第一彩色图像和第一深度图像的步骤之前，所述方法还包括：预处理多个抓取手势样本的样本彩色图像和样本深度图像，得到训练数据，所述训练数据包括每个抓取手势的所述至少三种输入数据；建立多支流卷积神经网络，所述多支流卷积神经网络包括一一对应于每种输入数据的多个支流；将所述训练数据中的每种输入数据，分别输入至所述多支流卷积神经网络中对应的支流，计算得到所述训练数据的特征；融合所述多支流卷积神经网络的各个支流的得到的特征，得到融合特征；对融合特征进行聚类，获得聚类结果并更新聚类中心；根据聚类结果，更新所述多支流卷积神经网络的目标函数，并根据目标函数的梯度，更新所述多支流卷积神经网络的模型参数；判断是否满足预设的迭代终止条件，若满足，则输出最终的多支流卷积神经网络和聚类模型，否则返回所述将所述训练数据中的每种输入数据，分别输入至所述多支流卷积神经网络中对应的支流，计算得到所述训练数据的特征的步骤。3.如权利要求2所述的方法，其特征在于，所述预处理多个抓取手势的样本彩色图像和样本深度图像，得到训练数据的步骤，包括：合成同一个抓取手势的样本彩色图像和样本深度图像，得到包含手掌以及被抓取物的RGBD图像；对所述样本彩色图像分割出前景部分的手掌图像，得到手掌前景图像；结合所述样本深度图像和被抓取物在样本彩色图像上的分割区域，得到被抓取物的掩膜图像。4.如权利要求2所述的方法，其特征在于，所述根据聚类结果，更新所述多支流卷积神经网络的目标函数，并根据目标函数的梯度，更新所述多支流卷积神经网络的模型参数的步骤，包括：在更新所述多支流卷积神经网络的目标函数时，计算所有的抓取手势样本与该抓取手势样本所属聚类中心之间的距离的和值，并在所述目标函数中加入所述和值，以作为约束条件训练所述多支流卷积神经网络。5.如权利要求4所述的方法，其特征在于，所述预设的迭代终止条件包括：目标函数收敛到预设的条件或者迭代次数达到预设的次数。6.一种抓取手势识别装置，其特征在于，包括：图像获得单元，用于获得一待识别的抓取手势的第一彩色图像和第一深度图像；图像预处理单元，用于根据所述第一彩色图像和第一深度图像，生成至少三种输入数据，所述至少三种输入数据包括：包含手掌部分的RGBD图像，手掌前景图像，被抓取物的掩膜图像；识别处理单元，用于将所述至少三种输入数据，输入至一预先...

【专利技术属性】
技术研发人员：陈超，刘丽艳，赵颖，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP