人机交互方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种人机交互方法、装置、存储介质及电子设备，所述方法包括：获取摄像头在第一时刻拍摄的第一手势图像；将存储的N张第二手势图像对应的手势特征和所述第一手势图像输入至表情模型网络，获得所述表情模型网络输出的表情数据，所述手势特征提取模型用于提取所述第一手势图像对应的手势特征；所述手势特征序列生成模型用于根据所述第一手势图像对应的所述手势特征、以及N张第二手势图像对应的手势特征，生成手势特征序列；所述表情识别模型用于根据所述手势特征序列，识别出所述表情数据；在机器人上展现所述表情数据。一方面可以为后续的表情识别提供准确的数据支持。另一方面，可以使得本公开提供的人机交互方法的使用范围更广。

Human computer interaction method, device, storage medium and electronic equipment

【技术实现步骤摘要】
人机交互方法、装置、存储介质及电子设备
本公开涉及人机交互领域，具体地，涉及一种人机交互方法、装置、存储介质及电子设备。
技术介绍
计算机技术迅速发展，人工智能也在日益精进，人机交互在人们的生活中也越来越重要，如增强现实应用，混合现实应用和教育应用等等。现有技术中，人机交互通常是根据用户操作生成对应的回答。而在上述交互过程中,一般是对用户的操作进行模式匹配或语音分析，获得对应的回答，交互方式比较固定、单一，难以满足用户需求。
技术实现思路
本公开的目的是提供一种多样性的、稳定的人机交互方法、装置、存储介质及电子设备。为了实现上述目的，根据本公开的第一方面，提供一种人机交互方法，所述方法包括：获取摄像头在第一时刻拍摄的第一手势图像；将存储的N张第二手势图像对应的手势特征和所述第一手势图像输入至表情模型网络，获得所述表情模型网络输出的表情数据，其中，N为正整数，所述N张第二手势图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的手势图像，所述前N个时刻与所述第一时刻为连续的；以及，所述表情模型网络包括手势特征提取模型、手势特征序列生成模型以及表情识别模型，所述手势特征序列生成模型的输入与所述手势特征提取模型的输出耦合，所述表情识别模型的输入与所述手势特征序列生成模型的输出耦合；所述手势特征提取模型用于提取所述第一手势图像对应的手势特征；所述手势特征序列生成模型用于根据所述第一手势图像对应的所述手势特征、以及所述N张第二手势图像对应的手势特征，生成手势特征序列；所述表情识别模型用于根据所述手势特征序列，识别出所述表情数据；在机器人上展现所述表情数据。可选地，所述方法还包括：通过手语识别模型，获得与所述手势特征序列对应的文本信息；以及，所述表情识别模型的输入还与所述手语识别模型的输出耦合，用于根据所述手势特征序列和该手势特征序列对应的文本信息，识别出所述表情数据。可选地，所述表情模型网络是根据多组历史手势图像、以及与每组历史手势图像一一对应的历史表情数据训练得到的，其中，每组历史手势图像包括连续的N+1个历史时刻中每一历史时刻对应的手势图像。可选地，所述手势特征提取模型包括手部提取模型和手势特征识别模型，所述手部提取模型用于提取所述第一手势图像中的手部区域图像；所述手势特征识别模型的输入与所述手部提取模型的输出耦合，用于根据所述手部区域图像，识别出所述第一手势图像对应的所述手势特征。可选地，在所述手势特征提取模型提取所述第一手势图像对应的手势特征之后，所述方法还包括：存储所述手势特征提取模型提取的所述第一手势图像对应的手势特征。可选地，所述在机器人上展现所述表情数据，包括：根据所述表情数据，控制所述机器人的面部表情。根据本公开的第二方面，提供一种人机交互装置，所述装置包括：第一获取模块，用于获取摄像头在第一时刻拍摄的第一手势图像；第二获取模块，用于将存储的N张第二手势图像对应的手势特征和所述第一手势图像输入至表情模型网络，获得所述表情模型网络输出的表情数据，其中，N为正整数，所述N张第二手势图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的手势图像，所述前N个时刻与所述第一时刻为连续的；以及，所述表情模型网络包括手势特征提取模型、手势特征序列生成模型以及表情识别模型，所述手势特征序列生成模型的输入与所述手势特征提取模型的输出耦合，所述表情识别模型的输入与所述手势特征序列生成模型的输出耦合；所述手势特征提取模型用于提取所述第一手势图像对应的手势特征；所述手势特征序列生成模型用于根据所述第一手势图像对应的所述手势特征、以及所述N张第二手势图像对应的手势特征，生成手势特征序列；所述表情识别模型用于根据所述手势特征序列，识别出所述表情数据；展示模块，用于在机器人上展现所述表情数据。可选地，所述装置还包括：第三获取模块，用于通过手语识别模型，获得与所述手势特征序列对应的文本信息；以及，所述表情识别模型的输入还与所述手语识别模型的输出耦合，用于根据所述手势特征序列和该手势特征序列对应的文本信息，识别出所述表情数据。可选地，所述表情模型网络是根据多组历史手势图像、以及与每组历史手势图像一一对应的历史表情数据训练得到的，其中，每组历史手势图像包括连续的N+1个历史时刻中每一历史时刻对应的手势图像。可选地，所述手势特征提取模型包括手部提取模型和手势特征识别模型，所述手部提取模型用于提取所述第一手势图像中的手部区域图像；所述手势特征识别模型的输入与所述手部提取模型的输出耦合，用于根据所述手部区域图像，识别出所述第一手势图像对应的所述手势特征。可选地，所述装置还包括：存储模块，用于在所述手势特征提取模型提取所述第一手势图像对应的手势特征之后，存储所述手势特征提取模型提取的所述第一手势图像对应的手势特征。可选地，所述展示模块用于：根据所述表情数据，控制所述机器人的面部表情。根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一所述方法的步骤。根据本公开的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面任一所述方法的步骤。在上述技术方案中，获取拍摄的手势图像，并从该手势图像中提取手势特征，从而将该手势特征和历史的手势特征形成手势特征序列，进而可以根据该手势特征序列确定对应的表情数据，以由机器人进行展示。通过上述技术方案，一方面可以基于多帧图像之间的关联性，形成手势特征序列，从而为后续的表情识别提供准确的数据支持。另一方面，通过生成手势特征序列的方式，也可以使得本公开提供的人机交互方法的使用范围更广。另外，通过上述方式，也可以有效提高人机交互的多样性，提升人机交互的舒适度和用户使用体验。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据本公开的一种实施方式提供的人机交互方法的流程图。图2是表情模型网络的示意图。图3是根据本公开的一种实施方式提供的人机交互装置的框图。图4是根据一示例性实施例示出的一种电子设备的框图。图5是根据一示例性实施例示出的一种电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。图1所示，为根据本公开的一种实施方式提供的人机交互方法的流程图。如图1所示，所述方法包括：在S11中，获取摄像头在第一时刻拍摄的第一手势图像。其中，手势图像为获得的包含手部区域的图像。在一实施例中，该方法可以应用于机器人设备，则该摄像头可以是安装在该机器人设备上的，在其拍摄到手势图像时，可以将该手势图像发送至机器人的处理器进行处理。在另一实施例中，该方法可以应用于虚拟机器人终端，如显示屏上的虚拟机器人，则摄像头可以是安装在终端上的。在另一实施例中，该方法可以应用于服务器，则在摄像头拍摄到手势图像时，将该手势图像发送至服务器进行后续处理。在S12中，将存储的N张第二手势图像对应的手势特征和第一手势图像输入至表情模型网络，获得表情模本文档来自技高网...

【技术保护点】
1.一种人机交互方法，其特征在于，所述方法包括：获取摄像头在第一时刻拍摄的第一手势图像；将存储的N张第二手势图像对应的手势特征和所述第一手势图像输入至表情模型网络，获得所述表情模型网络输出的表情数据，其中，N为正整数，所述N张第二手势图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的手势图像，所述前N个时刻与所述第一时刻为连续的；以及，所述表情模型网络包括手势特征提取模型、手势特征序列生成模型以及表情识别模型，所述手势特征序列生成模型的输入与所述手势特征提取模型的输出耦合，所述表情识别模型的输入与所述手势特征序列生成模型的输出耦合；所述手势特征提取模型用于提取所述第一手势图像对应的手势特征；所述手势特征序列生成模型用于根据所述第一手势图像对应的所述手势特征、以及所述N张第二手势图像对应的手势特征，生成手势特征序列；所述表情识别模型用于根据所述手势特征序列，识别出所述表情数据；在机器人上展现所述表情数据。

【技术特征摘要】
1.一种人机交互方法，其特征在于，所述方法包括：获取摄像头在第一时刻拍摄的第一手势图像；将存储的N张第二手势图像对应的手势特征和所述第一手势图像输入至表情模型网络，获得所述表情模型网络输出的表情数据，其中，N为正整数，所述N张第二手势图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的手势图像，所述前N个时刻与所述第一时刻为连续的；以及，所述表情模型网络包括手势特征提取模型、手势特征序列生成模型以及表情识别模型，所述手势特征序列生成模型的输入与所述手势特征提取模型的输出耦合，所述表情识别模型的输入与所述手势特征序列生成模型的输出耦合；所述手势特征提取模型用于提取所述第一手势图像对应的手势特征；所述手势特征序列生成模型用于根据所述第一手势图像对应的所述手势特征、以及所述N张第二手势图像对应的手势特征，生成手势特征序列；所述表情识别模型用于根据所述手势特征序列，识别出所述表情数据；在机器人上展现所述表情数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过手语识别模型，获得与所述手势特征序列对应的文本信息；以及，所述表情识别模型的输入还与所述手语识别模型的输出耦合，用于根据所述手势特征序列和该手势特征序列对应的文本信息，识别出所述表情数据。3.根据权利要求1所述的方法，其特征在于，所述表情模型网络是根据多组历史手势图像、以及与每组历史手势图像一一对应的历史表情数据训练得到的，其中，每组历史手势图像包括连续的N+1个历史时刻中每一历史时刻对应的手势图像。4.根据权利要求1所述的方法，其特征在于，所述手势特征提取模型包括手部提取模型和手势特征识别模型，所述手部提取模型用于提取所述第一手势图像中的手部区域图像；所述手势特征识别模型的输入与所述手部提取模型的输出耦合，用于根据所述手部区域图像，识别出所述第一手势图像对应的所述手势特征。5.根据权利要求1所述的方法，其特征在于，在所述手势特征提取模型提取所述第一手势图像对...

【专利技术属性】
技术研发人员：陈泽洲，刘兆祥，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44