人机交互方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种人机交互方法、装置、存储介质及电子设备，所述方法包括：获取摄像头在第一时刻拍摄的第一人体图像；将存储的N张第二人体图像对应的人体特征和第一人体图像输入至动作模型网络，获得动作模型网络输出的动作数据，其中，N为正整数，N张第二人体图像为摄像头分别在第一时刻的前N个时刻拍摄的人体图像，前N个时刻与第一时刻为连续的；动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，特征序列生成模型的输入分别与人脸特征提取模型的输出及肢体特征提取模型的输出耦合，动作识别模型的输入与特征序列生成模型的输出耦合；在机器人上展现动作数据。由此可以有效提高人机交互的多样性。

【技术实现步骤摘要】
人机交互方法、装置、存储介质及电子设备
本公开涉及人机交互领域，具体地，涉及一种人机交互方法、装置、存储介质及电子设备。
技术介绍
计算机技术迅速发展，人工智能也在日益精进，人机交互在人们的生活中也越来越重要，如增强现实应用，混合现实应用和教育应用等等。现有技术中，人机交互通常是根据用户操作生成对应的回答。而在上述交互过程中,一般是对用户的操作进行模式匹配或语音分析，获得对应的回答，交互方式比较固定、单一，难以满足用户需求。
技术实现思路
本公开的目的是提供一种交互多样化的人机交互方法、装置、存储介质及电子设备。为了实现上述目的，根据本公开的第一方面，提供一种人机交互方法，获取摄像头在第一时刻拍摄的第一人体图像；将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；在机器人上展现所述动作数据。可选地，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。可选地，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。可选地，所述特征序列生成模型包括第一生成子模型和第二生成子模块；所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸特征序列和肢体特征序列。可选地，在所述人脸特征提取模型提取所述第一人体图像对应的人脸特征之后，所述方法还包括：存储所述人脸特征提取模型提取的所述第一人体图像对应的人脸特征；在所述肢体特征提取模型提取所述第一人体图像对应的肢体特征之后，所述方法还包括：存储所述肢体特征提取模型提取的所述第一人体图像对应的肢体特征。可选地，所述动作数据包括面部动作数据和肢体动作数据，所述在机器人上展现所述动作数据，包括：根据所述面部动作数据，控制所述机器人的面部表情；根据所述肢体动作数据，控制所述机器人的肢体动作。根据本公开的第二方面，提供一种人机交互装置，所述装置包括：第一获取模块，用于获取摄像头在第一时刻拍摄的第一人体图像；第二获取模块，用于将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；展示模块，用于在机器人上展现所述动作数据。可选地，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。可选地，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。可选地，所述特征序列生成模型包括第一生成子模型和第二生成子模块；所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸特征序列和肢体特征序列。可选地，所述装置还包括：第一存储模块，用于在所述人脸特征提取模型提取所述第一人体图像对应的人脸特征之后，存储所述人脸特征提取模型提取的所述第一人体图像对应的人脸特征；第二存储模块，用于在所述肢体特征提取模型提取所述第一人体图像对应的肢体特征之后，存储所述肢体特征提取模型提取的所述第一人体图像对应的肢体特征。可选地，所述动作数据包括面部动作数据和肢体动作数据，所述展示模块包括：第一控制子模块，用于根据所述面部动作数据，控制所述机器人的面部表情；第二控制子模块，用于根据所述肢体动作数据，控制所述机器人的肢体动作。根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一所述方法的步骤。根据本公开的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以上述第一方面任一所述方法的步骤。在上述技术方案中，获取拍摄的人体图像，并从该人体图像中提取人脸特征和肢体特征，从而可以对人体图像进行全面的特征提取；将该人脸特征、肢体特本文档来自技高网...

【技术保护点】
1.一种人机交互方法，其特征在于，所述方法包括：获取摄像头在第一时刻拍摄的第一人体图像；将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；在机器人上展现所述动作数据。

【技术特征摘要】
1.一种人机交互方法，其特征在于，所述方法包括：获取摄像头在第一时刻拍摄的第一人体图像；将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；在机器人上展现所述动作数据。2.根据权利要求1所述的方法，其特征在于，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。3.根据权利要求1所述的方法，其特征在于，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。4.根据权利要求1所述的方法，其特征在于，所述特征序列生成模型包括第一生成子模型和第二生成子模块；所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸...

【专利技术属性】
技术研发人员：陈泽洲，刘兆祥，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44