用于提取信息的方法和装置制造方法及图纸

本申请实施例公开了用于提取信息的方法和装置。该方法的一具体实施方式包括：获取目标用户的第一脸部图像；基于第一脸部图像，确定目标用户是否面对目标物体；响应于确定目标用户面对目标物体，获取目标用户的第二脸部图像，以及基于第二脸部图像对目标用户进行面部动作识别，得到用户面部动作信息；响应于确定用户面部动作信息符合预设条件，提取预设的、针对目标物体的控制信息。该实施方式提高了信息处理的准确性和灵活性。

Method and device for extracting information

The application embodiment discloses a method and device for extracting information. One specific embodiment of the method includes: acquiring the first face image of the target user; determining whether the target user is facing the target object based on the first face image; acquiring the second face image of the target user in response to determining that the target user is facing the target object, and performing the target user based on the second face image. Facial movement recognition obtains the user's facial movement information and extracts the preset control information for the target object in response to determining that the user's facial movement information meets the preset conditions. This method improves the accuracy and flexibility of information processing.

【技术实现步骤摘要】
用于提取信息的方法和装置
本申请实施例涉及计算机
，具体涉及用于提取信息的方法和装置。
技术介绍
机器视觉技术，是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉技术主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。目前，机器视觉技术被广泛地应用于各个领域，例如智能家电领域、自动驾驶领域、残疾人辅助领域等。
技术实现思路
本申请实施例提出了用于提取信息的方法和装置。第一方面，本申请实施例提供了一种用于提取信息的方法，该方法包括：获取目标用户的第一脸部图像；基于第一脸部图像，确定目标用户是否面对目标物体；响应于确定目标用户面对目标物体，获取目标用户的第二脸部图像，以及基于第二脸部图像对目标用户进行面部动作识别，得到用户面部动作信息；响应于确定用户面部动作信息符合预设条件，提取预设的、针对目标物体的控制信息。在一些实施例中，基于第一脸部图像，确定目标用户是否面对目标物体，包括：对第一脸部图像进行人脸姿态估计，确定第一脸部图像表征的目标用户的正面姿态角，其中，正面姿态角用于表征目标用户的人脸的正面朝向相对于拍摄得到第一脸部图像的设备的偏转程度；基于正面姿态角确定目标用户是否面对目标物体。在一些实施例中，对第一脸部图像进行人脸姿态估计，确定目标用户的正面姿态角，包括：将第一脸部图像输入预先训练的人脸识别模型，得到目标用户的正面姿态角，其中，人脸识别模型用于表征第一脸部图像与第一脸部图像所表征的人脸的正面姿态角的对应关系。在一些实施例中，基于正面姿态角确定目标用户是否面对目标物体，包括：确定正面姿态角是否在预设角度范围内；响应于确定正面姿态角在预设角度范围内，确定目标用户面对目标物体。在一些实施例中，基于第一脸部图像，确定目标用户是否面对目标物体，包括：从第一脸部图像中提取眼部图像；针对眼部图像进行视线估计，确定目标用户的双眼视线交点位置信息；响应于确定双眼视线交点位置信息表征双眼视线交点位于目标物体所在的位置，确定目标用户面对目标物体。在一些实施例中，针对眼部图像进行视线估计，确定目标用户的双眼视线交点的位置，包括：将眼部图像输入预先训练的视线估计模型，得到目标用户的双眼视线交点位置信息，其中，视线估计模型用于表征眼部图像与双眼视线交点的位置的对应关系。在一些实施例中，视线估计模型通过如下步骤训练得到：获取多个样本眼部图像和多个样本眼部图像中的每个样本眼部图像对应的样本双眼视线交点位置信息；利用机器学习方法，将多个样本眼部图像中的每个样本眼部图像作为输入，将输入的样本眼部图像对应的样本双眼视线交点位置信息作为输出，训练得到视线估计模型。第二方面，本申请实施例提供了一种用于提取信息的装置，该装置包括：获取单元，配置用于获取目标用户的第一脸部图像；确定单元，配置用于基于第一脸部图像，确定目标用户是否面对目标物体；识别单元，配置用于响应于确定目标用户面对目标物体，获取目标用户的第二脸部图像，以及基于第二脸部图像对目标用户进行面部动作识别，得到用户面部动作信息；提取单元，配置用于响应于确定用户面部动作信息符合预设条件，提取预设的、针对目标物体的控制信息。在一些实施例中，确定单元包括：第一估计模块，配置用于对第一脸部图像进行人脸姿态估计，确定第一脸部图像表征的目标用户的正面姿态角，其中，正面姿态角用于表征目标用户的人脸的正面朝向相对于拍摄得到第一脸部图像的设备的偏转程度；第一确定模块，配置用于基于正面姿态角确定目标用户是否面对目标物体。在一些实施例中，第一估计模块进一步配置用于：将第一脸部图像输入预先训练的人脸识别模型，得到目标用户的正面姿态角，其中，人脸识别模型用于表征第一脸部图像与第一脸部图像所表征的人脸的正面姿态角的对应关系。在一些实施例中，第一确定模块包括：第一确定子模块，配置用于确定正面姿态角是否在预设角度范围内；第二确定子模块，配置用于响应于确定正面姿态角在预设角度范围内，确定目标用户面对目标物体。在一些实施例中，确定单元包括：提取模块，配置用于从第一脸部图像中提取眼部图像；第二估计模块，配置用于针对眼部图像进行视线估计，确定目标用户的双眼视线交点位置信息；第二确定模块，配置用于响应于确定双眼视线交点位置信息表征双眼视线交点位于目标物体所在的位置，确定目标用户面对目标物体。在一些实施例中，第二估计模块进一步配置用于：将眼部图像输入预先训练的视线估计模型，得到目标用户的双眼视线交点位置信息，其中，视线估计模型用于表征眼部图像与双眼视线交点的位置的对应关系。在一些实施例中，视线估计模型通过如下步骤训练得到：获取多个样本眼部图像和多个样本眼部图像中的每个样本眼部图像对应的样本双眼视线交点位置信息；利用机器学习方法，将多个样本眼部图像中的每个样本眼部图像作为输入，将输入的样本眼部图像对应的样本双眼视线交点位置信息作为输出，训练得到视线估计模型。第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。本申请实施例提供的用于提取信息的方法和装置，通过首先获取目标用户的第一脸部图像，再基于第一脸部图像确定目标用户是否面对目标物体，如果面对目标物体，再获取第二脸部图像，并识别目标用户的面部动作，最后响应于识别出的面部动作信息符合预设条件，提取针对目标物体的控制信息，从而提高了信息处理的准确性和灵活性。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构图；图2是根据本申请的用于提取信息的方法的一个实施例的流程图；图3是根据本申请的用于提取信息的方法的一个正面姿态角的示例性示意图；图4是根据本申请的用于提取信息的方法的一个应用场景的示意图；图5是根据本申请的用于提取信息的方法的又一个实施例的流程图；图6是根据本申请的用于提取信息的装置的一个实施例的结构示意图；图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请实施例的用于提取信息的方法或用于提取信息的装置的示例性系统架构100。如图1所示，系统架构100可以包括控制设备101、被控设备102、摄像头103。其中，控制设备101分别与被控设备102和摄像头103通信连接。上述通信连接可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以通过控制设备101对被控设备102进行控制，以使被控设本文档来自技高网...

【技术保护点】
1.一种用于提取信息的方法，包括：获取目标用户的第一脸部图像；基于所述第一脸部图像，确定所述目标用户是否面对目标物体；响应于确定所述目标用户面对所述目标物体，获取所述目标用户的第二脸部图像，以及基于所述第二脸部图像对所述目标用户进行面部动作识别，得到用户面部动作信息；响应于确定所述用户面部动作信息符合预设条件，提取预设的、针对所述目标物体的控制信息。

【技术特征摘要】
1.一种用于提取信息的方法，包括：获取目标用户的第一脸部图像；基于所述第一脸部图像，确定所述目标用户是否面对目标物体；响应于确定所述目标用户面对所述目标物体，获取所述目标用户的第二脸部图像，以及基于所述第二脸部图像对所述目标用户进行面部动作识别，得到用户面部动作信息；响应于确定所述用户面部动作信息符合预设条件，提取预设的、针对所述目标物体的控制信息。2.根据权利要求1所述的方法，其中，所述基于所述第一脸部图像，确定所述目标用户是否面对目标物体，包括：对所述第一脸部图像进行人脸姿态估计，确定所述第一脸部图像表征的所述目标用户的正面姿态角，其中，所述正面姿态角用于表征所述目标用户的人脸的正面朝向相对于拍摄得到所述第一脸部图像的设备的偏转程度；基于所述正面姿态角确定所述目标用户是否面对目标物体。3.根据权利要求2所述的方法，其中，所述对所述第一脸部图像进行人脸姿态估计，确定所述目标用户的正面姿态角，包括：将所述第一脸部图像输入预先训练的人脸识别模型，得到所述目标用户的正面姿态角，其中，所述人脸识别模型用于表征第一脸部图像与第一脸部图像所表征的人脸的正面姿态角的对应关系。4.根据权利要求2或3所述的方法，其中，所述基于所述正面姿态角确定所述目标用户是否面对目标物体，包括：确定所述正面姿态角是否在预设角度范围内；响应于确定所述正面姿态角在预设角度范围内，确定所述目标用户面对目标物体。5.根据权利要求1所述的方法，其中，所述基于所述第一脸部图像，确定所述目标用户是否面对目标物体，包括：从所述第一脸部图像中提取眼部图像；针对所述眼部图像进行视线估计，确定所述目标用户的双眼视线交点位置信息；响应于确定所述双眼视线交点位置信息表征双眼视线交点位于所述目标物体所在的位置，确定所述目标用户面对目标物体。6.根据权利要求5所述的方法，其中，所述针对所述眼部图像进行视线估计，确定所述目标用户的双眼视线交点的位置，包括：将所述眼部图像输入预先训练的视线估计模型，得到所述目标用户的双眼视线交点位置信息，其中，所述视线估计模型用于表征眼部图像与双眼视线交点的位置的对应关系。7.根据权利要求6所述的方法，其中，所述视线估计模型通过如下步骤训练得到：获取多个样本眼部图像和所述多个样本眼部图像中的每个样本眼部图像对应的样本双眼视线交点位置信息；利用机器学习方法，将所述多个样本眼部图像中的每个样本眼部图像作为输入，将输入的样本眼部图像对应的样本双眼视线交点位置信息作为输出，训练得到视线估计模型。8.一种用于提取信息的装置，包括：获取单元，配置用于获取目标用户的第一脸部图像；确定单元，配置用于基于所述第一脸部图像，确定所述目标用户是否面对目标物体；识别...

【专利技术属性】
技术研发人员：杨锐，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11