图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、电子设备及存储介质。所述图像处理方法包括：获取当前图像帧中目标对象的多个部位的姿态检测数据；针对所述多个部位之中每个与其他部位相关联的目标部位，基于所述目标部位及其关联部位的姿态检测数据，确定所述目标部位的姿态驱动数据；基于确定的各个目标部位的姿态驱动数据，对虚拟形象的对应部位进行驱动，所述虚拟形象与所述目标对象具有一一对应的部位。根据本公开，能够提高对虚拟形象的驱动效果的自然度和准确度。然度和准确度。然度和准确度。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本公开总体说来涉及计算机
，更具体地讲，涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，虚拟形象已经在社交、在线教育、游戏等诸多场景得到了广泛的应用。为了让虚拟形象能够动起来，需要借助驱动技术，将捕捉到的用户图像中的人体姿态迁移到虚拟形象上。然而，相关驱动技术还存在对虚拟形象的驱动效果不够自然合理的问题。

技术实现思路

[0003]本公开的示例性实施例在于提供一种图像处理方法、装置、电子设备及存储介质，其能够提高对虚拟形象的驱动效果的自然度。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取当前图像帧中目标对象的多个部位的姿态检测数据；针对所述多个部位之中每个与其他部位相关联的目标部位，基于所述目标部位及其关联部位的姿态检测数据，确定所述目标部位的姿态驱动数据；基于确定的各个目标部位的姿态驱动数据，对虚拟形象的对应部位进行驱动，所述虚拟形象与所述目标对象具有一一对应的部位。
[0005]可选地，所述多个部位包括手部、头部以及身体部位，所述多个部位的姿态检测数据包括头部姿态检测数据、身体姿态检测数据以及手部姿态检测数据，所述各个目标部位包括身体部位和手部，其中，针对所述多个部位之中每个与其他部位相关联的目标部位，基于所述目标部位及其关联部位的姿态检测数据，确定所述目标部位的姿态驱动数据的步骤包括：基于所述身体姿态检测数据和所述头部姿态检测数据，确定身体部位中的颈部的姿态驱动数据，并基于所述身体姿态检测数据确定除颈部之外的身体部位的姿态驱动数据；基于所述手部姿态检测数据和所述身体姿态检测数据，确定手部中的手腕的姿态驱动数据，并基于所述手部姿态检测数据确定手部中的手指的姿态驱动数据。
[0006]可选地，基于所述身体姿态检测数据和所述头部姿态检测数据，确定身体部位中的颈部的姿态驱动数据的步骤包括：基于所述身体姿态检测数据中的颈部姿态检测数据、所述头部姿态检测数据以及颈部姿态关联数据，确定所述颈部的姿态驱动数据，其中，所述颈部姿态关联数据包括以下项之中的至少一项：所述身体姿态检测数据中的颈部关节的父关节的姿态检测数据、针对上一图像帧确定的颈部的姿态驱动数据、预设的颈部闲置状态时的姿态数据，其中，所述颈部闲置状态为未检测到当前图像帧中的所述目标对象的身体部位和头部时颈部需进入的状态。
[0007]可选地，确定所述颈部的姿态驱动数据的步骤包括：通过使所述颈部的姿态驱动数据与各项颈部融合数据之间的距离的二范数的加权和最小化，确定所述颈部的姿态驱动数据，其中，所述各项颈部融合数据包括：所述颈部姿态检测数据、所述头部姿态检测数据、所述颈部姿态关联数据。
[0008]可选地，基于所述手部姿态检测数据和所述身体姿态检测数据，确定手部中的手腕的姿态驱动数据的步骤包括：基于所述手部姿态检测数据中的手腕姿态检测数据、所述身体姿态检测数据中的手腕关节的父关节的姿态检测数据以及手腕姿态关联数据，确定所述手腕的姿态驱动数据，其中，所述手腕姿态关联数据包括以下项之中的至少一项：针对上一图像帧确定的手腕的姿态驱动数据、预设的手腕闲置状态时的姿态数据，其中，所述手腕闲置状态为未检测到当前图像帧中的所述目标对象的手部时手腕需进入的状态。
[0009]可选地，确定所述手腕的姿态驱动数据的步骤包括：通过使所述手腕的姿态驱动数据与各项手腕融合数据之间的距离的二范数的加权和最小化，确定所述手腕的姿态驱动数据，其中，所述各项手腕融合数据包括：所述手腕姿态检测数据、所述身体姿态检测数据中的手腕关节的父关节的姿态检测数据、所述手腕姿态关联数据。
[0010]可选地，获取当前图像帧中目标对象的多个部位的姿态检测数据的步骤包括：将当前图像帧输入身体检测模型，得到身体姿态检测数据；将当前图像帧中的头部区域图像输入头部检测模型，得到头部姿态检测数据；将当前图像帧中的手部区域图像输入手部检测模型，得到手部姿态检测数据。
[0011]可选地，将当前图像帧输入身体检测模型，得到身体姿态检测数据的步骤包括：将当前图像帧输入身体检测模型，得到所述身体姿态检测数据、颈部位置数据、手腕位置数据；其中，所述图像处理方法还包括：根据所述颈部位置数据，从当前图像帧中识别并截取出头部所在的区域，作为所述头部区域图像；根据所述手腕位置数据，从当前图像帧中识别并截取出手部所在的区域，作为所述手部区域图像。
[0012]可选地，基于所述身体姿态检测数据确定除颈部之外的身体部位的姿态驱动数据的步骤包括：基于所述身体姿态检测数据中的除颈部之外的身体部位的姿态检测数据和身体姿态关联数据，确定所述除颈部之外的身体部位的姿态驱动数据，其中，所述身体姿态关联数据包括以下项之中的至少一项：针对上一图像帧确定的除颈部之外的身体部位的姿态驱动数据、预设的身体部位闲置状态时的姿态数据，其中，所述身体部位闲置状态为未检测到当前图像帧中的所述目标对象的身体部位时除颈部之外的身体部位需进入的状态。
[0013]可选地，确定所述除颈部之外的身体部位的姿态驱动数据的步骤包括：通过使所述除颈部之外的身体部位的姿态驱动数据与各项身体融合数据之间的距离的二范数的加权和最小化，确定所述除颈部之外的身体部位的姿态驱动数据，其中，所述各项身体融合数据包括：所述除颈部之外的身体部位的姿态检测数据和所述身体姿态关联数据。
[0014]可选地，基于所述手部姿态检测数据确定手部中的手指的姿态驱动数据的步骤包括：基于所述手部姿态检测数据中的手指姿态检测数据和手指姿态关联数据，确定所述手指的姿态驱动数据，其中，所述手指姿态关联数据包括以下项之中的至少一项：针对上一图像帧确定的手指的姿态驱动数据、预设的手指闲置状态时的姿态数据，其中，所述手指闲置状态为未检测到当前图像帧中的所述目标对象的手指时手指需进入的状态。
[0015]可选地，确定所述手指的姿态驱动数据的步骤包括：通过使所述手指的姿态驱动数据与各项手指融合数据之间的距离的二范数的加权和最小化，确定所述手指的姿态驱动数据，其中，所述各项手指融合数据包括：所述手指姿态检测数据和所述手指姿态关联数据。
[0016]可选地，基于确定的各个目标部位的姿态驱动数据，对虚拟形象的对应部位进行
驱动的步骤包括：基于所述手腕的姿态驱动数据，对所述除颈部之外的身体部位的姿态驱动数据中的手腕关节的父关节的姿态驱动数据进行修正，以得到修正后的除颈部之外的身体部位的姿态驱动数据；基于修正后的除颈部之外的身体部位的姿态驱动数据、所述手指的姿态驱动数据、所述颈部的姿态驱动数据以及所述手腕的姿态驱动数据，对所述虚拟形象的对应部位进行驱动。
[0017]可选地，当前图像帧是通过单目摄像头采集的图像帧。
[0018]根据本公开实施例的第二方面，提供一种图像处理装置，包括：检测数据获取单元，被配置为获取当前图像帧中目标对象的多个部位的姿态检测数据；驱动数据获取单元，被配置为针对所述多个部位之中每个与其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取当前图像帧中目标对象的多个部位的姿态检测数据；针对所述多个部位之中每个与其他部位相关联的目标部位，基于所述目标部位及其关联部位的姿态检测数据，确定所述目标部位的姿态驱动数据；基于确定的各个目标部位的姿态驱动数据，对虚拟形象的对应部位进行驱动，所述虚拟形象与所述目标对象具有一一对应的部位。2.根据权利要求1所述的图像处理方法，其特征在于，所述多个部位包括手部、头部以及身体部位，所述多个部位的姿态检测数据包括头部姿态检测数据、身体姿态检测数据以及手部姿态检测数据，所述各个目标部位包括身体部位和手部，其中，针对所述多个部位之中每个与其他部位相关联的目标部位，基于所述目标部位及其关联部位的姿态检测数据，确定所述目标部位的姿态驱动数据的步骤包括：基于所述身体姿态检测数据和所述头部姿态检测数据，确定身体部位中的颈部的姿态驱动数据，并基于所述身体姿态检测数据确定除颈部之外的身体部位的姿态驱动数据；基于所述手部姿态检测数据和所述身体姿态检测数据，确定手部中的手腕的姿态驱动数据，并基于所述手部姿态检测数据确定手部中的手指的姿态驱动数据。3.根据权利要求2所述的图像处理方法，其特征在于，基于所述身体姿态检测数据和所述头部姿态检测数据，确定身体部位中的颈部的姿态驱动数据的步骤包括：基于所述身体姿态检测数据中的颈部姿态检测数据、所述头部姿态检测数据以及颈部姿态关联数据，确定所述颈部的姿态驱动数据，其中，所述颈部姿态关联数据包括以下项之中的至少一项：所述身体姿态检测数据中的颈部关节的父关节的姿态检测数据、针对上一图像帧确定的颈部的姿态驱动数据、预设的颈部闲置状态时的姿态数据，其中，所述颈部闲置状态为未检测到当前图像帧中的所述目标对象的身体部位和头部时颈部需进入的状态。4.根据权利要求3所述的图像处理方法，其特征在于，确定所述颈部的姿态驱动数据的步骤包括：通过使所述颈部的姿态驱动数据与各项颈部融合数据之间的距离的二范数的加权和最小化，确定所述颈部的姿态驱动数据，其中，所述各项颈部融合数据包括：所述颈部姿态检测数据、所述头部姿态检测数据、所述颈部...

【专利技术属性】
技术研发人员：刘晓强，张国鑫，马里千，孙佳佳，金博，赵培尧，董亚娇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：