图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：在接收到拍照指令的情况下，获取预览图像中各关键点的第一位置信息以及拍照图像；利用各关键点的第一位置信息获得所述拍照图像中目标对象的正面图像，并确定所述正面图像的各关键点的第二位置信息；确定所述第二位置信息是否满足预设条件，如是，则根据拍照图像中与满足预设的条件的第二位置信息对应的位置添加虚拟效果，否则按照从所述拍照图像中识别的各关键点的第三位置信息添加虚拟效果。本公开实施例能够精确的识别拍照图像的虚拟效果。

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及图像处理领域，特别涉及图像处理方法及装置、电子设备和存储介质。
技术介绍
目前，虚拟现实技术或者增强现实技术由于其强大的互动性，得到了众多用户的青睐。例如，具有摄像功能的电子设备，可以在拍照的同时添加虚拟效果，例如佩戴选择的帽子、眼镜、面部变形、瘦脸、美颜、瘦身以及佩戴装饰品等。但目前的大部分电子设备在拍照时，为了获得上述虚拟特征的效果，只是保存当前的预览帧图像，该预览帧的图像分辨率的分辨率较低，虚拟效果不够精确。
技术实现思路
本公开实施例提供了一种提供了一种能够精确的识别图像中关键点的位置，以精确的实现虚拟效果的图像处理方法及装置、电子设备和存储介质。根据本公开的一方面，提供了一种图像处理方法，其包括：在接收到拍照指令的情况下，获取预览图像中各关键点的第一位置信息以及拍照图像；利用各关键点的第一位置信息获得所述拍照图像中目标对象的正面图像，并确定所述正面图像的各关键点的第二位置信息；确定所述第二位置信息是否满足预设条件，如是，则根据拍照图像中与满足预设的条件的第二位置信息对应的位置添加虚拟效果，否则按照从所述拍照图像中识别的各关键点的第三位置信息添加虚拟效果。在一种可能的实施方式中，所述利用各关键点的第一位置信息获得所述拍照图像中目标对象的正面图像，并确定所述正面图像的各关键点的第二位置信息，包括：根据所述拍照图像的图像参数，将各关键点的第一位置信息转换成与所述拍照图像的图像参数适配的第四位置信息；根据与所述拍照图像的图像参数适配的各关键点的所述第四位置信息，获得所述拍照图像中目标对象的正面图像并确定所述正面图像的各关键点的第二位置信息。在一种可能的实施方式中，所述根据所述拍照图像的图像参数，将各关键点的第一位置信息转换成与所述拍照图像的图像参数适配的第四位置信息，包括以下方式中的至少一种：按照所述拍照图像的分辨率，对所述预览图像中各关键点的第一位置信息进行缩放处理，得到各所述第四位置信息；按照所述拍照图像与预览图像中的相应关键点之间的偏移量，对所述预览图像中各关键点的第一位置信息进行偏移处理，得到各所述第四位置信息；按照所述拍照图像的分辨率，对所述预览图像中各关键点的第一位置信息进行缩放处理，并基于缩放处理后的关键点的第一位置信息与拍照图像上的相应关键点的位置信息之间的偏移量，对所述缩放处理后的各关键点的第一位置信息进行偏移处理，得到所述第四位置信息。在一种可能的实施方式中，所述根据与所述拍照图像的图像参数适配的各关键点的所述第四位置信息，获得所述拍照图像中目标对象的正面图像，包括：确定所述拍照图像中的目标对象的图像区域；利用各关键点的所述第四位置信息以及标准图像，通过仿射变换的方式得到所述拍照图像的目标对象的正面图像，所述标准图像包括标准面部图像、标准肢体图像和标准姿态图像中的至少一种。在一种可能的实施方式中，所述利用各关键点的所述第四位置信息以及标准图像，通过仿射变换的方式得到所述拍照图像的目标对象的正面图像，包括：将所述各关键点的第四位置信息与标准图像中各关键点的标准位置信息进行对比，获得调整所述拍照图像的校正矩阵，所述校正矩阵包括各关键点位置的调整参数；基于所述校正矩阵，对所述拍照图像的目标对象进行校正，得到所述拍照图像的目标对象的正面图像。在一种可能的实施方式中，所述根据拍照图像中与满足预设的条件的第二位置信息对应的位置添加虚拟效果，包括：如果所述第二位置信息满足预设条件，则根据所述校正矩阵确定拍照图像中与第二位置信息对应的第五位置信息；根据各关键点的所述第五位置信息添加虚拟特征。在一种可能的实施方式中，所述确定所述第二位置信息是否满足预设条件，包括：获得所述第二位置信息的置信度；在所述第二位置信息的置信度大于或者等于所述置信度阈值的情况下，确定所述第二位置信息满足预设条件。在一种可能的实施方式中，所述确定所述第二位置信息是否满足预设条件，还包括：在所述第二位置信息的置信度小于所述置信度阈值的情况下，重复执行所述根据与所述拍照图像的图像参数适配的各关键点的所述第四位置信息，获得所述拍照图像中目标对象的正面图像并识别所述正面图像的各关键点的第二位置信息；如果重复执行的次数达到次数阈值后，确定的第二位置信息的置信度仍小于置信度阈值，则确定所述第二位置信息不满足预设条件，以及在重复执行的过程中，确定获得的第二位置信息的置信度大于或者等于置信度阈值，则将该置信度大于或者等于置信度阈值的所述第二位置信息确定为满足预设条件。在一种可能的实施方式中，所述方法还包括：基于接收的选择信息确定待添加的虚拟特征，以根据第二位置信息添加所述虚拟特征，或者按照第三位置信息添加虚拟特征。在一种可能的实施方式中，所述方法还包括：利用神经网络模型获取预览图像中各关键点的第一位置信息，以及拍照图像中的各关键点的第三位置信息。根据本公开的第二方面，提供了一种图像处理装置，其包括：获取模块，其用于在接收到拍照指令的情况下，获取预览图像中各关键点的第一位置信息以及拍照图像；确定模块，其用于利用各关键点的第一位置信息获得所述拍照图像中目标对象的正面图像，并确定所述正面图像的各关键点的第二位置信息；虚拟模块，其用于确定所述第二位置信息是否满足预设条件，如是，则根据拍照图像中与满足预设的条件的第二位置信息对应的位置添加虚拟效果，否则按照从所述拍照图像中识别的各关键点的第三位置信息添加虚拟效果。在一种可能的实施方式中，所述确定模块包括：转换单元，其用于根据所述拍照图像的图像参数，将各关键点的第一位置信息转换成与所述拍照图像的图像参数适配的第四位置信息；以及关键点确定单元，其用于根据与所述拍照图像的图像参数适配的各关键点的所述第四位置信息，获得所述拍照图像中目标对象的正面图像并确定所述正面图像的各关键点的第二位置信息。在一种可能的实施方式中，所述转换单元还用于根据以下方式中的至少一种执行所述根据所述拍照图像的图像参数，将各关键点的第一位置信息转换成与所述拍照图像的图像参数适配的第四位置信息：按照所述拍照图像的分辨率，对所述预览图像中各关键点的第一位置信息进行缩放处理，得到各所述第四位置信息；按照所述拍照图像与预览图像中的相应关键点之间的偏移量，对所述预览图像中各关键点的第一位置信息进行偏移处理，得到各所述第四位置信息；按照所述拍照图像的分辨率，对所述预览图像中各关键点的第一位置信息进行缩放处理，并基于缩放处理后的关键点的第一位置信息与拍照图像上的相应关键点的位置信息之间的偏移量，对所述缩放处理后的各关键点的第一位置信息进行偏移处理，得到所述第四位置信息。在一种可能的实施方式中，所述关键点确定单元还用于确定所述拍照图像中的目标对象的图像区域，并利用各关键点的所述第四位置信息以及标准图像，通过仿射变换的方式得到所述拍照图像的目标对象的正面图像，所述标准图像包括标准面部图像、标准肢体图像和标准姿态图像中的至少一种。在一种可能的实施方式中，所述关键点确定单元还用于将所述各关键点的第四位置信息与标准图像中各关键点的标准位置信息进行对比，获得调整所述拍照图像的校正矩阵，所述校正矩阵包括各关键点位置的调整参数；以及基于所述校正矩阵，对所述拍照图像的目标对象进行校正，得到所述拍照图像的目标对本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：在接收到拍照指令的情况下，获取预览图像中各关键点的第一位置信息以及拍照图像；利用各关键点的第一位置信息获得所述拍照图像中目标对象的正面图像，并确定所述正面图像的各关键点的第二位置信息；确定所述第二位置信息是否满足预设条件，如是，则根据拍照图像中与满足预设的条件的第二位置信息对应的位置添加虚拟效果，否则按照从所述拍照图像中识别的各关键点的第三位置信息添加虚拟效果。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：在接收到拍照指令的情况下，获取预览图像中各关键点的第一位置信息以及拍照图像；利用各关键点的第一位置信息获得所述拍照图像中目标对象的正面图像，并确定所述正面图像的各关键点的第二位置信息；确定所述第二位置信息是否满足预设条件，如是，则根据拍照图像中与满足预设的条件的第二位置信息对应的位置添加虚拟效果，否则按照从所述拍照图像中识别的各关键点的第三位置信息添加虚拟效果。2.根据权利要求1所述的方法，其特征在于，所述利用各关键点的第一位置信息获得所述拍照图像中目标对象的正面图像，并确定所述正面图像的各关键点的第二位置信息，包括：根据所述拍照图像的图像参数，将各关键点的第一位置信息转换成与所述拍照图像的图像参数适配的第四位置信息；根据与所述拍照图像的图像参数适配的各关键点的所述第四位置信息，获得所述拍照图像中目标对象的正面图像并确定所述正面图像的各关键点的第二位置信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述拍照图像的图像参数，将各关键点的第一位置信息转换成与所述拍照图像的图像参数适配的第四位置信息，包括以下方式中的至少一种：按照所述拍照图像的分辨率，对所述预览图像中各关键点的第一位置信息进行缩放处理，得到各所述第四位置信息；按照所述拍照图像与预览图像中的相应关键点之间的偏移量，对所述预览图像中各关键点的第一位置信息进行偏移处理，得到各所述第四位置信息；按照所述拍照图像的分辨率，对所述预览图像中各关键点的第一位置信息进行缩放处理，并基于缩放处理后的关键点的第一位置信息与拍照图像上的相应关键点的位置信息之间的偏移量，对所述缩放处理后的各关键点的第一位置信息进行偏移处理，得到所述第四位置信息。4.根据权利要求2或3所述的方法，其特征在于，所述根据与所述拍照图像的图像参数适配的各关键点的所述第四位置信息，获得所述拍照图像中目标对象的正面图像，包括：确定所述拍照图像中的目标对象的图像区域；利用各关键点的所述第四位置信息以及标准图像，通过仿射变换的方式得到所...

【专利技术属性】
技术研发人员：荆锐，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11