图像处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：将原始图像输入神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置；根据所述每一像素点的模型位置，从预设人体模型上获取与所述每一像素点对应的像素值；使用所述每一像素点对应的像素值渲染所述人体图像，得到图像处理结果。该方法，可以通过对原始图像中的特征提取与学习，得到该原始图像中人体图像中像素点的模型位置，之后将预设人体模型上的像素值赋值给原始图像对应的像素点，这可以实现将预设人体模型的人物效果映射到原始图像中的人体图像上。因此，该方法可以作为对原始图像中人体图像的换装，局部精修等操作的基础。

Image processing method, device, computer equipment and storage medium

The application relates to an image processing method, device, computer equipment and storage medium. The method includes: input the original image into the neural network model to obtain the model position of each pixel of the human body image in the original image; acquire the pixel value corresponding to each pixel from the preset human body model according to the model position of each pixel; and use the image corresponding to each pixel point. Prime values render the human body image and get image processing results. By extracting and learning the features of the original image, the model position of the pixels in the original image can be obtained, and then the pixel value of the preset human model can be assigned to the corresponding pixels in the original image, which can map the effect of the preset human model to the original image. On the human body image. Therefore, this method can be used as the basis for the replacement and local refinement of human body image in the original image.

【技术实现步骤摘要】
图像处理方法、装置、计算机设备和存储介质
本申请涉及计算机视觉
，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机视觉技术的发展，通过神经网络模型的已经可以实现图像中目标物体的识别，该方法被广泛用于人机互动
但是随着网络互动平台的出现，仅仅识别出图像中的目标物体已不能满足人们通过网络互动平台进行多样化的互动需求。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够增加人们通过网络互动平台互动多样性的图像处理方法、装置、计算机设备和存储介质。第一方面，本申请实施例提供一种图像处理方法，包括如下步骤：将原始图像输入神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置；根据所述每一像素点的模型位置，从预设人体模型上获取与所述每一像素点对应的像素值；使用所述每一像素点对应的像素值渲染所述人体图像，得到图像处理结果。在其中一个实施例中，所述将原始图像输入神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置的步骤包括：获取原始图像中的多个候选区域；提取所述多个候选区域中每一候选区域的特征值，并根据所述每一候选区域的特征值得到多个人体候选区域；对得到的所述多个人体候选区域进行池化处理，得到多个人体特征向量；将所述多个人体特征向量输入人体坐标位置回归神经网络，得到所述人体图像的每一像素点的模型位置。在其中一个实施例中，所述获取原始图像中的多个候选区域的步骤包括：对所述原始图像进行卷积操作，得到原始图像的特征值图；对所述特征值图中特征值进行分类，得到所述原始图像中的多个候选区域。在其中一个实施例中，根据所述每一候选区域中的特征值得到多个人体候选区域的步骤包括：将所述每一候选区域中的特征值输入人体分类神经网络，得到包含人体的候选区域；将所述每一候选区域中的特征值输入最小外界矩形框坐标回归神经网络，对所述每一候选区域的边框进行调整，得到最终候选区域；使用所述包含人体的候选区域筛选所述最终候选区域，得到包含人体的最终候选区域；将人体面积比例大于预设阈值的包含人体的最终候选区域作为人体候选区域。在其中一个实施例中，所述方法还包括：将所述多个人体特征向量输入人体语义分割任务神经网络，得到所述人体图像的人体语义分割结果；使用所述人体语义分割结果，对所述每一像素点的模型位置进行调整，得到所述每一像素点最终的模型位置。在其中一个实施例中，所述方法还包括：将得到的所述多个人体特征向量输入骨骼关节点回归任务神经网络，得到所述人体图像中骨骼关节点的模型位置；使用所述骨骼关节点的模型位置，对所述每一像素点的模型位置进行调整，得到所述每一像素点最终的模型位置。在其中一个实施例中，在所述将原始图像输入神经网络模型的步骤之前，还包括：获取训练图像样本，并对所述训练图像样本进行标注，得到多个模型训练样本；使用所述多个模型训练样本训练原始神经网络模型，得到所述神经网络模型。在其中一个实施例中，所述使用所述多个模型训练样本训练原始神经网络模型的步骤包括：构建神经网络模型的神经网络结构；使用所述多个模型训练样本，迭代执行所述神经网络结构中的faster-RCNN神经网络的正向推导和反向传播算法，得到faster-RCNN神经网络；将所述faster-RCNN神经网络的输出结果输入所述神经网络结构中的人体坐标位置回归任务神经网络，迭代执行所述人体坐标位置回归任务神经网络的正向推导和反向传播算法，得到人体坐标位置回归任务神经网络；将所述faster-RCNN神经网络的输出结果输入所述神经网络结构中的人体语义分割任务神经网络，迭代执行所述人体坐标位置回归任务神经网络的正向推导和反向传播算法，得到人体语义分割任务神经网络；将所述faster-RCNN神经网络的输出结果输入所述神经网络结构中的骨骼关节点回归任务神经网络，迭代执行所述骨骼关节点回归任务神经网络的正向推导和反向传播算法，得到骨骼关节点回归任务神经网络。在其中一个实施例中，在使用所述每一像素点对应的像素值渲染所述人体图像，得到图像处理结果的步骤之后包括：对所述渲染后的人体图像进行纹理效果平滑处理，得到最终图像处理结果。第二方面，本申请实施例提供一种图像处理装置，所述装置包括：模型位置获取模块，用于将原始图像输入训练好的神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置；像素值获取模块，用于根据所述每一像素点的模型位置，从预设人体模型上获取与所述每一像素点对应的像素值；渲染模块，用于使用所述每一像素点对应的像素值渲染所述人体图像，得到图像处理结果。第三方面，本申请实施例提供一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请任意实施例提供的图像处理方法。第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意实施例提供的图像处理方法。本申请涉及一种图像处理方法、装置、计算机设备和存储介质,该图像处理方法包括：将原始图像输入神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置；根据所述每一像素点的模型位置，从预设人体模型上获取与所述每一像素点对应的像素值；使用所述每一像素点对应的像素值渲染所述人体图像，得到图像处理结果。该方法，可以通过对原始图像中的特征提取与学习，得到该原始图像中人体图像中像素点的模型位置，之后将预设人体模型上的像素值赋值给原始图像对应的像素点，这可以实现将预设人体模型的人物效果映射到原始图像中的人体图像上。因此，该方法可以作为对原始图像中人体图像的换装，局部精修等操作的基础。附图说明图1为本申请一个实施例中图像处理方法的应用环境图；图2为本申请一个实施例中图像处理方法的流程示意图；图3为本申请一个实施例中得到原始图像中人体图像的每一像素点的模型位置的步骤流程示意图；图4为本申请一个实施例中获取原始图像中的多个候选区域的步骤流程示意图；图5为本申请一个实施例中根据所述每一候选区域中的特征值得到多个人体候选区域的步骤流程示意图；图6为本申请一个实施例中图像处理方法补充步骤流程示意图；图7为本申请另一个实施例中图像处理方法补充步骤流程示意图；图8为本申请另一个实施例中图像处理方法的补充步骤流程示意图；图9为本申请另一个实施例中得到神经网络模型的步骤流程示意图；图10为本申请另一个实施例中应用图像处理方法处理图像的步骤流程图；图11为本申请一个实施例中图像处理装置的结构框图；图12为本申请一个实施例中计算机设备的结构示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，图像采集装置110与计算机设备120连接。其中，图像采集装置110与计算机设备120可以设置为一体式终端，该一体式终端可以包含但不限于是各种智能手机、平板电脑和便携式可穿戴设备、个人计算机、笔记本电脑。该图像采集装置110与计算机设备120还可以是分别独立的设置的图像采集设备(例如车载摄像头)与服务器。该图本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括如下步骤：将原始图像输入神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置；根据所述每一像素点的模型位置，从预设人体模型上获取与所述每一像素点对应的像素值；使用所述每一像素点对应的像素值渲染所述人体图像，得到图像处理结果。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括如下步骤：将原始图像输入神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置；根据所述每一像素点的模型位置，从预设人体模型上获取与所述每一像素点对应的像素值；使用所述每一像素点对应的像素值渲染所述人体图像，得到图像处理结果。2.根据权利要求1所述的方法，其特征在于，所述将原始图像输入神经网络模型，得到所述原始图像中人体图像的每一像素点的模型位置的步骤包括：获取原始图像中的多个候选区域；提取所述多个候选区域中每一候选区域的特征值，并根据所述每一候选区域的特征值得到多个人体候选区域；对所述多个人体候选区域进行池化处理，得到多个人体特征向量；将所述多个人体特征向量输入人体坐标位置回归神经网络，得到所述每一像素点的模型位置。3.根据权利要求2所述的方法，其特征在于，所述获取原始图像中的多个候选区域的步骤包括：对所述原始图像进行卷积操作，得到原始图像的特征值图；对所述特征值图中特征值进行分类，得到所述原始图像中的多个候选区域。4.根据权利要求2所述的方法，其特征在于，根据所述每一候选区域的特征值得到多个人体候选区域的步骤包括：将所述每一候选区域中的特征值输入人体分类神经网络，得到包含人体的候选区域；将所述每一候选区域中的特征值输入最小外界矩形框坐标回归神经网络，对所述每一候选区域的边框进行调整，得到最终候选区域；使用所述包含人体的候选区域筛选所述最终候选区域，得到包含人体的最终候选区域；将人体面积比例大于预设阈值的包含人体的最终候选区域作为人体候选区域。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：将得到的所述多个人体特征向量输入人体语义分割任务神经网络，得到所述人体图像的人体语义分割结果；使用所述人体语义分割结果，对所述每一像素点的模型位置进行调整，得到所述每一像素点最终的模型位置。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：将得到的所述多个人体特征向量输入骨骼关节点回归任务神经网络，得到所述人体图像中骨骼关节点的模型位置；使用所述骨骼关节点的模型位置，对所述每一像素点的模型位置进行调整，得到所述每一像素点最终的模型位置。7.根据权利要求1-6任一项所述的方法，其特征在于，在所述将原始图像输入神经网...

【专利技术属性】
技术研发人员：蒋宇东，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11