图像处理、神经网络训练方法及装置、存储介质制造方法及图纸

本公开提供了一种图像处理、神经网络训练方法及装置、存储介质，其中，所述图像处理方法包括：根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，所述目标对象的可活动部件包含所述第一可活动位置。本公开可以从静态图像中定位出目标对象的可活动部件。

Image Processing, Neural Network Training Method, Device and Storage Media

【技术实现步骤摘要】
图像处理、神经网络训练方法及装置、存储介质
本公开涉及计算机视觉领域，尤其涉及一种图像处理、神经网络训练方法及装置、存储介质。
技术介绍
目前在图像理解领域，一般倾向于让机器理解物体的语义，例如图像分类、分割、检测等任务都是基于给定图像中物体的语义来进行的，不太关注对物体的物理结构的理解。相关技术中，理解物体的物理结构的工作主要包括人体姿态识别和人脸关键点识别。这些任务通常使用预定义好的人体和人脸关键点，因而只能应用于人体、人脸这种结构特征统一的对象上，无法应用于通用物体。
技术实现思路
有鉴于此，本公开提供了一种图像处理方案和神经网络训练方案。根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，所述目标对象的可活动部件包含所述第一可活动位置。在一些可选实施例中，所述基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，包括：基于所述至少一个第一稠密光流，确定所述目标对象中的多个位置中每个位置的光流方差；基于所述多个位置中每个位置的光流方差，确定所述目标对象的所述第一可活动位置。在一些可选实施例中，所述基于所述多个位置中每个位置的光流方差，确定所述目标对象的第一可活动位置，包括：对所述多个位置中每个位置的所述光流方差进行归一化处理，获得所述每个位置的归一化光流方差；将所述多个位置中归一化光流方差的最大值在所述第一静态图像中所对应的位置作为所述目标对象的所述第一可活动位置。在一些可选实施例中，所述第一稀疏光流包含所述已知可活动位置的坐标信息和所述已知可活动位置的目标速度。在一些可选实施例中，如果所述已知可活动位置集合中包含的所述已知可活动位置的个数为0，则所述第一稀疏光流为空。在一些可选实施例中，所述方法还包括：将所述第一可活动位置添加到所述已知可活动位置集合中，进行下一循环预测，得到所述目标对象的第二可活动位置。在一些可选实施例中，所述将所述第一可活动位置添加到所述已知可活动位置集合中，包括：响应于所述第一可活动位置对应的所述光流方差低于预设阈值，将所述第一可活动位置添加到所述已知可活动位置集合中。在一些可选实施例中，所述根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流之前，所述方法还包括：对所述第一静态图像和/或所述第一稀疏光流进行降维处理。在一些可选实施例中，所述根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流之前，所述方法还包括：基于预设分布进行随机采样，获得所述至少一个第一随机向量。在一些可选实施例中，所述基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置之后，所述方法还包括：获取所述目标对象的可活动部件中每个可活动位置的预测速度；基于所述可活动部件中每个可活动位置的预测速度和包括所述目标对象的第二静态图像，得到目标图像。在一些可选实施例中，所述基于所述可活动部件中每个可活动位置的预测速度和包括所述目标对象的第二静态图像，得到目标图像，包括：根据所述第二静态图像、所述可活动部件中每个可活动位置的预测速度对应的第二稀疏光流和第二随机向量，得到第二稠密光流；基于所述第二稠密光流和所述第二静态图像，得到所述目标图像。在一些可选实施例中，所述获取所述目标对象的可活动部件中每个可活动位置的预测速度，包括：建立用于对所述可活动部件进行运动预测的速度分布模型；基于所述速度分布模型，对所述可活动部件的每个可活动位置进行抽样，获得所述每个可活动位置的预测速度。根据本公开实施例的第二方面，提供一种神经网络训练方法，所述方法包括：获取第一稠密光流样本；根据样本图像、所述第一稠密光流样本和从所述第一稠密光流样本中抽样得到的第一稀疏光流样本，确定预设分布参数；将所述样本图像、所述第一稀疏光流样本和基于所述预设分布参数抽样得到的随机向量输入所述神经网络，获得所述神经网络输出的第二稠密光流样本；基于所述第一稠密光流样本和所述第二稠密光流样本，调整所述神经网络的网络参数值。在一些可选实施例中，所述预设分布参数包括高斯分布的均值和方差中的至少一项。根据本公开实施例的第三方面，提供一种图像处理装置，所述装置包括：第一确定模块，用于根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；第二确定模块，用于基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，所述目标对象的可活动部件包含所述第一可活动位置。在一些可选实施例中，所述第二确定模块包括：第一确定子模块，用于基于所述至少一个第一稠密光流，确定所述目标对象中的多个位置中每个位置的光流方差；第二确定子模块，用于基于所述多个位置中每个位置的光流方差，确定所述目标对象的所述第一可活动位置。在一些可选实施例中，所述第二确定子模块包括：处理单元，用于对所述多个位置中每个位置的所述光流方差进行归一化处理，获得所述每个位置的归一化光流方差；确定单元，用于将所述多个位置中归一化光流方差的最大值在所述第一静态图像中所对应的位置作为所述目标对象的所述第一可活动位置。在一些可选实施例中，所述第一稀疏光流包含所述已知可活动位置的坐标信息和所述已知可活动位置的目标速度。在一些可选实施例中，如果所述已知可活动位置集合中包含的所述已知可活动位置的个数为0，则所述第一稀疏光流为空。在一些可选实施例中，所述装置还包括：第三确定模块，用于将所述第一可活动位置添加到所述已知可活动位置集合中，进行下一循环预测，得到所述目标对象的第二可活动位置。在一些可选实施例中，所述第三确定模块包括：执行子模块，用于响应于所述第一可活动位置对应的所述光流方差低于预设阈值，将所述第一可活动位置添加到所述已知可活动位置集合中。在一些可选实施例中，所述装置还包括：处理模块，用于对所述第一静态图像和/或所述第一稀疏光流进行降维处理。在一些可选实施例中，所述装置还包括：第一获取模块，用于基于预设分布进行随机采样，获得所述至少一个第一随机向量。在一些可选实施例中，所述装置还包括：第二获取模块，用于获取所述目标对象的可活动部件中每个可活动位置的预测速度；第四确定模块，用于基于所述可活动部件中每个可活动位置的预测速度和包括所述目标对象的第二静态图像，得到目标图像。在一些可选实施例中，所述第四确定模块包括：第一生成子模块，用于根据所述第二静态图像、所述可活动部件中每个可活动位置的预测速度对应的第二稀疏光流和第二随机向量，得到第二稠密光流；第二生成子模块，用于基于所述第二稠密光流和所述第二静态图像，得到所述目标图像。在一些可选实施例中，所述第二获取模块包括：模型建立子模块，用于建立用于对所述可活动部件进行运动预测的速度分布模型；获取子模块，用于基于所述速度分布模型，对所述本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，所述目标对象的可活动部件包含所述第一可活动位置。

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，所述目标对象的可活动部件包含所述第一可活动位置。2.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，包括：基于所述至少一个第一稠密光流，确定所述目标对象中的多个位置中每个位置的光流方差；基于所述多个位置中每个位置的光流方差，确定所述目标对象的所述第一可活动位置。3.一种神经网络训练方法，其特征在于，所述方法包括：获取第一稠密光流样本；根据样本图像、所述第一稠密光流样本和从所述第一稠密光流样本中抽样得到的第一稀疏光流样本，确定预设分布参数；将所述样本图像、所述第一稀疏光流样本和基于所述预设分布参数抽样得到的随机向量输入所述神经网络，获得所述神经网络输出的第二稠密光流样本；基于所述第一稠密光流样本和所述第二稠密光流样本，调整所述神经网络的网络参数值。4.一种图像处理装置，其特征在于，所述装置包括：第一确定模块，用于根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量，确定至少一个第一稠密光流；其中，所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值；第二确定模块，用于基于所述至少一个第一稠密光流，确定所述目标对象的第一可活动位置，其中，...

【专利技术属性】
技术研发人员：詹晓航，潘新钢，刘子纬，林达华，吕健勤，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11