图像处理方法以及装置制造方法及图纸

本说明书实施例提供图像处理方法以及装置，其中所述图像处理方法包括：获取目标物品的物品图像；确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；将所述中间图像与所述物品图像进行图像融合，获得样本图像。

【技术实现步骤摘要】
图像处理方法以及装置本专利技术是20200515日申请的，申请号是202010411827.7，专利技术创造名称为“图像处理方法以及装置”的分案申请。
本说明书实施例涉及图像处理
，特别涉及一种图像处理方法以及装置。
技术介绍
随着深度学习技术的发展，图像识别技术的准确度获得了显著提升，并在各个领域中的被广泛应用，然而由于深度学习对训练数据的严重依赖，图像识别的准确度很大程度取决于对样本图像的采集以及标注，目前采集样本图像并对采集到的样本图像进行标注的过程中，需要人工的参与，导致在获得大量的训练数据的过程中需要耗费大量的时间成本以及人力成本，因此需要提供更有效的方案。
技术实现思路
有鉴于此，本说明书实施例提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种图像处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。本说明书实施例的第一方面，提供了一种图像处理方法，包括：获取目标物品的物品图像；确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；将所述中间图像与所述物品图像进行图像融合，获得样本图像。可选的，所述物品图像，通过如下方式获得：向抓取设备下发针对所述目标物品的移动指令；所述移动指令中携带初始位置的初始坐标以及目标位置的目标坐标；接收所述抓取设备上传的针对所述移动指令的执行反馈通知；向图像采集设备下发针对所述目标位置的图像采集指令；接收所述图像采集设备上传的所述物品图像。可选的，所述抓取设备根据所述初始坐标，从初始位置抓取所述目标物品，将所述目标物品移动至所述目标坐标对应的所述目标位置，并在移动完成后上传针对所述移动指令的执行反馈通知；所述图像采集设备根据所述图像采集指令中携带的所述目标坐标，对所述目标位置的所述目标物品进行图像采集，获得所述物品图像并上传。可选的，所述确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标，包括：根据所述目标坐标以及预设变换矩阵，计算所述目标物品在所述物品图像对应的相机坐标系中的位置坐标。可选的，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品，包括：获取所述执行反馈通知包含的所述目标物品的形状信息；在所述位置坐标添加与所述形状信息大小匹配的标记虚拟物品；根据获取的所述图像采集设备的所述采集视角，确定所述相机坐标系的目标视角；在根据所述标记虚拟物品以及所述目标视角确定的目标区域，添加至少一个虚拟物品。可选的，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之前，还包括：根据所述标记虚拟物品以及所述虚拟物品与所述相机坐标系中原点之间距离，确定所述标记虚拟物品与所述虚拟物品之间的遮挡关系；相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：根据所述遮挡关系，在所述中间图像的中间图像单元以及所述物品图像的图像单元中筛选出样本图像单元，组成所述样本图像。可选的，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之前，还包括：从所述目标视角对所述标记虚拟物品以及所述虚拟物品进行图像渲染，获得渲染图像；根据所述渲染图像，确定所述标记虚拟物品的标记图像特征与所述图像特征的遮挡关系；相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：针对所述物品图像中目标图像单元所在的目标图像区域，根据所述遮挡关系，判断所述目标图像区域在所述渲染图像对应的渲染图像区域是否属于遮挡区域；若是，将所述目标图像区域在中间图像对应的中间图像区域内的中间图像单元，确定为所述目标图像区域在样本图像中对应的样本图像区域的样本图像单元；若否，将所述图像单元确定为所述样本图像单元。可选的，所述生成包含所述虚拟物品在目标视角的图像特征的中间图像，包括：在所述相机坐标系移除所述标记虚拟物品；从所述目标视角对所述虚拟物品进行图像渲染，获得包含所述图像特征的所述中间图像。可选的，所述图像处理方法，还包括：对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息；对所述中间图像进行图像处理，获得所述中间图像中所述图像特征的掩模信息；根据所述目标掩模信息以及所述掩模信息进行布尔运算，获得所述样本图像中所述目标物品的样本图像特征的掩模标注信息；根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像；所述样本图像以及所述标注图像组成训练样本对。可选的，所述对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息，包括：通过图像差分算法，对预先采集的所述目标位置的背景图像以及所述物品图像进行图像差分，获得所述目标图像特征；将所述目标图像特征进行掩模处理，获得所述目标掩模信息。可选的，所述图像处理方法，还包括：将训练样本对作为训练样本，对所述初始物品识别模型进行训练，训练完成后获得物品识别模型。可选的，所述图像处理方法，还包括：将目标图像输入所述物品识别模型；所述物品识别模型对所述目标图像进行物品识别，获得所述物品识别模型输出的针对所述目标图像的物品识别结果。本说明书实施例的第二方面，提供了一种图像处理装置，包括：获取模块，被配置为获取目标物品的物品图像；确定模块，被配置为确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；添加模块，被配置为根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；生成模块，被配置为生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；融合模块，被配置为将所述中间图像与所述物品图像进行图像融合，获得样本图像。本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：获取目标物品的物品图像；确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；将所述中间图像与所述物品图像进行图像融合，获得样本图像。本说明书实施例的第四方面，提供了一种计算机可读存储本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n获取目标物品的物品图像以及中间图像，其中，所述中间图像包含虚拟物品在目标视角的图像特征，所述目标视角根据所述物品图像的采集视角确定；/n将所述中间图像与所述物品图像进行图像融合，获得样本图像；/n根据目标图像特征的目标掩模信息以及所述图像特征的掩模信息，获得所述样本图像特征的掩模标注信息，其中，所述目标图像特征为所述物品图像中所述目标物品的目标图像特征，所述样本图像特征为样本图像中所述目标物品的样本图像特征；/n根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像。/n

【技术特征摘要】
1.一种图像处理方法，包括：
获取目标物品的物品图像以及中间图像，其中，所述中间图像包含虚拟物品在目标视角的图像特征，所述目标视角根据所述物品图像的采集视角确定；
将所述中间图像与所述物品图像进行图像融合，获得样本图像；
根据目标图像特征的目标掩模信息以及所述图像特征的掩模信息，获得所述样本图像特征的掩模标注信息，其中，所述目标图像特征为所述物品图像中所述目标物品的目标图像特征，所述样本图像特征为样本图像中所述目标物品的样本图像特征；
根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像。


2.根据权利要求1所述的图像处理方法，所述中间图像，通过如下方式生成：
确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；
根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；
生成包含所述虚拟物品在目标视角的图像特征的中间图像。


3.根据权利要求2所述的图像处理方法，所述物品图像，通过如下方式获得：
向抓取设备下发针对所述目标物品的移动指令；所述移动指令中携带初始位置的初始坐标以及目标位置的目标坐标；
接收所述抓取设备上传的针对所述移动指令的执行反馈通知；
向图像采集设备下发针对所述目标位置的图像采集指令；
接收所述图像采集设备上传的所述物品图像。


4.根据权利要求3所述的图像处理方法，所述抓取设备根据所述初始坐标，从初始位置抓取所述目标物品，将所述目标物品移动至所述目标坐标对应的所述目标位置，并在移动完成后上传针对所述移动指令的执行反馈通知；
所述图像采集设备根据所述图像采集指令中携带的所述目标坐标，对所述目标位置的所述目标物品进行图像采集，获得所述物品图像并上传。


5.根据权利要求3所述的图像处理方法，所述确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标，包括：
根据所述目标坐标以及预设变换矩阵，计算所述目标物品在所述物品图像对应的相机坐标系中的位置坐标。


6.根据权利要求3所述的图像处理方法，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品，包括：
获取所述执行反馈通知包含的所述目标物品的形状信息；
在所述位置坐标添加与所述形状信息大小匹配的标记虚拟物品；
根据获取的所述图像采集设备的所述采集视角，确定所述相机坐标系的目标视角；
在根据所述标记虚拟物品以及所述目标视角确定的目标区域，添加至少一个虚拟物品。


7.根据权利要求6所述的图像处理方法，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之前，还包括：
根据所述标记虚拟物品以及所述虚拟物品与所述相机坐标系中原点之间距离，确定所述标记虚拟物品与所述虚拟物品之间的遮挡关系；
相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：
根据所述遮挡关系，在所述中间图像的中间图像单元以及所述物品图像的图像单元中筛选出样本图像单元，组成所述样本图像。


8.根据权利要求6所述的图像处理方法，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之前，还包括：
从所述目标视角对所述标记虚拟物品以及所述虚拟物品进行图像渲染，获得渲染图像；
根据所述渲染图像，确定所述标记虚拟物品的标记图像特征与所述图像特征的遮挡关系；
相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：
针对所述物品图像中目标图像单元所在的...

【专利技术属性】
技术研发人员：郭林杰，马岳文，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33