虚拟图像的生成方法、装置、设备、介质及产品制造方法及图纸

本公开提供一种虚拟图像的生成方法、装置、设备、介质及产品。其中方法获取待合成图像，所述待合成图像中的物体至少包括真实物体；获取实例组，所述实例组包括至少一个第一实例，所述第一实例包括单个物体的图像；基于所述待合成图像和所述实例组，合成获得虚拟图像，所述虚拟图像中的物体包括所述待合成图像中的物体和所述实例组对应的物体。本方案通过从数据库中选取实例组，并与待合成图像合成虚拟图像，可以为机械手臂训练抓取提供训练数据。据。据。

【技术实现步骤摘要】
虚拟图像的生成方法、装置、设备、介质及产品


[0001]本公开涉及人工智能领域，尤其涉及一种虚拟图像的生成方法、装置、设备、介质及产品。

技术介绍

[0002]随着人工智能技术的发展，其应用领域越来越广。例如伴随网络购物的普及，以物流领域为例，基于人工智能技术可以实现不依赖人工的智能分拣物品，以改善人工分拣的效率和人力成本等问题。
[0003]实际应用中，人工智能模型需要基于训练样本进行训练，因此训练样本影响模型的质量。以智能分拣模型为例，如果缺乏充足的训练样本，会导致训练得到的模型灵活程度低，比如只能根据教程完成单一的抓取和安装，无法根据采集的图像中不同的位置的物体做出相应的判断等。因此如何有效扩充训练样本，成为亟待解决的问题。

技术实现思路

[0004]本公开提供一种虚拟图像的生成方法、装置、设备、介质及产品，用来为人工智能模型扩充训练样本。
[0005]一方面，本公开提供一种虚拟图像的生成方法，包括：
[0006]获取待合成图像，所述待合成图像中的物体至少包括真实物体；
[0007]获取实例组，所述实例组包括至少一个第一实例，所述第一实例包括单个物体的图像；
[0008]基于所述待合成图像和所述实例组，合成获得虚拟图像，所述虚拟图像中的物体包括所述待合成图像中的物体和所述实例组对应的物体。
[0009]在一种实施例中，所述基于所述待合成图像和所述实例组，合成获得虚拟图像，包括：
[0010]确定所述实例组对应的物体在所述待合成图像中的放置位置；
[0011]检测所述实例组对应的物体在所述放置位置下，与周边的其它物体是否发生碰撞；
[0012]若未发生碰撞，则通过将所述实例组对应的物体放置在所述待合成图像中的所述放置位置，合成获得所述虚拟图像。
[0013]在一种实施例中，所述获取实例组包括从数据库中获取实例组，所述数据库包括多个实例。
[0014]在一种实施例中，所述检测所述实例组对应的物体在所述放置位置下，与周边的其它物体是否发生碰撞之后，还包括：
[0015]若发生碰撞，则重新执行所述确定所述实例组对应的物体在所述待合成图像中的放置位置的步骤，直至碰撞检测的次数达到预设的第一阈值时，重新执行获取实例组的步骤，其中重新获取的实例组不同于之前获取的实例组。
[0016]在一种实施例中，所述确定所述实例组对应的物体在所述待合成图像中的放置位置，包括：
[0017]根据所述待合成图像的图像内容中放置的物体的平均高度，获得所述实例组对应的物体的放置高度，所述放置高度基于所述平均高度和预定的波动范围确定；
[0018]在所述放置高度对应的平面上随机选取位置，作为所述实例组对应的物体在所述待合成图像中的放置位置。
[0019]在一种实施例中，所述获取待合成图像，包括：
[0020]获取采集得到的真实图像，作为所述待合成图像；或者，
[0021]将历史合成获得的虚拟图像，作为所述待合成图像。
[0022]在一种实施例中，所述虚拟图像的图像内容中的物体数量不超过预定的第二阈值。
[0023]在一种实施例中，所述基于所述待合成图像和所述实例组，合成获得虚拟图像之前，还包括：
[0024]判断所述待合成图像中的物体数量与所述实例组的数量之和是否超过所述第二阈值；
[0025]若所述数量之和超过所述第二阈值，则调整所述实例组的数量，使得调整后的数量之和不超过所述第二阈值。
[0026]在一种实施例中，所述基于所述待合成图像和所述实例组，合成获得虚拟图像之后，还包括：
[0027]统计所述虚拟图像的图像内容中放置的物体数量；
[0028]若所述物体数量未超过预定的第二阈值，则将所述虚拟图像作为当前的待合成图像，再次执行所述获取实例组的步骤，直至当前获得的虚拟图像的图像内容中放置的物体数量达到所述第二阈值，或者当前数据库中的实例被遍历结束。
[0029]在一种实施例中，所述第一实例还包括单个物体对应的标注，所述标注包括点云数据和夹爪标注。
[0030]另一方面，本公开提供一种训练样本库的建立方法，所述训练样本库至少包括如前任一项所述的方法获得的虚拟图像。
[0031]又一方面，本公开提供一种模型训练方法，采用如前任一项所述的生成方法获得的虚拟图像作为训练样本，所述训练方法包括：
[0032]针对模型的首次训练，选取采集得到的真实图像以及所述真实图像对应的标注，作为训练样本对模型进行训练；其中，所述真实图像的图像内容中放置的物体均为真实物体；
[0033]针对所述模型的非首次训练，从采集得到的真实图像和合成获得的虚拟图像中，随机选取图像以及所述图像对应的标注作为训练样本，对所述模型进行训练。
[0034]在一种实施例中，所述模型用于根据输入的待处理图像，生成所述待处理图像中的物体对应的夹爪。
[0035]又一方面，本公开提供一种虚拟图像的生成装置，包括：
[0036]获取模块，用于获取待合成图像，所述待合成图像中的物体至少包括真实物体；
[0037]选取模块，用于获取实例组，所述实例组包括至少一个第一实例，所述第一实例包
括单个物体的图像；
[0038]合成模块，用于基于所述待合成图像和所述实例组，合成获得虚拟图像，所述虚拟图像中的物体包括所述待合成图像中的物体和所述实例组对应的物体。
[0039]又一方面，本公开提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0040]所述存储器存储计算机执行指令；
[0041]所述处理器执行所述存储器存储的计算机执行指令，以实现如前任一项所述的虚拟图像的生成方法，或者实现如前所述的训练样本库的建立方法，或者实现如前所述的模型训练方法。
[0042]又一方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前任一项所述的虚拟图像的生成方法，或者实现如前所述的训练样本库的建立方法，或者实现如前所述的模型训练方法。
[0043]又一方面，本公开提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前任一项所述的虚拟图像的生成方法，或者实现如前所述的训练样本库的建立方法，或者实现如前所述的模型训练方法。
[0044]本公开提供的虚拟图像的生成方法、装置、设备、介质及产品中，获取至少包括真实物体的待合成图像以及包括至少一个第一实例的实例组，将至少一个第一实例与待合成图像合成获得虚拟图像。该方案获得的虚拟图像，可用作训练样本，相比于通过采集手段获得真实图像作为训练样本，通过合成虚拟图像获得的训练样本，数量更加充足，且样本场景更为丰富，能够高效便捷地实现训练样本的有效扩充。
附图说明
[0045]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟图像的生成方法，其特征在于，包括：获取待合成图像，所述待合成图像中的物体至少包括真实物体；获取实例组，所述实例组包括至少一个第一实例，所述第一实例包括单个物体的图像；基于所述待合成图像和所述实例组，合成获得虚拟图像，所述虚拟图像中的物体包括所述待合成图像中的物体和所述实例组对应的物体。2.根据权利要求1所述的方法，其特征在于，所述基于所述待合成图像和所述实例组，合成获得虚拟图像，包括：确定所述实例组对应的物体在所述待合成图像中的放置位置；检测所述实例组对应的物体在所述放置位置下，与周边的其它物体是否发生碰撞；若未发生碰撞，则通过将所述实例组对应的物体放置在所述待合成图像中的所述放置位置，合成获得所述虚拟图像。3.根据权利要求1所述的方法，其特征在于，所述获取实例组包括从数据库中获取实例组，所述数据库包括多个实例。4.根据权利要求2所述的方法，其特征在于，所述检测所述实例组对应的物体在所述放置位置下，与周边的其它物体是否发生碰撞之后，还包括：若发生碰撞，则重新执行所述确定所述实例组对应的物体在所述待合成图像中的放置位置的步骤，直至碰撞检测的次数达到预设的第一阈值时，重新执行获取实例组的步骤，其中重新获取的实例组不同于之前获取的实例组。5.根据权利要求2所述的方法，其特征在于，所述确定所述实例组对应的物体在所述待合成图像中的放置位置，包括：根据所述待合成图像的图像内容中放置的物体的平均高度，获得所述实例组对应的物体的放置高度，所述放置高度基于所述平均高度和预定的波动范围确定；在所述放置高度对应的平面上随机选取位置，作为所述实例组对应的物体在所述待合成图像中的放置位置。6.根据权利要求1所述的方法，其特征在于，所述获取待合成图像，包括：获取采集得到的真实图像，作为所述待合成图像；或者，将历史合成获得的虚拟图像，作为所述待合成图像。7.根据权利要求1所述的方法，其特征在于，所述虚拟图像的图像内容中的物体数量不超过预定的第二阈值。8.根据权利要求7所述的方法，其特征在于，所述基于所述待合成图像和所述实例组，合成获得虚拟图像之前，还包括：判断所述待合成图像中的物体数量与所述实例组的数量之和是否超过所述第二阈值；若所述数量之和超过所述第二阈值，则调整所述实例组的数量，使得调整后的数量之和不超过所述第二阈值。9.根据权利要求7所述的方法，其特征在于，所述基于所述待合成图像和所述实例组，合成获得虚拟图像之后，还包括：统计所述虚拟图像的图像内容中放置的物体数量；若所述物体数量未超过预定的第二阈值，则将所述虚拟图像作为当前的待合成图像，再次执行所述获取实例组的步骤，直至当前获得的虚拟...

【专利技术属性】
技术研发人员：崔致豪，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：