神经网络训练方法、物品检测方法、装置、设备及介质制造方法及图纸

本公开提供了一种神经网络训练方法、物品检测方法、装置、设备及介质，通过获取样本物品图像，生成模拟样本物品摆放的样本物品摆放图像，并使用样本物品摆放图像，结合真实物品摆放图像对神经网络进行训练，可以大大减少采集和标注训练样本所需的工作量，降低人力、物力等资源和成本的消耗，节省样本构建时间，提高采集训练样本的效率，并且可以有效降低采集真实训练样本时所遇到的环境、时间、光照等因素带来的影响，增加样本的丰富性，有效地提升神经网络训练的鲁棒性和泛化能力。经网络训练的鲁棒性和泛化能力。经网络训练的鲁棒性和泛化能力。

【技术实现步骤摘要】
神经网络训练方法、物品检测方法、装置、设备及介质


[0001]本公开涉及深度学习
，具体而言，涉及一种神经网络训练方法、物品检测方法、装置、设备及介质。

技术介绍

[0002]随着科学技术的进步和社会的日益发展，人类的生活方式也发生了很大的改变，在购物方式上，网络购物、自助购物等已经成为人们主流的购物方式之一，随之在支付方式也出现了网络支付、扫码支付、刷脸支付等快捷便捷的付款方式。而无人自动售货机、无人自动售货柜等自助售货装置，因为其便捷的支付方式、高效的购物效率、自由的应用环境等优点被广泛应用于自助购物方式中。
[0003]通过自助售货装置进行自助购物时，大多是通过采集购物过程中的图像或者视频等，来识别用户所购买的物品，进而进行结算等处理。对于物品的识别，可以通过基于人工智能的识别模型的方式进行识别，而识别模型需要通过大量的训练图像等数据训练完毕后才可以使用，对于训练模型的训练图像，大多是先采集真实场景下的图像，然后通过人工标注等方式对图像进行标注，才能用来对模型进行训练，不仅需要消耗大量的人力和物力，训练图像的采集和标注需要消耗大量的时间，速度慢，周期长，而且对于现实场景中的物品真实摆放图像的数量和种类有限。

技术实现思路

[0004]本公开实施例至少提供一种神经网络训练方法、物品检测方法、装置、设备及介质。
[0005]本公开实施例提供了一种神经网络训练方法，所述方法包括：
[0006]获取样本图像集和采集物品图像集，所述样本图像集包括针对同一样本物品采集得到的至少一个样本物品图像，所述采集物品图像包括采集的真实物品摆放图像；
[0007]基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息；
[0008]将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果；
[0009]基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中物品进行检测的物品检测模型。
[0010]这样，通过获取多量的样本物品图像和少量的真实物品摆放图像，进而通过样本物品图像生成模拟物品摆放的样本物品摆放图像，实现训练数据的构建，并且可以同步得
到样本物品摆放图像的标注信息，可以大大降低真实样本图像采集的工作量，并且可以进一步省去对采集图像进行标注的工作量和时间，减少训练样本的获取时间，降低人力、物力等资源和成本的消耗，节省样本构建时间，提高采集训练样本的效率，并且可以有效降低采集真实训练样本时所遇到的环境、时间、光照等因素带来的影响，增加训练样本的丰富性，在训练神经网络时，使用样本物品摆放图像，并结合真实物品摆放图像对神经网络进行训练，神经网络可以同时学习来自虚拟世界和真实世界的图像特征，通过训练实现虚拟域和真实域的融合，可以保证神经网络的训练有效性，有效地提升神经网络训练的鲁棒性和泛化能力，有效提升神经网络的训练效率。
[0011]一种可选的实施方式中，所述基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，包括：
[0012]基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型；
[0013]对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，其中，所述样本物品摆放图像包括生成的至少部分三维物品虚拟模型。
[0014]这样，通过获取的样本物品图像，构建样本物品的三维虚拟模型，使用样本物品的三维虚拟模型模拟样本物品的摆放，得到样本物品摆放图像，而且在得到样本物品摆放图像的同时可以得到对应的标注信息，不仅可以快速构建大量用于训练神经网络的虚拟训练样本，虚拟训练样本的仿真程度高，效果好，样本丰富，而且可以省去对样本标注的时间，可以节省大量的人力和物力，大大缩短样本图像收集的时间，提高神经网络训练的效率。
[0015]一种可选的实施方式中，所述基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型，包括：
[0016]基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的初始虚拟模型；
[0017]按照所述样本物品的物品信息，对所述初始虚拟模型进行纹理渲染和材质渲染，得到所述样本物品的三维物品虚拟模型。
[0018]一种可选的实施方式中，所述对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，包括：
[0019]对生成的三维物品虚拟模型进行仿真密集摆放，得到在目标空间中摆放至少部分三维物品虚拟模型的至少两个物品摆放场景，以及每个物品摆放场景中各个三维物品虚拟模型的摆放信息；
[0020]针对每个物品摆放场景，按照预设的、针对所述物品摆放场景的场景信息，对所述物品摆放场景中的每个三维物品虚拟模型进行渲染，得到渲染后的物品摆放场景；
[0021]获取针对所述渲染后的物品摆放场景进行图像采集得到的样本物品摆放图像；
[0022]基于对应的各个三维物品虚拟模型的摆放信息，确定所述样本物品摆放图像对应的样本物品标注信息。
[0023]这里，通过使用样本物品的三维虚拟模型，可以构建不同的样本物品摆放场景，进而通过各种渲染条件对样本物品场景渲染后可以采集得到不同的样本物品摆放图像，所得
到的样本物品摆放图像的数量和种类得到极大的丰富，样本物品摆放图像中的物品摆放组合具有多样化和复杂化的效果，极大提高了样本图像对于不同情况的覆盖面，进而在训练神经网络时，有助于提升神经网络的鲁棒性和泛化能力。
[0024]一种可选的实施方式中，所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果，包括：
[0025]将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，通过所述神经网络的特征提取层对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取，得到所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据；
[0026]将所述第一特征数据输入至所述神经网络的物品检测层中，得到对所述样本物品摆放图像进行物品检测的物品检测结果。
[0027]一种可选的实施方式中，将所述第一特征数据和所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，所述方法包括：获取样本图像集和采集物品图像集，所述样本图像集包括针对同一样本物品采集得到的至少一个样本物品图像，所述采集物品图像包括采集的真实物品摆放图像；基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息；将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输出的所述样本物品摆放图像的物品检测结果；基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中物品进行检测的物品检测模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像集，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，包括：基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型；对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，其中，所述样本物品摆放图像包括生成的至少部分三维物品虚拟模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的三维物品虚拟模型，包括：基于所述样本图像集中的至少一个样本物品图像，生成所述样本图像集对应的样本物品的初始虚拟模型；按照所述样本物品的物品信息，对所述初始虚拟模型进行纹理渲染和材质渲染，得到所述样本物品的三维物品虚拟模型。4.根据权利要求2所述的方法，其特征在于，所述对生成的三维物品虚拟模型进行仿真密集摆放，生成模拟物品摆放的样本物品摆放图像，以及所述样本物品摆放图像的样本物品标注信息，包括：对生成的三维物品虚拟模型进行仿真密集摆放，得到在目标空间中摆放至少部分三维物品虚拟模型的至少两个物品摆放场景，以及每个物品摆放场景中各个三维物品虚拟模型的摆放信息；针对每个物品摆放场景，按照预设的、针对所述物品摆放场景的场景信息，对所述物品摆放场景中的每个三维物品虚拟模型进行渲染，得到渲染后的物品摆放场景；获取针对所述渲染后的物品摆放场景进行图像采集得到的样本物品摆放图像；基于对应的各个三维物品虚拟模型的摆放信息，确定所述样本物品摆放图像对应的样本物品标注信息。5.根据权利要求1所述的方法，其特征在于，所述将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，获取所述神经网络分别对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取得到的第一特征数据和第二特征数据，以及所述神经网络输
出的所述样本物品摆放图像的物品检测结果，包括：将所述样本物品摆放图像和所述真实物品摆放图像输入至神经网络，通过所述神经网络的特征提取层对所述样本物品摆放图像和所述真实物品摆放图像进行特征提取，得到所述样本物品摆放图像的第一特征数据和所述真实物品摆放图像的第二特征数据；将所述第一特征数据输入至所述神经网络的物品检测层中，得到对所述样本物品摆放图像进行物品检测的物品检测结果。6.根据权利要求1所述的方法，其特征在于，将所述第一特征数据和所述第二特征数据作为目标特征数据，将所述样本物品摆放图像和所述真实物品摆放图像作为目标图像，所述基于所述物品检测结果和对应的样本物品标注信息，以及所述第一特征数据、所述第二特征数据和针对所述样本物品摆放图像与所述真实物品摆放图像的预设分类结果，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，包括：基于所述目标特征数据和针对所述目标图像的预设分类...

【专利技术属性】
技术研发人员：李思奇，田茂清，刘建博，伊帅，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：