获得训练图像的方法及装置制造方法及图纸

本发明专利技术涉及商品识别技术领域，提供一种获得训练图像的方法及装置。该方法首先从商品图像库中选择第一图像，并获得第一图像中的前景图像，前景图像为第一图像中仅包含商品的部分图像；然后从背景图像库中选择背景图像，背景图像为可用于放置商品的场景的图像；最后将前景图像与背景图像进行组合获得训练图像。可见，在该方法中，训练图像是通过前景图像和背景图像的自由组合生成的，其生成方式简单灵活，便于快速生成大量不同场景下的训练图像。进一步的，获得的高质量训练图像可以用于训练用于商品识别的模型，并取得较好的训练效果。

A Method and Device for Obtaining Training Images

【技术实现步骤摘要】
获得训练图像的方法及装置
本专利技术涉商品识别
，具体而言，涉及一种获得训练图像的方法及装置。
技术介绍
目前，在零售行业中，对于商品进行标识的主要手段是在商品包装的表面设置标识物，例如条形码、二维码、RFID标签等。在顾客进行结账时，通过使用相应的识读设备，例如条形码扫描枪、二维码扫描枪、RFID识读器等对该标识物所包含的信息进行读取以识别出商品，进而进行商品结算。由于识读设备通常需要靠收银员进行操作，因此此种商品识别方式与未来零售行业无人化的发展趋势相违背。近年来，基于卷积神经网络的图像识别技术得到快速发展，为利用图像识别技术进行商品识别奠定了良好的基础。然而，卷积神经网络在建立模型的过程中，需要大量的训练样本进行训练。对于商品识别任务而言，意味着需要采集商品在大量不同场景下的图像作为训练样本，这一样本采集过程费时费力，并且要找到大量不同的场景也比较困难。
技术实现思路
有鉴于此，本专利技术实施例提供一种获得训练图像的方法及装置，通过前景图像与背景图像的组合获得大量的训练样本，以解决上述技术问题。为实现上述目的，本专利技术提供如下技术方案：第一方面，本专利技术实施例提供一种获得训练图像的方法，包括：从商品图像库中选择第一图像，并获得第一图像中的前景图像，前景图像为第一图像中仅包含商品的部分图像；从背景图像库中选择背景图像，背景图像为可用于放置商品的场景的图像；将前景图像与背景图像进行组合，获得训练图像。在该方法中，训练图像可以由前景图像和背景图像自由组合产生，而不局限于实际拍摄的图像，从而大大简化了训练图像的采集过程，并且很容易生成大量的不同场景下的训练图像，这些训练图像可以进一步被用于训练用于商品识别的模型，以取得较好的训练效果。结合第一方面，在第一方面的第一种可能的实施方式中，从商品图像库中选择第一图像，并获得第一图像中的前景图像之前，方法还包括：从商品的原始图像集中获得第一图像；对第一图像进行前后景分割，获得第一分割结果；基于第一分割结果对第一图像进行前后景的位置标记，获得第一标记结果；将第一标记结果以及第一图像存储至商品图像库；从商品图像库中选择第一图像，并获得第一图像中的前景图像，包括：从商品图像库中选择第一图像，并基于第一标记结果获得第一图像中的前景图像。即对于前景图像可以提前进行分割并标记，便于在进行前后景组合时直接根据标记结果提取出前景图像，从而快速生成大量的训练图像。结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，对第一图像进行前后景分割，获得第一分割结果，包括：利用预先训练好的第一卷积神经网络对第一图像进行前后景分割，获得第一分割结果。利用卷积神经网络进行前后景分割是目前非常流行的图像分割方法，并且已经取得了较好的分割效果。结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，从商品的原始图像集中获得第一图像之前，方法还包括：从商品的原始图像集中获得不同于第一图像的第二图像；响应第一用户的前后景分割操作，将第一用户对第二图像进行前后景分割的分割结果确定为第二分割结果；利用第二分割结果训练第一卷积神经网络。即对于商品的原始图像集中的图像，一部分进行人工分割后用于训练第一卷积神经网络，第一卷积神经网络训练好后可以对剩余部分的图像进行前后景分割。结合第一方面的第三种可能的实施方式，在第一方面的第四种可能的实施方式中，从原始图像集中获得不同于第一图像的第二图像之前，方法还包括：获得图像采集设备在多个预设拍摄角度中的每个预设拍摄角度下采集的商品的图像，共获得多个图像；将多个图像确定为原始图像集。商品的原始图像集为后续生成商品图像库的数据来源，通过图像采集设备在多个预设拍摄角度对商品进行拍摄，获得不同预设拍摄角度下的商品的图像，有助于全方位地反映商品的外观信息，提高后续生成的训练图像的质量。结合第一方面的第四种可能的实施方式，在第一方面的第五种可能的实施方式中，获得图像采集设备在多个预设拍摄角度中的每个预设拍摄角度下采集的商品的图像，共获得多个图像之后，将多个图像确定为原始图像集之前，方法还包括：判断多个图像中重复图像的个数是否超过预设阈值；若是，对多个图像进行图像去重，获得去重后的剩余图像；基于商品的预设形状信息对商品进行建模，获得商品的立体模型；将立体模型与预设场景进行图像合成，获得合成图像，合成图像的拍摄角度不同于多个预设拍摄角度中的任意一个拍摄角度；将剩余图像以及合成图像确定为原始图像集。对于某些形状特殊的商品，例如轴对称商品，在多个预设拍摄角度下拍摄的图像可能存在大量的重复图像，造成原始图像集中的有效信息太少，此时可以根据开始图像采集过程之前预先设定好的商品的形状信息对商品进行立体建模并生成合成图像，合成图像的拍摄角度不同于预设拍摄角度，从而可以将合成图像补充到原始图像集，增加原始图像集中的有效信息，进而改善后续生成的训练图像的质量。结合第一方面或第一方面的第一种可能的实施方式至第五种可能的实施方式中的任意一种，在第一方面的第六种可能的实施方式中，将前景图像与背景图像进行组合，获得训练图像之后，方法还包括：获得前景图像在训练图像中的位置；获得前景图像对应的商品的商品类别；利用训练图像、位置以及商品类别训练第二卷积神经网络，第二卷积神经网络用于商品检测及分类。利用卷积神经网络进行物体检测及分类是目前非常流行的图像识别方法，并且已经取得了较好的识别效果，因此可以将获得的训练图像用于训练第二卷积神经网络以便进行商品检测及分类，由于采用本专利技术实施例提供的方法能够获得大量的不同场景下的训练图像，因此训练第二卷积神经网络能够取得较好的效果。结合第一方面的第六种可能的实施方式，在第一方面的第七种可能的实施方式中，第二卷积神经网络为区域卷积神经网络(RegionalConvolutionalNeuralNetwork，R－CNN)，R－CNN及其衍生出的FastR－CNN、FasterR－CNN是目前用于图像识别的主流的卷积神经网络，其在图像识别领域均以取得较好的识别效果。结合第一方面的第六种可能的实施方式，在第一方面的第八种可能的实施方式中，获得前景图像对应的商品的商品类别之前，方法还包括：响应第二用户的商品分类操作，将第二用户指定的类别确定为前景图像对应的商品的商品类别，即训练用的商品类别可以采取用户人工指定的方式。第二方面，本专利技术实施例提供一种获得训练图像的装置，包括：前景获取模块，用于从商品图像库中选择第一图像，并获得第一图像中的前景图像，前景图像为第一图像中仅包含商品的部分图像；背景获取模块，用于从背景图像库中选择背景图像，背景图像为可用于放置商品的场景的图像；前后景组合模块，用于将前景图像与背景图像进行组合，获得训练图像。第三方面，本专利技术实施例提供一种计算机存储介质，计算机存储介质中存储有计算机程序指令，计算机程序指令被计算机的处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实施方式提供的方法。第四方面，本专利技术实施例提供一种电子设备，包括处理器以及计算机存储介质，计算机存储介质中存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实施方式提供的方法。为使本专利技术的上述目的、技术方案和有益效果本文档来自技高网...

【技术保护点】
1.一种获得训练图像的方法，其特征在于，包括：从商品图像库中选择第一图像，并获得所述第一图像中的前景图像，所述前景图像为所述第一图像中仅包含商品的部分图像；从背景图像库中选择背景图像，所述背景图像为可用于放置所述商品的场景的图像；将所述前景图像与所述背景图像进行组合，获得训练图像。

【技术特征摘要】
1.一种获得训练图像的方法，其特征在于，包括：从商品图像库中选择第一图像，并获得所述第一图像中的前景图像，所述前景图像为所述第一图像中仅包含商品的部分图像；从背景图像库中选择背景图像，所述背景图像为可用于放置所述商品的场景的图像；将所述前景图像与所述背景图像进行组合，获得训练图像。2.根据权利要求1所述的获得训练图像的方法，其特征在于，所述从商品图像库中选择第一图像，并获得所述第一图像中的前景图像之前，所述方法还包括：从所述商品的原始图像集中获得所述第一图像；对所述第一图像进行前后景分割，获得第一分割结果；基于所述第一分割结果对所述第一图像进行前后景的位置标记，获得第一标记结果；将所述第一标记结果以及所述第一图像存储至所述商品图像库；所述从商品图像库中选择第一图像，并获得所述第一图像中的前景图像，包括：从所述商品图像库中选择所述第一图像，并基于所述第一标记结果获得所述第一图像中的所述前景图像。3.根据权利要求2所述的获得训练图像的方法，其特征在于，所述对所述第一图像进行前后景分割，获得第一分割结果，包括：利用预先训练好的第一卷积神经网络对所述第一图像进行前后景分割，获得所述第一分割结果。4.根据权利要求3所述的获得训练图像的方法，其特征在于，所述从所述商品的原始图像集中获得所述第一图像之前，所述方法还包括：从所述商品的所述原始图像集中获得不同于所述第一图像的第二图像；响应第一用户的前后景分割操作，将所述第一用户对所述第二图像进行前后景分割的分割结果确定为第二分割结果；利用所述第二分割结果训练所述第一卷积神经网络。5.根据权利要求4所述的获得训练图像的方法，其特征在于，所述从所述原始图像集中获得不同于所述第一图像的第二图像之前，所述方法还包括：获得图像采集设备在多个预设拍摄角度中的每个预设拍摄角度下采集的所述商品的图像，共获得多个图像；将所述多个图像确...

【专利技术属性】
技术研发人员：刘思伟，冯新宇，梁瀚君，
申请(专利权)人：广州逗号智能零售有限公司，
类型：发明
国别省市：广东,44