基于物品关联关系的对象识别的方法和装置制造方法及图纸

本发明专利技术公开了基于物品关联关系的对象识别的方法和装置，涉及仓储物流领域技术领域。该方法的一具体实施方式包括：对采集图片进行包裹检测，获取每个包裹的包裹子区域；将所述包裹子区域中的所有物品的物品子图加工为序列，并输入到神经网络；利用所述神经网络得到所述包裹子区域中的对象的子序列；以及进行对象识别，其中，所述神经网络是基于训练样本训练而成：收集具有多个包裹且包裹中包含多个物品的图片以生成所述训练样本；对所述图片进行包裹检测；并且将所获得的包裹子图中含有的多个物品的物品子图加工为序列，并标记对应的物品及其位置，以建立对应物品位置数据库。该实施方式能够降低成本的同时提高对象识别率这样的技术效果。样的技术效果。样的技术效果。

【技术实现步骤摘要】
基于物品关联关系的对象识别的方法和装置


[0001]本专利技术涉及仓储物流领域，尤其涉及一种基于物品关联关系的对象识别方法和装置。

技术介绍

[0002]在航空、地铁等公共交通地点，需要对货运物品或者托运物品进行安全检查。安检机危险品识别是用于安防的重要的计算机视觉技术。其通过安检机x光对货物进行不开箱的安全检查。有时会出现在一定的时间段内有大量物品通过安检机的情况，需要使用视频数据自主辅助安检人员对危险品进行识别，以确定危险品的类型和存在危险品的包裹，此时使用到了视觉技术来辅助判断危险品。
[0003]然而，在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：虽然安检机图像识别技术已经较成熟，但由于现有技术中利用目标检测、图像分割等，是直接在图像中去寻找有无危险品，而实际操作中，有些危险品体积较小，特征不明显，难以识别；有些危险品则会因为形状差异较大难以识别；同时，颜色成像也会因为安检机型号的差别，导致在公开训练集上训练得到的检测模型通用性比较差。
[0004]为了提高对象的识别率，申请人进行了深入的研究，结果发现：由于多种物品在同一包裹内出现的几率是不一样的，其多种物品本身存在的关联关系。例如，购买了水果刀的用户很有可能购买了其他厨具比如盘子之类的，因此，包裹里有盘子这一信息对于判断当前的物件是否属于水果刀具的信息是非常有用的。也就是说，当确定了一个包裹内有某种物品的时候，对于确认是否包含有某一类型的对象是十分有帮助的。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种基于物品关联关系的对象识别的方法和装置，能够充分利用物品之间的关联关系，在降低成本的同时提高对象的识别率。
[0006]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种基于物品关联关系的对象识别的方法，其特征在于，包括：对由拍摄装置采集到的采集图片进行包裹检测，获取所述采集图片中的对应于各个包裹的包裹子区域；将所述包裹子区域中所有物品的物品子图按照预先确定的顺序加工为序列，并将所述序列输入到神经网络；利用所述神经网络，得到所述包裹子区域中的对象的基于物品关联关系的子序列；以及根据所述子序列进行对象识别，其中，所述神经网络是基于训练样本训练而成：收集具有多个包裹且包裹中包含多个物品的图片以生成所述训练样本；对所述图片进行包裹检测；并且将所获得的包裹子图中含有的多个物品的物品子图加工为序列，并标记对应的物品及其位置，以建立基于物品关联关系的对应物品位置数据库。
[0007]上述专利技术中的一个实施例具有如下优点或有益效果：由于本专利技术直接使用了例如电商销售的SKU(Stock Keeping Unit，库存量单位)的物品关联关系(即，初始化时使用SKU物品的关联矩阵)来辅助对象识别这样的技术手段，因此减少了训练学习的成本，并且克服
了在对象体积较小或形状差异大时难以识别以及颜色成像时检测模型通用性较差这样的技术问题，因此达到了能够在降低成本的同时提高对象识别率这样的技术效果。
[0008]本专利技术的基于物品关联关系的对象识别的方法中，优选地，在对所述神经网络进行训练时，根据标记出的物品及其位置的情况，对所述神经网络中的用于目标检测的网络进行训练。
[0009]本专利技术的基于物品关联关系的对象识别的方法中，优选地，在对所述神经网络进行训练时，利用条件概率对所述对应物品位置数据库进行更新，以对所述神经网络中的子神经网络进行调优。
[0010]本专利技术的基于物品关联关系的对象识别的方法中，优选地，在将所述包裹子区域中的所有物品的物品子图加工为序列时，按照特定的物品之间的IoU进行排序。
[0011]本专利技术的基于物品关联关系的对象识别的方法中，优选地，在将所述包裹子区域中的所有物品的物品子图加工为序列时，按照特定的物品之间的IoU和距离进行排序。
[0012]本专利技术的基于物品关联关系的对象识别的方法中，优选地，在按照所述IoU从大到小排序之后，根据所述距离从远到近进行排序。
[0013]本专利技术的基于物品关联关系的对象识别的方法中，优选地，将更新后的应物品位置数据库用于电商推荐阶段以及物流的包裹邮寄阶段。
[0014]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种基于物品关联关系的对象识别的装置，其特征在于，包括：包裹检测模块，对由拍摄装置采集到的采集图片进行包裹检测，获取所述采集图片中的对应于各个包裹的包裹子区域；子图排序模块，将所述包裹子区域中所有物品的物品子图按照预先确定的顺序加工为序列，并将所述序列输入到神经网络；子序列获取模块，利用所述神经网络，得到所述包裹子区域中的对象的基于物品关联关系的子序列；以及对象识别模块，根据所述子序列进行对象识别，其中，所述神经网络是基于训练样本训练而成：收集具有多个包裹且包裹中包含多个物品的图片以生成所述训练样本；对所述图片进行包裹检测；并且将所获得的包裹子图中含有的多个物品的物品子图加工为序列，并标记对应的物品及其位置，以建立基于物品关联关系的对应物品位置数据库。
[0015]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0016]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0017]图1是根据本专利技术实施例的基于物品关联关系的对象识别的方法的主要流程的示意图；
[0018]图2是根据本专利技术实施例的基于物品关联关系的对象识别的装置的主要模块的示意图；
[0019]图3(a)是用于说明本专利技术实施例的包裹检测动作的安检机检测原始图的示意图；
[0020]图3(b)是用于说明本专利技术实施例的包裹检测动作的安检机包裹检测结果图的示意图；
[0021]图4(a)是用于说明对单个包裹进行SKU检测的单个发包裹原始图的示意图；
[0022]图4(b)是用于说明对单个包裹进行SKU检测的单个包裹的SKU检测图的示意图；
[0023]图5是用于说明本申请的神经网络结构的示意图；
[0024]图6是本专利技术实施例可以应用于其中的示例性系统架构图；
[0025]图7是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0026]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]图1是根据本专利技术实施例的基于物品关联关系的对象识别的方法的主要流程的示意图，如图1所示，该方法包括：步骤S101：对由拍摄装置采集到的采集图片进行包裹检测，获取所述采集图片中的对应于各个包裹的包裹子区域；步骤S102：将所述包裹子区域中所有物品的物品子图按照预先确定的顺序加工为序列，并将所述序列输入到神经网络；步骤S103：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物品关联关系的对象识别的方法，其特征在于，包括：对由拍摄装置采集到的采集图片进行包裹检测，获取所述采集图片中的对应于各个包裹的包裹子区域；将所述包裹子区域中所有物品的物品子图按照预先确定的顺序加工为序列，并将所述序列输入到神经网络；利用所述神经网络，得到所述包裹子区域中的对象的基于物品关联关系的子序列；以及根据所述子序列进行对象识别，其中，所述神经网络是基于训练样本训练而成：收集具有多个包裹且包裹中包含多个物品的图片以生成所述训练样本；对所述图片进行包裹检测；并且将所获得的包裹子图中含有的多个物品的物品子图加工为序列，并标记对应的物品及其位置，以建立基于物品关联关系的对应物品位置数据库。2.根据权利要求1所述的方法，其特征在于，其中，在对所述神经网络进行训练时，根据标记出的物品及其位置的情况，对所述神经网络中的用于目标检测的网络进行训练。3.根据权利要求2所述的方法，其特征在于，其中，在对所述神经网络进行训练时，利用条件概率对所述对应物品位置数据库进行更新，以对所述神经网络中的子神经网络进行调优。4.根据权利要求1至3中任一项所述的方法，其特征在于，其中，在将所述包裹子区域中的所有物品的物品子图加工为序列时，按照特定的物品之间的IoU进行排序。5.根据权利要求1至3中任一项所述的方法，其特征在于，其中，在将所述包裹子区域中的所有物品的物品子图加工为序列时，按照特定的物品之间的IoU和距离进行排序。6.根据权利要求5所述的方法，其特征在于，其中...

【专利技术属性】
技术研发人员：盛捷来，刘洋，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：