一种基于图像的物品堆叠检测方法、系统及电子设备技术方案

本发明专利技术涉及一种基于图像的物品堆叠检测方法、系统及电子设备，其包括如下步骤：利用深度相机获得图像的深度数据和RGB数据，利用RGB数据进行图像识别获得待测非标物品的类别和位置，用深度数据获得待测非标物品的高度，将该高度与同类别非标物品的高度区间对比，判断出待测非标物品是否堆叠。通过深度相机检测非标物品在结算时是否堆叠，使得非标物品在进行自助结算时，通过该堆叠检测方法检测出产生堆叠的食品，避免了对食品的数量、种类造成错误识别，防止造成结算失败或结算错误。非标物品为非标类产品，其表面为非平面形态，因此，该方法能够准确估算出对应于非标物品所在的三维点云中的平面，进而准确求出非标物品的高度信息，准确判断是否产生堆叠。

A Method, System and Electronic Equipment for Item Stacking Detection Based on Image

The invention relates to an image-based object stacking detection method, system and electronic equipment, which includes the following steps: obtaining image depth data and RGB data by depth camera, obtaining category and location of non-standard items by image recognition using RGB data, obtaining height of non-standard items by depth data, and height area of non-standard items of the same kind with that of non-standard items. By comparison, the stacking of non-standard items to be tested can be judged. Deep camera is used to detect whether non-standard items are stacked in the settlement, so that when non-standard items are self-service settlement, stacked food can be detected by the stacking detection method, which avoids the wrong identification of the number and type of food and prevents the settlement failure or settlement error. Non-standard items are non-standard products and their surface is non-planar. Therefore, this method can accurately estimate the plane in the three-dimensional point cloud corresponding to non-standard items, and then accurately calculate the height information of non-standard items, and accurately judge whether stacking occurs.

【技术实现步骤摘要】
一种基于图像的物品堆叠检测方法、系统及电子设备
本专利技术属于图像识别领域，特别涉及一种基于图像的物品堆叠检测方法、系统及电子设备。
技术介绍
在非标物品识别领域中，许多商品如面包、饼干等，在售卖时往往不贴标签，则在商品结算时，往往需要售货员确认商品种类后确认价格。而通过图像识别技术，识别出商品种类，对顾客购买的商品进行自助结算，可减少收银的人工成本，给生活带来便利。在非标物品识别领域中，如面包、饼干等非标物品，在购买打包时，往往存在堆叠或遮挡等状态，这样会造成在识别时，对面包的数量、种类造成错误识别，从而造成结算失败或结算错误。
技术实现思路
为克服目前的无法识别图像中非标物品堆叠的问题，本专利技术提供一种基于图像的物品堆叠检测方法、系统及电子设备。本专利技术解决技术问题的技术方案是提供一种基于图像的物品堆叠检测方法，其包括如下步骤：步骤S1：获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；步骤S3：将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预本文档来自技高网...

【技术保护点】
1.一种基于图像的物品堆叠检测方法，其特征在于包括如下步骤：步骤S1：获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；步骤S3：将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；步骤S4：将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；步骤S5：结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及步骤S6：通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是...

【技术特征摘要】
1.一种基于图像的物品堆叠检测方法，其特征在于包括如下步骤：步骤S1：获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；步骤S3：将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；步骤S4：将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；步骤S5：结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及步骤S6：通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是否产生堆叠。2.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：所述预存高度参数为一预存高度区间，则在上述步骤S6中具体包括如下步骤：步骤S61：判断出待测非标物品的高度是否位于所述预存高度区间内，若是则进入步骤S62，若否，则进入步骤S63；步骤S62：待测非标物品不产生堆叠；及步骤S63：待测非标物品产生堆叠。3.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：步骤S5中，所述待测非标物品的深度数据中，最大深度数据为M，选取相对于所述待测非标物品0.8M-0.9M之间的高度范围的点与所述平面的点求差值，获得待测非标物品的高度数据。4.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：在上述步骤S4中三维点云的平面是通过估算获得，其具体包括如下步骤：步骤S41：将所述深度数据进行处理，转换为三维点云；步骤S42：在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。5.如权利要求4中所述的基于图像的物品堆叠检测方法，其特征在于：估算获得的三维点云的平面之信息被保存，以提供给下一次基于图像...

【专利技术属性】
技术研发人员：张发恩，林国森，慕鹏，
申请(专利权)人：创新奇智宁波科技有限公司，
类型：发明
国别省市：浙江,33