商品损坏检测方法技术

本申请提供了一种商品损坏检测方法

【技术实现步骤摘要】
商品损坏检测方法、装置及存储介质


[0001]本申请涉及图像识别
，尤其涉及一种商品损坏检测方法
、
装置及存储介质
。

技术介绍

[0002]随着软件算法和硬件设备的不断发展和优化，无人技术已经逐渐应用在日常生活中，例如无人驾驶
、
无人机
、
无人工厂
、
无人商店等
。
其中，无人商店是指通过技术手段对商店内的所有或部分经营流程进行智能化自动处理，以降低人工干预的店铺，其可以自动检测顾客的选购商品
、
自动生成订单
、
自动收款
。
无人商店由于具备设置方便
、
人力成本低
、
运营效率高的优点，具有广阔的发展前景
。
[0003]但是，随着无人商店的普及，新的问题和挑战也随之出现
。
由于无人商店现场没有设置店员岗位，因此无法及时发现顾客损坏商品的行为，进而无法制止损坏行为的继续或及时要求赔偿
。
由此可见，有必要提供一种能够自动检测商品是否被人为损坏的方案
。

技术实现思路

[0004]本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中无法自动检测商品是否被人为损坏的技术缺陷
。
[0005]第一方面，本申请实施例提供了一种商品损坏检测方法，所述方法包括：在满足预设检测规则的情况下，获取无人商店的监控视频片段；针对所述监控视频片段的每帧视频图像，在该视频图像中识别指关节纹区域，并根据该视频图像中各个所述指关节纹区域的区域坐标，在该视频图像中标注手指结构；将已标注手指结构的监控视频片段输入至预先训练得到的手部动作分类模型中，以获取由所述手部动作分类模型输出的手部动作类型；基于所述手部动作类型生成检测结果，所述检测结果用于指示所述无人商店内的商品是否被人为损坏
。
[0006]在其中一个实施例中，针对每帧视频图像，根据该视频图像中各个所述指关节纹区域的区域坐标，在该视频图像中标注手指结构，包括：针对每帧视频图像，根据该视频图像中每个所述指关节纹区域的像素信息，分别确定每个所述指关节纹区域对应的关节纹类型，并基于各个所述关节纹类型对各个所述指关节纹区域进行分组，根据分组情况和各个所述指关节纹区域的区域坐标，在该视频图像中标注手指结构；其中，属于同一组的各个指关节纹区域对应同一手指，分属于不同组的各个指关节纹区域分别对应不同手指
。
[0007]在其中一个实施例中，针对每帧视频图像，根据该视频图像中每个所述指关节纹区域的像素信息，分别确定每个所述指关节纹区域对应的关节纹类型，包括：针对每帧视频图像的每个指关节纹区域，生成该指关节纹区域对应的灰度直方
图，并计算所述灰度直方图中每一灰度等级对应的像素比例，根据各个所述灰度等级对应的像素比例确定该指关节纹区域对应的纹理复杂度，且基于所述纹理复杂度确定该指关节纹区域对应的关节纹类型
。
[0008]在其中一个实施例中，针对每帧视频图像的每个指关节纹区域，根据各个所述灰度等级对应的像素比例确定该指关节纹区域对应的纹理复杂度，包括：针对每帧视频图像的每个指关节纹区域，计算该指关节纹区域对应的灰度直方图的灰度均值，并采用以下表达式计算该指关节纹区域对应的纹理复杂度：；式中，为该指关节纹区域对应的纹理复杂度；为该指关节纹区域对应的灰度等级数量；为在该指关节纹区域对应的灰度直方图中，第
i
个灰度等级对应的灰度值；为该指关节纹区域对应的灰度直方图的灰度均值；为在该指关节纹区域对应的灰度直方图中，第
i
个灰度等级对应的像素比例
。
[0009]在其中一个实施例中，针对每帧视频图像的每个指关节纹区域，基于所述纹理复杂度确定该指关节纹区域对应的关节纹类型，包括：针对每帧视频图像的每个指关节纹区域，若该指关节纹区域对应的纹理复杂度大于预设复杂度阈值，则该指关节纹区域对应的关节纹类型为中间关节纹，否则，该指关节纹区域对应的关节纹类型为远侧关节纹
。
[0010]在其中一个实施例中，每个所述指关节纹区域对应的关节纹类型为中间关节纹或远侧关节纹；针对每帧视频图像，基于各个所述关节纹类型对各个所述指关节纹区域进行分组，包括：针对每帧视频图像，分别确定该视频图像中每一中间关节纹区域对应的最近远侧关节纹区域，以及每一远侧关节纹区域对应的最近中间关节纹区域；其中，关节纹类型为中间关节纹的指关节纹区域为中间关节纹区域，关节纹类型为远侧关节纹的指关节纹区域为远侧关节纹区域；针对每个中间关节纹区域，将该中间关节纹区域作为第一目标区域，以及将第一目标区域对应的最近远侧关节纹区域作为第二目标区域，若第二目标区域对应的最近中间关节纹区域为第一目标区域，则确定第一目标区域和第二目标区域属于同一组，否则，确定第一目标区域和第二目标区域属于不同组
。
[0011]在其中一个实施例中，所述基于所述手部动作类型生成检测结果，包括：根据所述监控视频片段，识别被持握商品的商品种类；基于所述商品种类确定所述被持握商品对应的损坏动作类型集合；若所述损坏动作类型集合包括所述手部动作类型，则生成用于指示所述无人商店内的商品已被人为损坏的损坏检测结果
。
[0012]在其中一个实施例中，所述在满足预设检测规则的情况下，获取无人商店的监控视频片段，包括：实时获取所述无人商店内每个货架对应的商品重量；
在检测到任一所述货架对应的商品重量减少时，启动目标摄像头，以通过所述目标摄像头获取所述监控视频片段；其中，所述目标摄像头为设于目标货架的摄像头，所述目标货架为商品重量减少的货架
。
[0013]第二方面，本申请实施例提供了一种商品损坏检测装置，所述装置包括：视频片段获取模块，用于在满足预设检测规则的情况下，获取无人商店的监控视频片段；手指结构标注模块，用于针对所述监控视频片段的每帧视频图像，在该视频图像中识别指关节纹区域，并根据该视频图像中各个所述指关节纹区域的区域坐标，在该视频图像中标注手指结构；手部动作类型确定模块，用于将已标注手指结构的监控视频片段输入至预先训练得到的手部动作分类模型中，以获取由所述手部动作分类模型输出的手部动作类型；检测结果生成模块，用于基于所述手部动作类型生成检测结果，所述检测结果用于指示所述无人商店内的商品是否被人为损坏
。
[0014]第三方面，本申请实施例提供了一种存储介质，该存储介质中存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述商品损坏检测方法的步骤
。
[0015]第四方面，本申请实施例提供了一种计算机设备，该计算机设备包括：一个或多个处理器，以及存储器；所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行上述任一实施例所述商品损坏检测方法的步骤
。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种商品损坏检测方法，其特征在于，所述方法包括：在满足预设检测规则的情况下，获取无人商店的监控视频片段；针对所述监控视频片段的每帧视频图像，在该视频图像中识别指关节纹区域，并根据该视频图像中各个所述指关节纹区域的区域坐标，在该视频图像中标注手指结构；将已标注手指结构的监控视频片段输入至预先训练得到的手部动作分类模型中，以获取由所述手部动作分类模型输出的手部动作类型；基于所述手部动作类型生成检测结果，所述检测结果用于指示所述无人商店内的商品是否被人为损坏
。2.
根据权利要求1所述的方法，其特征在于，针对每帧视频图像，根据该视频图像中各个所述指关节纹区域的区域坐标，在该视频图像中标注手指结构，包括：针对每帧视频图像，根据该视频图像中每个所述指关节纹区域的像素信息，分别确定每个所述指关节纹区域对应的关节纹类型，并基于各个所述关节纹类型对各个所述指关节纹区域进行分组，根据分组情况和各个所述指关节纹区域的区域坐标，在该视频图像中标注手指结构；其中，属于同一组的各个指关节纹区域对应同一手指，分属于不同组的各个指关节纹区域分别对应不同手指
。3.
根据权利要求2所述的方法，其特征在于，针对每帧视频图像，根据该视频图像中每个所述指关节纹区域的像素信息，分别确定每个所述指关节纹区域对应的关节纹类型，包括：针对每帧视频图像的每个指关节纹区域，生成该指关节纹区域对应的灰度直方图，并计算所述灰度直方图中每一灰度等级对应的像素比例，根据各个所述灰度等级对应的像素比例确定该指关节纹区域对应的纹理复杂度，且基于所述纹理复杂度确定该指关节纹区域对应的关节纹类型
。4.
根据权利要求3所述的方法，其特征在于，针对每帧视频图像的每个指关节纹区域，根据各个所述灰度等级对应的像素比例确定该指关节纹区域对应的纹理复杂度，包括：针对每帧视频图像的每个指关节纹区域，计算该指关节纹区域对应的灰度直方图的灰度均值，并采用以下表达式计算该指关节纹区域对应的纹理复杂度：；式中，为该指关节纹区域对应的纹理复杂度；为该指关节纹区域对应的灰度等级数量；为在该指关节纹区域对应的灰度直方图中，第
i
个灰度等级对应的灰度值；为该指关节纹区域对应的灰度直方图的灰度均值；为在该指关节纹区域对应的灰度直方图中，第
i
个灰度等级对应的像素比例
。5.
根据权利要求3所述的方法，其特征在于，针对每帧视频图像的每个指关节纹区域，基于所述纹理复杂度确定该指关节纹区域对应的关节纹类型，包括：针对每帧视频图像的每个指关节纹区域，若该指关节纹区域对应的纹理复杂度大于预设复杂度阈值，则该指关节纹区域对应的关节纹类...

【专利技术属性】
技术研发人员：王欢，高伟明，冯继威，李彦君，
申请(专利权)人：网思科技股份有限公司，
类型：发明
国别省市：