物品检测方法及系统技术方案

本申请公开了一种物品检测方法及系统。方法包括：检测针对物品取放柜进行物品取放操作的操作点；基于操作点的检测结果确定物品取放的进出属性及物品取放时刻；获取物品取放柜在物品取放时刻的图像；对图像进行物品的种类识别，基于种类识别结果及物品取放的进出属性得到初始物品信息，初始物品信息包括物品种类和数量；对操作点进行定位和图像映射，得到操作点在图像中的位置；基于操作点在图像中的位置对初始物品信息进行筛选，得到针对物品取放柜的物品取放信息。通过仅对物品取放时刻的图像进行物品的种类识别，有效减少图像识别的计算量；利用空间信息定位及图像映射，得到操作点在图像中的位置，据此筛选出的物品取放信息精度更高。

【技术实现步骤摘要】
物品检测方法及系统
本申请实施例涉及图像处理
，特别涉及一种物品检测方法及系统。
技术介绍
随着人工智能的发展，无人物品取放柜逐渐被广泛应用。无人物品取放柜用于存放物品，可以从该无人物品取放柜中将物品取出，后续还可以由管理人员向该无人物品取放柜中补充物品。因此，如何实现物品检测，是一个比较关键的问题。相关技术提供了一种无人货柜系统，其通过视频分析识别用户的物品取放动作及其取放的物品种类和数量，从而判断取放的物品种类和数量，达到物品检测的目的。然而，该方法需要对视频进行处理，对系统计算能力有很高的要求，计算量大，导致检测效率较低。
技术实现思路
本申请实施例提供了一种物品检测方法及系统，可用于解决相关技术中的问题。所述技术方案如下：一方面，本申请实施例提供了一种物品检测方法，所述方法包括：检测针对物品取放柜进行物品取放操作的操作点；基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；获取所述物品取放柜在所述物品取放时刻的图像；对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。可选地，所述物品取放柜的出入口具有空间定位装置及图像采集装置；所述检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻；所述获取所述物品取放柜在所述物品取放时刻的图像，包括：基于所述图像采集装置采集所述物品取放柜在所述物品取放时刻的图像；所述对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置，包括：基于所述操作点的位置信息确定所述操作点的三维空间坐标信息，基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置。可选地，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中之前，还包括：获取所述图像采集装置的内参；基于所述空间定位装置建立三维空间坐标系；基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系。可选地，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标；基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵，得到所述空间定位装置与所述图像采集装置之间的空间关系。可选地，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标；通过所述图像采集装置采集所述标记球在每个位置的标记球图像，在所述标记球图像中提取所述标记球的中心点，得到所述标记球的图像坐标系坐标；基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。可选地，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置，包括：获取所述操作点的世界坐标系；将所述操作点空间外延，得到空间立方体；将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到所述空间立方体各个顶点在图像中的坐标，基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。可选地，所述空间定位装置包括红外对射单元，所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：获取所述红外对射单元发射的红外信号；基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。可选地，所述空间定位装置包括深度相机；所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息；分析所述物品取放柜的出入口所在平面的深度值信息，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。还提供了一种物品检测系统，所述物品检测系统包括：空间定位装置，用于检测针对物品取放柜进行物品取放操作的操作点；处理单元，用于基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；图像采集装置，用于获取所述物品取放柜在所述物品取放时刻的图像；所述处理单元，还用于对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。可选地，所述物品取放柜的出入口具有空间定位装置及图像采集装置；所述空间定位装置，用于检测针对物品取放柜进行物品取放操作的操作点；所述处理单元，用于基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻；所述图像采集装置，用于基于采集所述物品取放柜在所述物品取放时刻的图像；所述处理单元，还用于基于所述操作点的位置信息确定所述操作点的三维空间坐标信息，基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置。可选地，所述装置还包括：标定单元，用于获取所述图像采集装置的内参；基于所述空间定位装置建立三维空间坐标系；基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系。可选地，所述标定单元，用于基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标；基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵，得到所述空间定位装置与所述图像采集装置之间的空间关系。...

【技术保护点】
1.一种物品检测方法，其特征在于，所述方法包括：/n检测针对物品取放柜进行物品取放操作的操作点；/n基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；/n获取所述物品取放柜在所述物品取放时刻的图像；/n对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；/n对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；/n基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。/n

【技术特征摘要】
1.一种物品检测方法，其特征在于，所述方法包括：
检测针对物品取放柜进行物品取放操作的操作点；
基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；
获取所述物品取放柜在所述物品取放时刻的图像；
对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；
对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；
基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。


2.根据权利要求1所述的方法，其特征在于，所述物品取放柜的出入口具有空间定位装置及图像采集装置；
所述检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻；
所述获取所述物品取放柜在所述物品取放时刻的图像，包括：基于所述图像采集装置采集所述物品取放柜在所述物品取放时刻的图像；
所述对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置，包括：基于所述操作点的位置信息确定所述操作点的三维空间坐标信息，基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置。


3.根据权利要求2所述的方法，其特征在于，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中之前，还包括：
获取所述图像采集装置的内参；
基于所述空间定位装置建立三维空间坐标系；
基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系。


4.根据权利要求3所述的方法，其特征在于，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：
基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标；
基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵，得到所述空间定位装置与所述图像采集装置之间的空间关系。


5.根据权利要求3所述的方法，其特征在于，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：
基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标；
通过所述图像采集装置采集所述标记球在每个位置的标记球图像，在所述标记球图像中提取所述标记球的中心点，得到所述标记球的图像坐标系坐标；
基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。


6.根据权利要求2-5任一所述的方法，其特征在于，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置，包括：
获取所述操作点的世界坐标系；
将所述操作点空间外延，得到空间立方体；
将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到所述空间立方体各个顶点在图像中的坐标，基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。


7.根据权利要求2所述的方法，其特征在于，所述空间定位装置包括红外对射单元，所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：
获取所述红外对射单元发射的红外信号；
基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。


8.根据权利要求2所述的方法，其特征在于，所述空间定位装置包括深度相机；所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：
基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息；
分...

【专利技术属性】
技术研发人员：朱镇峰，解松霖，马强，王靖雄，毛慧，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33