一种利用计算机视觉与图像识别的物品统计算法制造技术

本发明专利技术公开了一种利用计算机视觉与图像识别的物品统计算法，包含以下步骤：A、首先要对六个摄像头进行相机标定，相机标定的目标是计算相机的内部参数，比如焦距和图像中心坐标，以及每对相机之间的相对位置以及角度；B、获得商品的三维模型；估算商品在三维空间中的姿态，C、商品位置估计；估算商品在三维空间中的位置，D、单摄像头以及双摄像头交叉验证。本发明专利技术利用深度学习、三维重建以及多视角交叉验证技术，能够快速统计货架中商品种类和数量。

An Item Statistics Algorithm Based on Computer Vision and Image Recognition

The invention discloses an object statistics algorithm based on computer vision and image recognition, which includes the following steps: A. First, six cameras are calibrated. The goal of camera calibration is to calculate the internal parameters of the camera, such as focal length and image center coordinates, as well as the relative position and angle between each pair of cameras; B. Estimating the three-dimensional model of commodities; Posture, C, commodity position estimation in three-dimensional space; Estimate commodity position in three-dimensional space; D, single camera and dual camera cross validation. The invention utilizes in-depth learning, three-dimensional reconstruction and multi-view cross-validation technology, and can quickly count the types and quantities of goods in shelves.

【技术实现步骤摘要】
一种利用计算机视觉与图像识别的物品统计算法
本专利技术涉及触摸屏
，具体是一种利用计算机视觉与图像识别的物品统计算法。
技术介绍
本专利技术是为了解决商品在三维空间中种类和数量的统计问题及精确位置坐标的定位问题，提出的一套利用深度学习、三维重建以及多视角交叉验证，以统计货架中商品种类和数量的算法。
技术实现思路
本专利技术的目的在于提供一种利用计算机视觉与图像识别的物品统计算法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种利用计算机视觉与图像识别的物品统计算法，包含以下步骤：A、首先要对六个摄像头进行相机标定，相机标定的目标是计算相机的内部参数，比如焦距和图像中心坐标，以及每对相机之间的相对位置以及角度；B、获得商品的三维模型；估算商品在三维空间中的姿态，C、商品位置估计；估算商品在三维空间中的位置；D、单摄像头以及双摄像头交叉验证。作为本专利技术的进一步技术方案：所述相机标定包括以下两种方式；a)单摄像头标定。如图1，用每一个摄像头拍摄一些不同姿态的平面棋盘格图案，然后计算摄像头的内部矩阵和鱼眼畸变系数，b)双摄像头标定。我们需要对每一层的两个本文档来自技高网...

【技术保护点】
1.一种利用计算机视觉与图像识别的物品统计算法，其特征在于，包含以下步骤：A、首先要对六个摄像头进行相机标定，相机标定的目标是计算相机的内部参数，比如焦距和图像中心坐标，以及每对相机之间的相对位置以及角度；B、获得商品的三维模型；估算商品在三维空间中的姿态；C、商品位置估计；估算商品在三维空间中的位置；单摄像头以及双摄像头交叉验证。

【技术特征摘要】
1.一种利用计算机视觉与图像识别的物品统计算法，其特征在于，包含以下步骤：A、首先要对六个摄像头进行相机标定，相机标定的目标是计算相机的内部参数，比如焦距和图像中心坐标，以及每对相机之间的相对位置以及角度；B、获得商品的三维模型；估算商品在三维空间中的姿态；C、商品位置估计；估算商品在三维空间中的位置；单摄像头以及双摄像头交叉验证。2.根据权利要求1所述的一种利用计算机视觉与图像识别的物品统计算法，其特征在于，所述相机标定包括以下两种方式；a)单摄像头标定。如图1，用每一个摄像头拍摄一些不同姿态的平面棋盘格图案，然后计算摄像头的内部矩阵和鱼眼畸变系数，b)双摄像头标定。我们需要对每一层的两个相机同时拍摄标定图像，并加以反畸变操作。然后，使用上一步估算的内部矩阵以及标定图案中特征点的三维以及二维位置，解PnP来得到每个相机到标定板平面的姿态，进而获得它们之间的相对位置和角度。3.根据权利要求1所述的一种利用计算机视觉与图像识别的物品统计算法，其特征在于，所述步骤B是通过特征图与三维模型的匹配计算得到，具体步骤如下：第一步是获得物体不同视角的已标定图片，即对于每一个视角拍摄的图片，我们都需要计算出相机是从哪个角度拍摄到的这张图片，第二步是对目标进行背景移除，生成前景图像，为了获得精确的前景掩膜像,采用基于深度学习的MaskR-CNN神经网络，以及谷歌开源的DeepLabv3+工程；第三步是模型雕刻和内部挖空处理，即在一个封闭的三维空间中创造一些三维坐标点云，并且根据相机的标定参数和剪影图像，从每个角度去掉非物体的点云，由于只需要知道图像的表面信息，为了简化模型，我们去掉了物体的内部点云，首先把点云转换为三维像素，然后分别在两个坐标轴上进行形态学操作，第四步是对这个模型进行水平集转换，进而实施形状优化，水平集转换是把整个模型分为若干个层，即切面，由于挖空处理，每一个切面是一个轮廓，可以用极值坐标来表示轮廓上的点云坐标，我们把每一层都按照固定数量的角度进行量化，得到了一个二维的流形，其中横轴为角度，纵轴为物体的z轴，每个像素值表示半径，然后对这个流形进行双边滤波，以及强化平滑的非线性优化，得到一个保留细节的平滑模型，第五步是点云染色...

【专利技术属性】
技术研发人员：李昂，
申请(专利权)人：上海小萌科技有限公司，
类型：发明
国别省市：上海,31