基于差异识别的实时物体识别方法和装置制造方法及图纸

本申请公开了一种基于差异识别的实时物体识别方法和装置，该方法包括：图像比对步骤：每隔预设时间间隔获取所述无人售货机的货架上的物体的图像，将获取的每一个图像与所述图像的前一个图像进行特征点匹配，将存在未匹配成功的特征点的图像作为待检测图像；物体识别步骤：将所述待检测图像输入经过训练的深度神经网络模型进行物体识别；购买结算步骤：根据物体识别结果确定用户最终提取的物体，进行结算。通过该方法，能够对用户在所述无人售货机的货架提取的商品进行更好地识别和判断，提高检测的准确率，提升了用户体验。

Real time object recognition method and device based on difference recognition

The present application discloses a real-time object recognition method and apparatus based on differential recognition, which comprises an image matching step: acquiring an image of an object on a shelf of the vending machine at a preset interval of time, matching each acquired image with a feature point of the previous image of the image, and there will be a presence of the image. The image of the unsuccessful feature points is used as the image to be detected; the object recognition step is to input the image to be detected into the trained depth neural network model for object recognition; the purchase and settlement step is to determine the final object extracted by the user according to the result of object recognition and to settle accounts. Through this method, the goods extracted by the user on the shelf of the vending machine can be better identified and judged, the detection accuracy can be improved, and the user experience can be improved.

【技术实现步骤摘要】
基于差异识别的实时物体识别方法和装置
本申请涉及图像处理领域，特别是涉及一种基于差异识别的实时物体检测方法和装置。
技术介绍
现有的智能无人售货机，购买者在购物时需要系统自动识别用户拿走的商品。在公共场所设置这样的机器，不但方便了用户，同时还节省了大量人工费用。然而，通常这样的智能售货机都是采用高速摄像头实时捕捉用户拿取商品的过程来识别购买的商品。然而，有时用户拿取物体的速度过快，会导致摄像头来不及跟踪，从而造成识别困难，或者完全无法识别；有时用户完全握住物体或者只是露出物体的一部分，或者用户有意或无意遮挡住物体的关键部位，也会造成识别困难，或者完全无法识别。整个购物流程中，物体检测识别是其关键因素。检测识别算法包括物体模型训练和图片对比识别两个流程。受到柜体内部光源限制，加上用户拿取过程中的物体遮挡，或自身包装袋反光等影响，传统的检测识别算法在这种复杂光线场景条件下表现较差，识别成功率较低上述这些情况都会导致结算错误，使得用户不能顺利购物，用户体验变差。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的一个方面，提供了一种物体识别方法，所述方法包括：图像比对步骤：每隔预设时间间隔获取所述无人售货机的货架上的物体的图像，将获取的每一个图像与所述图像的前一个图像进行特征点匹配，将存在未匹配成功的特征点的图像作为待检测图像；物体识别步骤：将所述待检测图像输入经过训练的深度神经网络模型进行物体识别；购买结算步骤：根据物体识别结果确定用户最终提取的物体，进行结算。通过该方法，能够对用户在所述无人售货机的货架提取的商品进行更好地识别和判断，提高检测的准确率，提升了用户体验。可选地，所述图像比对步骤还包括：通过尺度不变特征变换(SIFT)算法分别计算所述图像与该图像的前一个图像的特征点，并进行特征点匹配。可选地，所述图像比对步骤还包括：对于所述待检测图像，将匹配成功的特征点所对应的图像部分设置为纯色，未匹配成功的特征点所对应的图像部分保持不变。可选地，所述深度神经网络模型为检测网络(DetectNet)模型。可选地，通过以下步骤对所述检测网络模型进行训练和验证：将所述货架上的物体的图片和该物体的标签输入所述检测网络模型；将所述物体的图片切分成若干个网格，对于每个网格内的方块，利用所述检测网络模型中基于谷歌网络(GoogLeNet)的全卷积网络(FCN)进行物体类别和物体边界框的特征抽取和预测；对于每个网格内的方块，利用损失函数同时计算物体覆盖(objectcoverage)预测和物体边界框(objectbundingbox)预测的损失度量；通过聚类函数生成预测的对象边界框的最终集合，得到预测结果；和利用均值平均预测(meanAveragePrecision,mAP)对所述检测网络模型的性能进行验证。根据本申请另一个方面，还提供了一种物体识别装置，所述装置包括：图像比对模块，其被配置成每隔预设时间间隔获取所述无人售货机的货架上的物体的图像，将获取的每一个图像与所述图像的前一个图像进行特征点匹配，将存在未匹配成功的特征点的图像作为待检测图像；物体识别模块，其被配置成将所述图像比对模块的待检测图像输入经过训练的神经网络模型进行物体识别；购买结算模块，其被配置成根据所述物体识别模块的物体识别结果确定用户最终提取的物体，进行结算。通过该装置，能够对用户在所述无人售货机的货架提取的商品进行更好地识别和判断，提高检测的准确率，提升了用户体验。可选地，所述深度神经网络模型为检测网络模型。可选地，通过以下模块对所述检测网络模型进行训练和验证：输入模块，其被配置成将所述货架上的物体的图片和该物体的标签输入所述检测网络模型；特征抽取和预测模块，其被配置成将所述物体的图片切分成若干个网格，对于每个网格内的方块，利用所述检测网络模型中基于谷歌网络的全卷积网络(FCN)进行物体类别和物体边界框的特征抽取和预测；损失度量计算模块，其被配置成对于每个网格内的方块，利用损失函数同时计算物体覆盖(objectcoverage)预测和物体边界框(objectbundingbox)预测的损失度量；预测结果生成模块，其被配置成通过聚类函数生成预测的对象边界框的最终集合，得到预测结果；和验证模块，其被配置成利用均值平均预测(mAP)对所述检测网络模型的性能进行验证。根据本申请另一个方面，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述的方法。根据本申请另一个方面，还提供了一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述的方法。本申请提供了一种商品识别的整体解决方案，旨在解决用户使用无人售货机购买商品过程中的物体识别问题。现有技术中的解决方案大多是通过识别客户购买录像，关注点集中于客户购买动作，而由于客观环境和用户购买习惯的复杂多样性、硬件采购成本高、对网络状况要求严格、对服务后端架构压力大等因素导致无人售货机的整体解决方案面临极大的挑战。因此，本申请采用间隔拍摄图片，对图片进行特定点识别与匹配，找出用户提取或放回的物体，再利用深度神经网络对该物体进行识别，提高了系统的稳定性，改善了用户体验，为无人售货机的普及创造了更加有利的条件。根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本申请的物体识别方法的一个实施例的流程图；图2是无人售货机的某一层的原始图像；图3是用户提取物体后该层的图像；图4是对待检测图像进行处理后得到的图像；图5是对检测网络模型进行训练和验证的一个实施例的流程图；图6是根据本申请的物体识别装置的一个实施例的框图；图7根据本申请的无人售货机的一个实施例的框图。具体实施方式根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。图1是根据本申请的物体识别方法的一个实施例的流程图，所述方法包括：图像比对步骤：每隔预设时间间隔获取所述无人售货机的货架上的物体的图像，将获取的每一个图像与所述图像的前一个图像进行特征点匹配，将存在未匹配成功的特征点的图像作为待检测图像；物体识别步骤：将所述待检测图像输入经过训练的深度神经网络模型进行物体识别；和购买结算步骤：根据物体识别结果确定用户最终提取的物体，进行结算。本申请所提供的方法能够实时识别客户购买的商品，由于采取的是静态画面的比对，不必对客户购买行为进行不合理的约束也不需要高速摄像装置来采集高清的画面；采用深度神经网络模型对物体进行识别，能够提高对物体的识别准确率，提升了用户体验，降低了无人售货机的成本。其中，无人售货机可以是柜子、箱子或者其他形状。当无人售货机的门被打开或者将要被打开的状态可以通过用户的操作进行判断。例如，无人售货机的柜体外部可以贴有二维码标签，用户使用移动智能终端扫描所述二维码标签时，访问后台服本文档来自技高网...

【技术保护点】
1.一种物体识别方法，所述方法包括：图像比对步骤：每隔预设时间间隔获取所述无人售货机的货架上的物体的图像，将获取的每一个图像与所述图像的前一个图像进行特征点匹配，将存在未匹配成功的特征点的图像作为待检测图像；物体识别步骤：将所述待检测图像输入经过训练的深度神经网络模型进行物体识别；和购买结算步骤：根据物体识别结果确定用户最终提取的物体，进行结算。

【技术特征摘要】
1.一种物体识别方法，所述方法包括：图像比对步骤：每隔预设时间间隔获取所述无人售货机的货架上的物体的图像，将获取的每一个图像与所述图像的前一个图像进行特征点匹配，将存在未匹配成功的特征点的图像作为待检测图像；物体识别步骤：将所述待检测图像输入经过训练的深度神经网络模型进行物体识别；和购买结算步骤：根据物体识别结果确定用户最终提取的物体，进行结算。2.根据权利要求1所述的方法，其特征在于，所述图像比对步骤还包括：通过尺度不变特征变换(SIFT)算法分别计算所述图像与该图像的前一个图像的特征点，并进行特征点匹配。3.根据权利要求2所述的方法，其特征在于，所述图像比对步骤还包括：对于所述待检测图像，将匹配成功的特征点所对应的图像部分设置为纯色，未匹配成功的特征点所对应的图像部分保持不变。4.根据权利要求1至3的任一项所述的方法，其特征在于：所述深度神经网络模型为检测网络(DetectNet)模型。5.根据权利要求4所述的方法，其特征在于，通过以下步骤对所述检测网络模型进行训练和验证：输入步骤：将所述货架上的物体的图片和该物体的标签输入所述检测网络模型；特征抽取和预测步骤：将所述物体的图片切分成若干个网格，对于每个网格内的方块，利用所述检测网络模型中基于谷歌网络(GoogLeNet)的全卷积网络(FCN)进行物体类别和物体边界框的特征抽取和预测；损失度量计算步骤：对于每个网格内的方块，利用损失函数同时计算物体覆盖(objectcoverage)预测和物体边界框(objectbundingbox)预测的损失度量；预测结果生成步骤：通过聚类函数生成预测的对象边界框的最终集合，得到预测结果；和验证步骤：利用均值平均预测(mAP)对所述检测网络模型的性能进行验证。6.一种物体识别装置，...

【专利技术属性】
技术研发人员：王毕才，吕廷迅，谭勇，袁俊，
申请(专利权)人：成都果小美网络科技有限公司，
类型：发明
国别省市：四川,51