视觉识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种视觉识别方法、装置、设备及存储介质，该方法包括：若监测到用户拿取目标，则采集视频帧图片；确定每帧图片中的目标的感兴趣区域；提取每帧图片中的目标的感兴趣区域形成每帧目标图片；对每帧目标图片进行缩放处理，获得每帧目标缩放图片；采用第一目标检测算法对每帧目标缩放图片进行视觉识别，以获得识别结果。由于对每帧图片进行无效区域的排除，提取出目标的感兴趣区域进行缩放处理后作为第一目标检测算法的输入图片，放大了目标的感兴趣区域的比例，所以提高了目标的检出率和准确率。

【技术实现步骤摘要】
视觉识别方法、装置、设备及存储介质
本专利技术实施例涉及计算机视觉
，尤其涉及一种视觉识别方法、装置、设备及存储介质。
技术介绍
随着移动互联网及人工智能的发展，涌现了无人售货柜，无人售货超市等来满足人们的购物需求，提高人们的购物体验。在无人售货柜或无人售货超市购物时，需要在人们从货架上选购商品的过程中对商品进行自动视觉识别。目标的视觉识别方法是通过架设在货架顶部的传感器采集包含目标的图像或视频序列并利用计算机视觉技术对图像或视频序列中的目标进行检测，实现对目标的分类，达到识别的结果。现有技术中，对目标的视觉识别方法主要有基于图像匹配的视觉识别方法，基于特征向量比对的视觉识别方法或基于深度学习的视觉识别方法。基于图像匹配的视觉识别方法中，利用图像的特征点进行匹配，根据采集的目标图片与注册库中的匹配度进行识别分类。基于特征向量比对的视觉识别方法提取采集的图片内目标的特征向量，并与注册库中的物品的特征向量进行距离度量判断相似度从而进行视觉识别。基于深度学习的视觉识别方法运用目标检测算法对图片中的目标进行目标定位，从而达到视觉识别的结果。目标检测算法可以为SSD算法。现有技术中的基于图像匹配的视觉识别方法和基于特征向量比对的视觉识别方法受光线变化和目标姿态变化的影响较大，并且算法复杂，耗时长。而现有技术中的基于SSD算法视觉识别方法虽然受光线变化和目标姿态变化的影响小，耗时短，但由于目标在无人售货柜或无人售货超市的货架上分多层摆放，架在顶部的摄像头拍摄的画面中的远景目标过小，导致基于SSD算法视觉识别方法的目标检出率和准确率都大大降低。
技术实现思路
本专利技术实施例提供一种视觉识别方法、装置、设备及存储介质，解决了现有技术中视觉识别方法受光线变化和目标姿态变化的影响小，耗时短，架在顶部的摄像头拍摄的画面中的远景目标过小，导致基于SSD算法视觉识别方法的目标检出率和准确率都大大降低的技术问题。第一方面，本专利技术实施例提供一种视觉识别方法，包括：若监测到拾取方拿取目标，则采集视频帧图片；确定每帧图片中的目标的感兴趣区域；提取所述每帧图片中的目标的感兴趣区域形成每帧目标图片；对所述每帧目标图片进行缩放处理，获得每帧目标缩放图片；采用第一目标检测算法对每帧目标缩放图片进行视觉识别，以获得识别结果。第二方面，本专利技术实施例提供一种视觉识别装置，包括：视频帧图片采集单元，用于若监测到拾取方拿取目标，则采集视频帧图片；目标感兴趣区域确定单元，用于确定每帧图片中的目标的感兴趣区域；目标感兴趣区域提取单元，用于提取所述每帧图片中的目标的感兴趣区域形成每帧目标图片；目标图片缩放单元，用于对所述每帧目标图片进行缩放处理，获得每帧目标缩放图片；目标识别单元，用于采用第一目标检测算法对每帧目标缩放图片进行视觉识别，以获得识别结果。第三方面，本专利技术实施例提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；视频帧采集装置，用于采集视频帧图片；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一项所述的方法。第四方面，本专利技术实施例提供一种可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。基于以上各方面，本专利技术实施例提供一种视觉识别方法、装置、设备及存储介质，通过若监测到拾取方拿取目标，则采集视频帧图片；确定每帧图片中的目标的感兴趣区域；提取每帧图片中的目标的感兴趣区域形成每帧目标图片；对每帧目标图片进行缩放处理，获得每帧目标缩放图片；采用第一目标检测算法对每帧目标缩放图片进行视觉识别，以获得识别结果。由于对每帧图片进行无效区域的排除，提取出目标的感兴趣区域进行缩放处理后作为SSD算法的输入图片，放大了目标的感兴趣区域的比例，所以即使对于物理位置较低的目标，也能够满足第一目标检测算法对目标的大小需求，避免由于目标过小导致目标检测准确率，检出率较低的问题，提高了目标的检出率和准确率。应当理解，上述
技术实现思路
部分中所描述的内容并非旨在限定本专利技术的实施例的关键或重要特征，亦非用于限制本专利技术的范围。本专利技术的其它特征将通过以下的描述变得容易理解。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的视觉识别方法的一种应用场景图；图2为本专利技术实施例一提供的视觉识别方法的流程图；图3为本专利技术实施例二提供的视觉识别方法的流程图；图4为本专利技术实施例二提供的视觉识别方法中步骤302的流程图；图5为本专利技术实施例二提供的视觉识别方法中步骤303的流程图；图6为本专利技术实施例二提供的视觉识别方法中步骤303b的流程图；图7为本专利技术实施例二中确定目标的感兴趣区域的第一示意图；图8为本专利技术实施例二中确定目标的感兴趣区域的第二示意图；图9为本专利技术实施例二中步骤306中确定每帧目标缩放图片中的目标类别的流程图；图10为本专利技术实施例三提供的视觉识别装置的结构示意图；图11为本专利技术实施例四提供的视觉识别装置的结构示意图；图12为本专利技术实施例五提供的电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本专利技术的实施例。虽然附图中显示了本专利技术的某些实施例，然而应当理解的是，本专利技术可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本专利技术。应当理解的是，本专利技术的附图及实施例仅用于示例性作用，并非用于限制本专利技术的保护范围。本专利技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了清楚理解本申请的技术方案，下面对本申请中涉及的算法进行解释：深度学习模型：深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。SSD算法：SSD算法为基于深度学本文档来自技高网...

【技术保护点】
1.一种视觉识别方法，其特征在于，包括：/n若监测到拾取方拿取目标，则采集视频帧图片；/n确定每帧图片中的目标的感兴趣区域；/n提取所述每帧图片中的目标的感兴趣区域形成每帧目标图片；/n对所述每帧目标图片进行缩放处理，获得每帧目标缩放图片；/n采用第一目标检测算法对每帧目标缩放图片进行视觉识别，以获得识别结果。/n

【技术特征摘要】
1.一种视觉识别方法，其特征在于，包括：
若监测到拾取方拿取目标，则采集视频帧图片；
确定每帧图片中的目标的感兴趣区域；
提取所述每帧图片中的目标的感兴趣区域形成每帧目标图片；
对所述每帧目标图片进行缩放处理，获得每帧目标缩放图片；
采用第一目标检测算法对每帧目标缩放图片进行视觉识别，以获得识别结果。


2.根据权利要求1所述的方法，其特征在于，所述确定每帧图片中的目标的感兴趣区域，具体包括：
检测每帧图片中的拾取方的感兴趣区域；
根据所述每帧图片中的拾取方的感兴趣区域确定每帧图片中的目标的感兴趣区域。


3.根据权利要求2所述的方法，其特征在于，所述检测每帧图片中的拾取方的感兴趣区域，具体包括：
对所述每帧图片进行缩小处理；
采用第二目标检测算法检测缩小后的每帧图片中的拾取方的感兴趣区域。


4.根据权利要求2所述的方法，其特征在于，所述根据所述每帧图片中的拾取方的感兴趣区域确定每帧图片中的目标的感兴趣区域，具体包括：
若未检测到某帧图片的拾取方的感兴趣区域，则确定该帧图片中的目标的感兴趣区域为全图区域；
若检测到某帧图片的拾取方的感兴趣区域，则根据该帧图片的拾取方的感兴趣区域的个数确定每帧图片中的目标的感兴趣区域。


5.根据权利要求4所述的方法，其特征在于，所述拾取方的感兴趣区域为矩形框区域，所述根据该帧图片的拾取方的感兴趣区域的个数确定每帧图片中的目标的感兴趣区域，具体包括：
若该帧图片的拾取方的感兴趣区域为一个，则按照所述拾取方的感兴趣区域的长度和宽度的最大值的预设倍数从所述拾取方的感兴趣区域的中心点向四周确定该帧图片中的目标的感兴趣区域；
若该帧图片的拾取方的感兴趣区域为两个，则分别确定每个拾取方的感兴趣区域对应的待定目标的感兴趣区域，将包含两个待定目标的感兴趣区域的最小矩形区域确定为该帧图片的目标的感兴趣区域。


6.根据权利要求1所述的方法，其特征在于，所述采用第一目标检测算法对每帧目标缩放图片进行视觉识别，以获得识别结果，具体包括：
采用第一SSD算法对每帧目标缩放图片进行视觉识别，确定每帧目标缩放图片中的目标类别和数量；
若连续N帧识别出的每...

【专利技术属性】
技术研发人员：李耀波，刘旭，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11