餐具和参照物识别方法、装置及存储介质制造方法及图纸

本申请公开了一种餐具和参照物识别方法、装置及存储介质。其中，该方法包括：获取待识别的图像，其中所述图像包括至少一个餐具和/或参照物；以及利用预设的餐具和参照物识别模型对所述图像进行识别，确定所述至少一个餐具和/或参照物的类别以及所述至少一个餐具和/或参照物在所述图像中的位置信息，其中所述餐具和参照物识别模型基于包括多个餐具和多个参照物的样本图像训练得到。

【技术实现步骤摘要】
餐具和参照物识别方法、装置及存储介质
本申请涉及图像识别
，特别是涉及一种餐具和参照物识别方法、装置及存储介质。
技术介绍
随着计算机视觉技术的不断发展，如何使用计算机视觉技术识别出各类餐具在餐饮界越来越受到领域关注，尤其是在当待识别的图像中包含多个复杂状态目标(例如，包含多个餐具以及参照物)时，如何识别出其中的参照物和餐具尤为关键。目前在图像中识别多个目标时，需要首先通过各种预定义框在图像上密集采样，得到多个图像区域子图，然后分别对各个图像区域子图识别出目标的具体类别和定位出目标在图像中的位置，最后通过筛选方式只保留同一位置上识别效果和定位效果相对最好的类别和定位信息，最终输出识别结果。但是，在上述识别过程中，通过预定义框在图像上密集采样的过程中，无法准确的进行目标定位，当目标定位出现问题的情况下，将无法精准的从包含多目标的图像中切分出包含单一目标的图像区域子图，从而导致基于图像区域子图进行识别后得到的识别结果准确率低。针对上述的现有技术中存在的目前的餐具和参照物识别方法无法准确的进行目标定位，当目标定位出现问题的情况下，基于多目标识别的后续切割图像区域子图将无法精准切分，从而导致基于图像区域子图进行识别后得到的识别结果准确率低。
技术实现思路
本公开的实施例提供了一种餐具和参照物识别方法、装置及存储介质，以至少解决现有技术中存在的目前的餐具和参照物识别方法无法准确的进行目标定位，当目标定位出现问题的情况下，基于多目标识别的后续切割图像区域子图将无法精准切分，从而导致基于图像区域子图进行识别后得到的识别结果准确率低。根据本公开实施例的一个方面，提供了一种餐具和参照物识别方法，包括：获取待识别的图像，其中图像包括至少一个餐具和/或参照物；以及利用预设的餐具和参照物识别模型对图像进行识别，确定至少一个餐具和/或参照物的类别以及至少一个餐具和/或参照物在图像中的位置信息，其中餐具和参照物识别模型基于包括多个餐具和多个参照物的样本图像训练得到。根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。根据本公开实施例的另一个方面，还提供了一种餐具和参照物识别装置，包括：图像获取模块，用于获取待识别的图像，其中图像包括至少一个餐具和/或参照物；以及识别及定位模块，用于利用预设的餐具和参照物识别模型对图像进行识别，确定至少一个餐具和/或参照物的类别以及至少一个餐具和/或参照物在图像中的位置信息，其中餐具和参照物识别模型基于包括多个餐具和多个参照物的样本图像训练得到。根据本公开实施例的另一个方面，还提供了一种餐具和参照物识别装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取待识别的图像，其中图像包括至少一个餐具和/或参照物；以及利用预设的餐具和参照物识别模型对图像进行识别，确定至少一个餐具和/或参照物的类别以及至少一个餐具和/或参照物在图像中的位置信息，其中餐具和参照物识别模型基于包括多个餐具和多个参照物的样本图像训练得到。在本公开实施例中，在对餐具和参照物识别过程中，首先获取包括至少一个餐具和/或参照物的待识别的图像，然后不再需要通过各种预定义框在图像上密集采样的方式得到多个图像区域子图，而是直接将待识别的图像输入到预先训练好的餐具和参照物识别模型，由于餐具和参照物识别模型训练时采用的训练数据包含多种餐具和参照物的样本图像，对应标记数据为样本图像所对应的类别和位置，因此将待识别的图像输入到餐具和参照物识别模型之后，餐具和参照物识别模型会同时识别出图像中所有的餐具和参照物，即同时确定图像中的不同的餐具和参照物的类别，并且确定它们在图像中的位置信息。通过这种方式，可以对一张图像中的多个目标进行同时识别，并且定位精准，提高了对餐具和参照物的识别准确度。此外，利用概率密度模型对所确定的位置信息进行精准度评估，能够有效提高定位准确率。进而解决了有技术中存在的目前的餐具和参照物识别方法无法准确的进行目标定位，当目标定位出现问题的情况下，基于多目标识别的后续切割图像区域子图将无法精准切分，从而导致基于图像区域子图进行识别后得到的识别结果准确率低。附图说明此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；图2是根据本公开实施例1所述的餐具和参照物识别方法的流程示意图；图3是根据本公开实施例1所述的包括多个餐具和参照物的待识别的图像的示意图；图4是根据本公开实施例1所述的餐具和参照物识别模型的网络结构示意图；图5是根据本公开实施例2所述的餐具和参照物识别装置的示意图；以及图6是根据本公开实施例3所述的餐具和参照物识别装置的示意图。具体实施方式为了使本
的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1根据本实施例，提供了一种餐具和参照物识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本实施例所提供的方法实施例可以在服务器或者类似的计算设备中执行。图1示出了一种用于实现餐具和参照物识别方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1本文档来自技高网...

【技术保护点】
1.一种餐具和参照物识别方法，其特征在于，包括：/n获取待识别的图像，其中所述图像包括至少一个餐具和/或参照物；以及/n利用预设的餐具和参照物识别模型对所述图像进行识别，确定所述至少一个餐具和/或参照物的类别以及所述至少一个餐具和/或参照物在所述图像中的位置信息，其中所述餐具和参照物识别模型基于包括多个餐具和多个参照物的样本图像训练得到。/n

【技术特征摘要】
1.一种餐具和参照物识别方法，其特征在于，包括：
获取待识别的图像，其中所述图像包括至少一个餐具和/或参照物；以及
利用预设的餐具和参照物识别模型对所述图像进行识别，确定所述至少一个餐具和/或参照物的类别以及所述至少一个餐具和/或参照物在所述图像中的位置信息，其中所述餐具和参照物识别模型基于包括多个餐具和多个参照物的样本图像训练得到。


2.根据权利要求1所述的方法，其特征在于，利用预设的餐具和参照物识别模型对所述图像进行识别，确定所述至少一个餐具和/或参照物的类别以及所述至少一个餐具和/或参照物在所述图像中的位置信息的操作，包括：
利用包括多个卷积层的卷积模型，生成与所述图像对应的第一图像特征；
利用包括多个残差单元的残差网络模型，对所述第一图像特征进行特征提取，生成第二图像特征；
利用包括识别层的识别模型，对所述第二图像特征进行识别，确定所述至少一个餐具和/或参照物的类别；以及
利用包括位置建模层的位置建模模型，对所述第二图像特征进行位置建模，确定所述至少一个餐具和/或参照物在所述图像中的位置信息。


3.根据权利要求1所述的方法，其特征在于，还包括：利用预设的概率密度模型，评估所确定的所述至少一个餐具和/或参照物在所述图像中的位置信息的精准度。


4.根据权利要求2所述的方法，其特征在于，利用包括位置建模层的位置建模模型，对所述第二图像特征进行位置建模，确定所述至少一个餐具和/或参照物在所述图像中的位置信息的操作，包括：
利用所述位置建模模型，确定所述至少一个餐具和/或参照物的中心点在所述图像中的中心点位置信息；
利用所述位置建模模型，确定所述至少一个餐具和/或参照物的宽高信息；以及
根据所述中心点位置信息和所述宽高信息，确定所述至少一个餐具和/或参照物在所述图像中的位置信息。


5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至4中任意一项所述的方法。


6.一种餐具和参照物识别装置，其特征在于，包括：
图像获取模块，用于获取待识别的图像，其中所述图像包括至少一个餐...

【专利技术属性】
技术研发人员：李利明，何伟，石磊，贺志晶，刘涛，
申请(专利权)人：李利明，
类型：发明
国别省市：北京;11