绘本识别方法、终端设备及计算机可读存储介质技术

本申请公开了绘本识别方法、终端设备及计算机可读存储介质，绘本识别方法，包括：获取待识别绘本页面的待识别图像；对待识别图像上的多个图像区域进行特征提取，以获得多个待匹配特征；将多个待匹配特征分别与样本特征数据库中的多个样本特征进行相似度匹配，其中多个样本特征划分成多个类别，每个类别下的样本特征为对同一样本绘本页面的多个样本图像进行特征提取获得的；为每个待匹配特征选择预定数量的相似度最高的样本特征，以作为匹配样本；根据匹配样本所属的类别确定最佳匹配类别。通过该方法，能够提高绘本的识别率及识别结果的准确度。

Picture book recognition method, terminal equipment and computer readable storage medium

【技术实现步骤摘要】
绘本识别方法、终端设备及计算机可读存储介质
本申请涉及图像处理
，特别是涉及绘本识别方法、终端设备及计算机可读存储介质。
技术介绍
绘本，即图画书，是一类以绘画为主，并附有少量文字的书籍。绘本阅读是目前众多的面向儿童教育的AI(人工智能)机器人产品的重要功能之一，该功能解决了父母无时间陪伴儿童阅读的痛点，这两年逐渐成为诸多定位高端的AI低幼陪伴机器人的重要配置，且近两年深受教育市场欢迎与关注。绘本识别作为绘本阅读机器人的重要核心技术，通过对图像书页内容的自动判识，进而从海量数据库检索相应的教学资源，能够有效的提高学习效率，弥补教育资源分配的不足。如何提高绘本的识别率及识别结果的准确度则成为绘本识别中的重要问题。
技术实现思路
本申请主要解决的技术问题提供一种绘本识别方法、设备及计算机可读存储介质，能够提高绘本的识别率及识别结果的准确度。为解决上述技术问题，本申请采用的一个技术方案是：提供一种绘本识别方法，该方法包括：获取待识别绘本页面的待识别图像；对待识别图像上的多个图像区域进行特征提取，以获得多个待匹配特征；将多个待匹配特征分别与样本特征数据库中的多个样本特征进行相似度匹配，其中多个样本特征划分成多个类别，每个类别下的样本特征为对同一样本绘本页面的多个样本图像进行特征提取获得的；为每个待匹配特征选择预定数量的相似度最高的样本特征，以作为匹配样本；根据匹配样本所属的类别确定最佳匹配类别。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种终端设备，该终端设备包括处理器和与处理器电连接的存储器，存储器用于存储程序数据，处理器用于执行程序数据以实现上述的方法。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序数据，程序数据在被处理器执行时，用以实现上述的方法。本申请的有益效果是：区别于现有技术的情况，由于绘本页面的图像通常由简单的图案构成，本申请的绘本识别方法，通过获取待识别绘本页面的待识别图像，并对待识别图像上的多个图像区域进行特征提取，以获得对应多个不同的图像区域的多个待匹配特征，从而能够提高获取到有效特征的概率，再将多个待匹配特征分别与样本特征数据库中的多个样本特征进行相似度匹配，按照相似度由高到低的顺序，为每个待匹配特征选择预定数量的样本特征，以作为匹配样本，即一个匹配样本对应一个待匹配特征，其中多个样本特征划分成多个类别，每个类别下的样本特征为对同一样本绘本页面的多个样本图像进行特征提取获得的，因而根据匹配样本所属的类别确定最佳匹配类别，即可确定待识别绘本页面所对应最相似的样本绘本页面，从而能够提高绘本的识别率及识别结果的准确度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的绘本识别方法一实施例的流程示意图；图2是本申请提供的绘本识别方法一实施例的图像区域的示意图；图3是本申请提供的绘本识别方法一实施例中步骤S150的具体流程示意图；图4是本申请提供的绘本识别方法另一实施例的流程示意图；图5是本申请提供的绘本识别方法另一实施例中步骤S220的具体流程示意图；图6是本申请提供的终端设备实施例的结构示意图；图7是本申请提供的计算机可读存储介质实施例的示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。请参阅图1和图2，图1是本申请提供的绘本识别方法一实施例的流程示意图。图2是本申请提供的绘本识别方法一实施例的图像区域的示意图。本实施例的绘本识别方法100，包括以下步骤：S110：获取待识别绘本页面的待识别图像。在绘本阅读过程中，可以是通过使用图像采集部件(如摄像头)拍摄待识别绘本中的页面，以获取待识别绘本页面的待识别图像。该待识别图像可作为搜索图像，并以此为依据来进行绘本识别。S120：对待识别图像上的多个图像区域进行特征提取，以获得多个待匹配特征。多个图像区域可以是2个、3个、4个、5个或更多。图像区域可以是待识别图像的整体图像区域，也可以是待识别图像的局部图像区域。多个图像区域可同时包括待识别图像的整体图像区域和待识别图像的局部图像区域。绘本页面的图像通常由简单的图案构成，若仅提取待识别图像的局部特征，由于局部特征提取只有在纹理丰富的区域才能提取到有效的特征，因此可能无法提取到有效的局部特征。且不同绘本页面的图像中可能包含相同的局部特征。本实施例中，通过对待识别图像上的多个图像区域进行特征提取，能够获得对应多个不同的图像区域的多个待匹配特征，从而提高获取到有效特征的概率，能够为更好的区分不同页面的图像提供搜索依据，进而提高绘本的识别率。S130：将多个待匹配特征分别与样本特征数据库中的多个样本特征进行相似度匹配。其中，多个样本特征划分成多个类别，每个类别下的样本特征为对同一样本绘本页面的多个样本图像进行特征提取获得的。同一样本绘本页面的多个样本图像进行特征提取后，所得到的样本特征属于同一类别，这样在匹配到样本特征时就能知道该特征对应是哪本绘本的哪一页。S140：为每个待匹配特征选择预定数量的相似度最高的样本特征，以作为匹配样本。按照相似度由高到低的顺序，为每个待匹配特征选择预定数量的样本特征，以作为匹配样本。每一匹配样本可均包括多个样本特征。S150：根据匹配样本所属的类别确定最佳匹配类别。由于待匹配特征的数量本文档来自技高网...

【技术保护点】
1.一种绘本识别方法，其特征在于，所述方法包括：/n获取待识别绘本页面的待识别图像；/n对所述待识别图像上的多个图像区域进行特征提取，以获得多个待匹配特征；/n将所述多个待匹配特征分别与样本特征数据库中的多个样本特征进行相似度匹配，其中所述多个样本特征划分成多个类别，每个所述类别下的所述样本特征为对同一样本绘本页面的多个样本图像进行特征提取获得的；/n为每个所述待匹配特征选择预定数量的相似度最高的样本特征，以作为匹配样本；/n根据所述匹配样本所属的所述类别确定最佳匹配类别。/n

【技术特征摘要】
1.一种绘本识别方法，其特征在于，所述方法包括：
获取待识别绘本页面的待识别图像；
对所述待识别图像上的多个图像区域进行特征提取，以获得多个待匹配特征；
将所述多个待匹配特征分别与样本特征数据库中的多个样本特征进行相似度匹配，其中所述多个样本特征划分成多个类别，每个所述类别下的所述样本特征为对同一样本绘本页面的多个样本图像进行特征提取获得的；
为每个所述待匹配特征选择预定数量的相似度最高的样本特征，以作为匹配样本；
根据所述匹配样本所属的所述类别确定最佳匹配类别。


2.根据权利要求1所述的方法，其特征在于，所述对所述待识别图像上的多个图像区域进行特征提取的步骤包括：
从所述待识别图像的整体图像区域以及以所述整体图像区域的顶角为起点，从所述整体图像区域截取出的局部图像区域进行特征提取。


3.根据权利要求1所述的方法，其特征在于，所述根据所选择的所述样本特征所属的所述类别确定最佳匹配类别的步骤包括：
针对每个所述待匹配特征，确定包含所述匹配样本最多的所述类别作为候选匹配类别；
若所述多个待匹配特征的所述候选匹配类别为同一类别的数量大于预设的数量阈值，且各所述待匹配特征与对应的匹配样本之间的特征距离大于预设的距离阈值，则将所述同一类别作为所述最佳匹配类别。


4.根据权利要求1所述的方法，其特征在于，所述获取待识别绘本页面的待识别图像的步骤之前，进一步包括：
获取样本绘本页面的样本图像，其中每个所述样本绘本页面分别对应多个样本图像；
利用预先训练好的特征提取模型对所述样本图像进行特征提取，以获得所述样本特...

【专利技术属性】
技术研发人员：李扬，顾景，王玥，程骏，庞建新，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44