【技术实现步骤摘要】
绘本识别方法、装置及机器人
本申请属于计算机视觉中的图像识别
,尤其涉及绘本识别方法、装置、机器人及计算机可读存储介质。
技术介绍
绘本,即图画书,是一类以绘画为主,并附有少量文字的书籍。绘本阅读是目前众多的面向儿童教育的人工智能(ArtificialIntelligence,AI)机器人产品的重要功能之一,该功能解决了父母无时间陪伴儿童阅读的痛点,这两年逐渐成为诸多定位高端的AI低幼陪伴机器人的重要配置,即使该功能的单一产品如伴读器等也在近两年深受教育市场欢迎与关注。绘本识别作为绘本阅读机器人的重要核心技术,其通过摄像头拍摄绘本的图像作为搜索图像,再通过图像检索算法来识别具体是哪一本绘本。但现有的图像检索算法主要通过提取绘本的局部特征,再将提取的绘本的局部特征与数据库中的特征进行匹配来实现图像的检索。由于局部特征提取有可能提取不到有效的特征,因此导致部分绘本不能识别。故,需要提出一种新的方法以解决上述技术问题。
技术实现思路
本申请实施例提供了绘本识别方法,可以解决上述现有技术存在 ...
【技术保护点】
1.一种绘本识别方法,其特征在于,包括:/n获取待识别绘本的特征点数量;/n根据所述特征点数量划分所述待识别绘本的绘本类型,所述绘本类型包括:第一类型绘本和第二类型绘本,其中,所述第一类型绘本的特征点数量小于预设的数量阈值,所述第二类型绘本的特征点数量大于或等于预设的数量阈值;/n若所述待识别绘本的绘本类型为第一类型绘本,则通过基于卷积神经网络模型的特征比对算法识别所述第一类型绘本;/n若所述待识别绘本的绘本类型为第二类型绘本,则通过非基于卷积神经网络模型的特征比对算法识别所述第二类型绘本。/n
【技术特征摘要】
1.一种绘本识别方法,其特征在于,包括:
获取待识别绘本的特征点数量;
根据所述特征点数量划分所述待识别绘本的绘本类型,所述绘本类型包括:第一类型绘本和第二类型绘本,其中,所述第一类型绘本的特征点数量小于预设的数量阈值,所述第二类型绘本的特征点数量大于或等于预设的数量阈值;
若所述待识别绘本的绘本类型为第一类型绘本,则通过基于卷积神经网络模型的特征比对算法识别所述第一类型绘本;
若所述待识别绘本的绘本类型为第二类型绘本,则通过非基于卷积神经网络模型的特征比对算法识别所述第二类型绘本。
2.如权利要求1所述的绘本识别方法,其特征在于,在所述通过基于卷积神经网络模型的特征比对算法识别所述第一类型绘本之前,或,在所述通过非基于卷积神经网络模型的特征比对算法识别所述第二类型绘本之前,包括:
获取所述待识别绘本的封面图像;
根据所述封面图像获取待识别绘本的基本信息,所述基本信息至少包括书名信息、作者信息和出版社信息中的任意一种;
根据所述待识别绘本的基本信息对所述待识别绘本进行初次筛选,得到初次筛选结果;
对应地,所述通过基于卷积神经网络模型的特征比对算法识别所述第一类型绘本具体包括:
以所述初次筛选结果为依据,通过基于卷积神经网络模型的特征比对算法识别所述第一类型绘本;
对应地,所述通过非基于卷积神经网络模型的特征比对算法识别所述第二类型绘本包括:
以所述初次筛选结果为依据,通过非基于卷积神经网络模型的特征比对算法识别所述第二类型绘本。
3.如权利要求2所述的绘本识别方法,其特征在于,以所述初次筛选结果为依据,所述通过基于卷积神经网络模型的特征比对算法识别所述第一类型绘本,包括:
获取所述第一类型绘本中将要识别的内页的图像;
从所述内页的图像中截取第一预设个数的区域图像;
根据已训练的卷积神经网络模型从所述内页的图像以及所述区域图像中分别提取特征向量;
将提取的特征向量分别与数据库存储的特征向量匹配,所述数据库存储的特征向量为所述初次筛选结果所包括的绘本的特征向量;
若所述数据库存储的特征向量存在与所述提取的特征向量匹配的特征向量,且匹配的特征向量指向的匹配类别中存在第二预设个数的相同的匹配类别,则输出所述第一类型绘本的识别结果,其中,所述匹配类别为匹配的特征向量指向的类别,所述识别结果包括所述相同的匹配类别的类别信息,其中,一张内页对应一个类别。
4.如权利要求3所述的绘本识别方法,其特征在于,所述则输出所述第一类型绘本的识别结果,包括:
若所述第二预设个数的相同的匹配类别对应的特征向量之间的距离小于或等于预设的距离阈值,则输出所述第一类型绘本的识别结果。
5.如权利要求3所述的绘本识别方法,其特征在于,所述卷积神经网络模型根据以下方式训练:
采集不同绘本的每一张内页的N张图像,N...
【专利技术属性】
技术研发人员:顾景,李扬,王玥,程骏,庞建新,熊友军,
申请(专利权)人:深圳市优必选科技股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。