一种绘本识别方法、装置及机器人制造方法及图纸

本申请提供了一种绘本识别方法、装置及机器人，适用于数据处理技术领域，该方法包括：获取绘本的封面图像并发送至服务器；若接收到服务器发送的内页特征数据集以及音频集，获取绘本的内页图像，内页特征数据集和音频集，是服务器在接收到封面图像后，对封面图像进行绘本识别得到绘本标识，并根据得到的绘本标识在本地储存中进行内页特征数据集和音频集调取得到的；基于内页特征数据集对内页图像进行页码识别，得到内页图像的页码；从音频集中查找页码对应的音频，并输出音频。本申请实施例内页识别的过程无需经由过多的网络交互，不存在网络时延等影响，使得绘本识别的效率更高可靠性更强。

A picture book recognition method, device and robot

【技术实现步骤摘要】
一种绘本识别方法、装置及机器人
本申请属于图像识别
，尤其涉及绘本识别方法及机器人。
技术介绍
绘本是指一类以绘画为主并附有少量文字的书籍。绘本不仅可用于讲故事、学知识，而且可以全面帮助孩子建构精神，培养多元智能。绘本识别是一种图像检索技术，为的是能够准确识别出用户当前翻阅的是哪一本绘本，以及具体是绘本中的哪一页内容，以保证后续对绘本内容播报的准确可靠。由于受限于本地机器人嵌入式设备的存储、内存、计算能力的影响，相关的技术都是在云端服务器做绘本封面和内页的识别，并由机器人在接收到服务器发送的内页对应音频之后，对音频进行播放，但这样识别的效率、准确性和可靠性都较低。
技术实现思路
有鉴于此，本申请实施例提供了一种绘本识别方法及机器人，可解决绘本识别效率和可靠性较低的问题。本申请实施例的第一方面提供了一种绘本识别方法，包括：获取绘本的封面图像并发送至服务器；若接收到所述服务器发送的内页特征数据集以及音频集，获取所述绘本的内页图像，所述内页特征数据集和所述音频集，是所述服务器在接收到所述封面图像后，对所述封面图像进行绘本识别得到绘本标识，并根据得到的绘本标识在本地储存中进行内页特征数据集和音频集调取得到的；基于所述内页特征数据集对所述内页图像进行页码识别，得到所述内页图像的页码；从所述音频集中查找所述页码对应的音频，并输出所述音频。在第一方面的第一种可能的实现方式中，所述获取所述绘本的内页图像，包括：对所述绘本进行翻页识别；若所述绘本被翻页，获取翻页后所述绘本的内页图像。基于第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述对所述绘本进行翻页识别，包括：对所述绘本进行实时视频采集，并对采集的视频进行连续帧的图像比对；若连续两帧图像的差异度大于第一差异阈值，将所述绘本的状态设置为第一状态；当所述绘本的状态为第一状态时，对所述视频进行连续帧的图像比对，并检测所述视频中最新一帧图像的图像质量；若连续n帧图像中，相邻帧图像的差异度均小于第二差异阈值，且所述图像质量大于质量阈值，则将所述绘本的状态更新为第二状态，并判定所述绘本被翻页，其中，n为大于2的正整数，所述第一差异阈值大于或等于所述第二差异阈值。基于第一方面的第一种和第二种可能的实现方式的实现方式，在第一方面的第三种可能的实现方式中，所述内页特征数据集中包含，对所述绘本内各张内页的样本图像分别进行透视变换，并对各张内页的样本图像以及透视变换得到的图像进行特征点提取后，得到的多组样本特征点数据，以及每组所述样本特征点数据对应内页的页码，其中，每组所述样本特征点数据中包含多个样本特征点，且每张内页对应多组所述样本特征点数据，所述基于所述内页特征数据集对所述内页图像进行页码识别，包括：对所述内页图像进行特征点提取，得到所述内页图像对应的一组内页特征点数据，并利用所述内页特征点数据，对各组所述样本特征点数据分别进行特征点匹配；对所述样本特征点数据中匹配成功的样本特征点进行异常匹配点剔除，并统计异常匹配点剔除操作后，每组所述样本特征点数据中匹配成功的样本特征点数量；根据匹配成功的样本特征点数量，筛选出匹配成功的所述样本特征点数据，并将匹配成功的所述样本特征点数据对应的页码，作为所述内页图像的页码。本申请实施例的第二方面提供了一种绘本识别方法，包括：机器人获取绘本的封面图像并发送至服务器；所述服务器对接收到的所述封面图像进行绘本识别，得到所述封面图像对应的绘本标识；所述服务器在本地储存中调取所述绘本标识对应的内页特征数据集和音频集，并将调取出的内页特征数据集和音频集发送至所述机器人；若接收到所述内页特征数据集和所述音频集，所述机器人获取所述绘本的内页图像；所述机器人基于所述内页特征数据集对所述内页图像进行页码识别，得到所述内页图像的页码；所述机器人从所述音频集中查找所述页码对应的音频，并输出所述音频。在第二方面的第一种可能的实现方式中，所述服务器对接收到的所述封面图像进行绘本识别，得到所述封面图像对应的绘本标识，包括：对所述封面图像进行特征点提取，得到所述封面图像对应的一组封面特征点数据；利用所述封面特征点数据，对封面特征点数据集内的各组封面特征点数据进行特征点匹配，其中，所述封面特征点数据集内包含多组样本特征点数据，以及每组所述样本特征点数据对应封面的绘本标识，多组样本特征点数据，是所述服务器对多个绘本封面的第一样本图像分别进行透视变换，并对各绘本封面的第一样本图像以及透视变换得到的第二样本图像进行特征点提取后得到的；若存在匹配成功的封面特征点数据，将所述匹配成功的封面特征点数据对应的绘本标识，作为所述封面图像的绘本标识。基于第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述利用所述封面特征点数据，对封面特征点数据集内的各组封面特征点数据进行特征点匹配，包括：获取多个绘本封面的所述第一样本图像以及所述第二样本图像，利用所述封面图像对所述第一样本图像和所述第二样本图像进行图像检索，并将检索出的所述第一样本图像和所述第二样本图像作为目标图像；从所述封面特征点数据集中提取出各个所述目标图像的样本特征点数据，并将提取出的样本特征点数据作为目标特征点数据；利用所述封面特征点数据，对各个所述目标特征点数据进行特征点匹配；对所述目标特征点数据中匹配成功的特征点进行异常匹配点剔除，并统计异常匹配点剔除操作后，每个所述目标特征点数据匹配成功的特征点数量；若最大匹配成功的特征点数量大于第一数量阈值，则将最大匹配成功的特征点数量对应的所述目标特征点数据，作为与所述封面特征点数据匹配成功的封面特征点数据。基于第二方面的第一种和第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述服务器对封面特征点数据集的构建过程，包括：获取多个绘本封面的所述第一样本图像，以及各张所述第一样本图像对应的绘本标识；对各张所述第一样本图像分别进行透视变换，得到与各张所述第一样本图像分别对应的所述第二样本图像，其中，每张所述第一样本图像对应多张不同透视变换角度的所述第二样本图像；将所述第一样本图像对应的绘本标识，映射为与所述第一样本图像对应的所述第二样本图像的绘本标识；对每张所述第一样本图像和所述第二样本图像分别进行特征点提取，得到一一对应的多组封面特征点数据；将每组所述封面特征点数据，与对应的所述第一样本图像或所述第二样本图像的绘本标识进行关联存储，得到所述封面特征点数据集。在第二方面的第四种可能的实现方式中，所述机器人获取所述绘本的内页图像，包括：所述机器人对所述绘本进行翻页识别；若所述绘本被翻页，所述机器人获取翻页后所述绘本的内页图像。基于第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述机器人对所本文档来自技高网...

【技术保护点】
1.一种绘本识别方法，其特征在于，包括：/n获取绘本的封面图像并发送至服务器；/n若接收到所述服务器发送的内页特征数据集以及音频集，获取所述绘本的内页图像，所述内页特征数据集和所述音频集，是所述服务器在接收到所述封面图像后，对所述封面图像进行绘本识别得到绘本标识，并根据得到的绘本标识在本地储存中进行内页特征数据集和音频集调取得到的；/n基于所述内页特征数据集对所述内页图像进行页码识别，得到所述内页图像的页码；/n从所述音频集中查找所述页码对应的音频，并输出所述音频。/n

【技术特征摘要】
1.一种绘本识别方法，其特征在于，包括：
获取绘本的封面图像并发送至服务器；
若接收到所述服务器发送的内页特征数据集以及音频集，获取所述绘本的内页图像，所述内页特征数据集和所述音频集，是所述服务器在接收到所述封面图像后，对所述封面图像进行绘本识别得到绘本标识，并根据得到的绘本标识在本地储存中进行内页特征数据集和音频集调取得到的；
基于所述内页特征数据集对所述内页图像进行页码识别，得到所述内页图像的页码；
从所述音频集中查找所述页码对应的音频，并输出所述音频。


2.如权利要求1所述的绘本识别方法，其特征在于，所述获取所述绘本的内页图像，包括：
对所述绘本进行翻页识别；
若所述绘本被翻页，获取翻页后所述绘本的内页图像。


3.如权利要求2所述的绘本识别方法，其特征在于，所述对所述绘本进行翻页识别，包括：
对所述绘本进行实时视频采集，并对采集的视频进行连续帧的图像比对；
若连续两帧图像的差异度大于第一差异阈值，将所述绘本的状态设置为第一状态；
当所述绘本的状态为第一状态时，对所述视频进行连续帧的图像比对，并检测所述视频中最新一帧图像的图像质量；
若连续n帧图像中，相邻帧图像的差异度均小于第二差异阈值，且所述图像质量大于质量阈值，则将所述绘本的状态更新为第二状态，并判定所述绘本被翻页，其中，n为大于2的正整数，所述第一差异阈值大于或等于所述第二差异阈值。


4.如权利要求1至3任意一项所述的绘本识别方法，其特征在于，所述内页特征数据集中包含，对所述绘本内各张内页的样本图像分别进行透视变换，并对各张内页的样本图像以及透视变换得到的图像进行特征点提取后，得到的多组样本特征点数据，以及每组所述样本特征点数据对应内页的页码，其中，每组所述样本特征点数据中包含多个样本特征点，且每张内页对应多组所述样本特征点数据，
所述基于所述内页特征数据集对所述内页图像进行页码识别，包括：
对所述内页图像进行特征点提取，得到所述内页图像对应的一组内页特征点数据，并利用所述内页特征点数据，对各组所述样本特征点数据分别进行特征点匹配；
对所述样本特征点数据中匹配成功的样本特征点进行异常匹配点剔除，并统计异常匹配点剔除操作后，每组所述样本特征点数据中匹配成功的样本特征点数量；
根据匹配成功的样本特征点数量，筛选出匹配成功的所述样本特征点数据，并将匹配成功的所述样本特征点数据对应的页码，作为所述内页图像的页码。


5.一种绘本识别方法，其特征在于，包括：
机器人获取绘本的封面图像并发送至服务器；
所述服务器对接收到的所述封面图像进行绘本识别，得到所述封面图像对应的绘本标识；
所述服务器在本地储存中调取所述绘本标识对应的内页特征数据集和音频集，并将调取出的内页特征数据集和音频集发送至所述机器人；
若接收到所述内页特征数据集和所述音频集，所述机器人获取所述绘本的内页图像；
所述机器人基于所述内页特征数据集对所述内页图像进行页码识别，得到所述内页图像的页码；
所述机器人从所述音频集中查找所述页码对应的音频，并输出所述音频。


6.如权利要求5所述的绘本识别方法，其特征在于，所述服务器对接收到的所述封面图像进行绘本识别，得到所述封面图像对应的绘本标识，包括：
对所述封面图像进行特征点提取，得到所述封面图像对应的一组封面特征点数据；

【专利技术属性】
技术研发人员：顾景，李扬，王玥，刘傲，程骏，庞建新，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44