用于绘本的内容识别方法及装置制造方法及图纸

本发明专利技术提供的用于绘本的内容识别方法，其包含：步骤一：对绘本进行图像采集，采集得到包含绘本封面信息的封面图像数据以及包含绘本内页信息的内页图像数据；步骤二：对封面图像数据进行内容识别，记录内容识别成功时对应的用于表征绘本摆放角度的矫正角度信息；步骤三：在进行内页识别过程时，调取矫正角度信息，对内页图像数据进行内页角度转换，得到转换后的内页图像数据；步骤四：对转换后的内页图像数据进行内容识别。本发明专利技术能够在儿童专用智能设备的支持下对绘本封面以及内页进行内容识别，辅助儿童进行绘本阅读；并且，在进行绘本内容识别时，可以进行多角度的封面识别，克服歪斜的绘本摆放角度对于内容识别的影响。

Content recognition method and device for picture book

【技术实现步骤摘要】
用于绘本的内容识别方法及装置
本专利技术涉及人工智能领域，具体地说，涉及一种用于绘本的内容识别方法及装置。
技术介绍
绘本起源于19世纪后半叶的欧美，是发达国家家庭首选的儿童读物，国际公认“绘本是最适合幼儿阅读的图书”，形式丰富、以小见大，因此绘本成为了儿童启蒙教育的新潮流。绘本一般指一类以绘画为主，并附有少量文字的书籍。绘本不仅是讲故事，学知识，而且可以全面帮助儿童建构精神世界，培养多元智能。在儿童尚小的时候，接触绘本进行阅读远比直接接触文字繁多的书籍上手度要更快，阅读绘本也是培养儿童阅读习惯的一个首选方式。但是，在实际使用中，儿童阅读绘本的时候，通常不是将绘本正放在桌面上，而是经常的移动或者歪斜着放在桌面上，这样一来，歪斜的绘本角度对于用于识别绘本内容的设备在进行绘本内容识别时有比较大的影响，会降低绘本识别的成功率。因此，本专利技术提供了一种用于绘本的内容识别方法及装置。
技术实现思路
为解决上述问题，本专利技术提供了一种用于绘本的内容识别方法，所述方法包含以下步骤：步骤一：对所述绘本进行图像采集，采集得到包含绘本封面信息的封面图像数据以及包含绘本内页信息的内页图像数据；步骤二：对所述封面图像数据进行内容识别，记录内容识别成功时对应的用于表征绘本摆放角度的矫正角度信息；步骤三：在进行内页识别过程时，调取所述矫正角度信息，对所述内页图像数据进行内页角度转换，得到转换后的内页图像数据；步骤四：对转换后的内页图像数据进行内容识别。根据本专利技术的一个实施例，所述步骤一中还包含：对采集得到的所述封面图像数据以及所述内页图像数据进行去重处理，删除重复的图像，得到去重后的封面图像数据以及内页图像数据。根据本专利技术的一个实施例，所述步骤二中还包含：将所述封面图像数据上传至云端，进行图像检索以通过所述云端进行内容识别。根据本专利技术的一个实施例，所述步骤二中还包含：通过全视角识别方式，依次采用多个矫正角度对所述封面图像数据进行内容识别，确定内容识别成功时对应的矫正角度信息；将当前得到的矫正角度信息与当前的儿童专用智能设备的唯一识别码进行绑定，并存储在角度数据库中。根据本专利技术的一个实施例，所述步骤三中还包含以下步骤：在进行内页识别过程时，识别儿童专用智能设备的唯一识别码并在所述角度数据库中进行搜索，确定匹配的矫正角度信息；基于匹配的矫正角度信息对所述内页图像数据中包含的内页图像进行角度旋转，得到转换后的内页图像数据。根据本专利技术的一个实施例，所述步骤四还包含：将转换后的内页图像数据上传至所述云端，通过所述云端进行内容识别得到多模态输出数据。根据本专利技术的一个实施例，所述方法还包括：获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。根据本专利技术的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种用于绘本的内容识别装置，所述装置包含：第一模块：其用于对所述绘本进行图像采集，采集得到包含绘本封面信息的封面图像数据以及包含绘本内页信息的内页图像数据；第二模块：其用于对所述封面图像数据进行内容识别，记录内容识别成功时对应的用于表征绘本摆放角度的矫正角度信息；第三模块：其用于在进行内页识别过程时，调取所述矫正角度信息，对所述内页图像数据进行内页角度转换，得到转换后的内页图像数据；第四模块：其用于对转换后的内页图像数据进行内容识别。根据本专利技术的另一个方面，还提供了一种儿童专用智能设备，用于执行如上任一项所述的方法步骤的一系列指令。本专利技术提供的用于绘本的内容识别方法及装置能够在儿童专用智能设备的支持下对绘本封面以及内页进行内容识别，辅助儿童进行绘本阅读；并且，在进行绘本内容识别时，可以进行多角度的封面识别，克服歪斜的绘本摆放角度对于内容识别的影响，极大地提升了绘本阅读的效率和成功率，改善了用户的绘本阅读体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1显示了根据本专利技术的一个实施例的用于绘本的内容识别方法流程图；图2显示了根据本专利技术的一个实施例的用于绘本的内容识别方法中进行内容识别的流程图；图3显示了根据本专利技术的一个实施例的用于绘本的内容识别装置结构框图；图4显示了根据本专利技术的一个实施例的儿童专用智能设备结构框图；图5显示了根据本专利技术的一个实施例的用于绘本的内容识别方法的交互示意图；图6显示了根据本专利技术的一个实施例的用户、儿童专用智能设备以及云端的三方通信示意图；以及图7显示了根据本专利技术的另一个实施例的用于绘本的内容识别方法流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。为表述清晰，需要在实施例前进行如下说明：本专利技术提到的儿童专用智能设备支持多模态人机交互，具备自然语言理解、视觉感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验。在具体的实施例中，儿童专用智能设备特指绘本伴读智能设备，可以是智能台灯、绘本机器人、智能平板、伴读手表以及可识别绘本的故事机等。儿童专用智能设备获取用户的多模态数据(包含绘本内容识别指令)，在云端的能力支持下，对多模态数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。儿童专用智能设备可以具备安卓，ios，linux，windows平台的app。所提到的云端为提供所述儿童专用智能设备对用户的交互需求(包含绘本识别意愿)进行语义理解(图像识别、语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述儿童专用智能设备输出多模态数据(包含内容识别数据)。下面结合附图对本专利技术的各个实施例进行详细描述。图1显示了根据本专利技术的一个实施例的用于绘本的内容识别方法流程图。如图1，在步骤S101中，对绘本进行图像采集，采集得到包含绘本封面信息的封面图像数据以及包含绘本内页信息的内页图像数据。具体来说，通过具备图像采集能力的设备对绘本进行图像采集，可以通过儿童专用智能设备上设置的摄像头对绘本内容进行图像采集，也可以通过未设置在儿童专用智能设备上的摄像头对绘本内容进行图像采集，之后将采集到的图像数据传输至儿童专用智能设备。在一个实施例中，在步骤S101中，还可以对采集得到的封面图像数据以及内页图像数据本文档来自技高网...

【技术保护点】
1.一种用于绘本的内容识别方法，其特征在于，所述方法包含以下步骤：/n步骤一：对所述绘本进行图像采集，采集得到包含绘本封面信息的封面图像数据以及包含绘本内页信息的内页图像数据；/n步骤二：对所述封面图像数据进行内容识别，记录内容识别成功时对应的用于表征绘本摆放角度的矫正角度信息；/n步骤三：在进行内页识别过程时，调取所述矫正角度信息，对所述内页图像数据进行内页角度转换，得到转换后的内页图像数据；/n步骤四：对转换后的内页图像数据进行内容识别。/n

【技术特征摘要】
1.一种用于绘本的内容识别方法，其特征在于，所述方法包含以下步骤：
步骤一：对所述绘本进行图像采集，采集得到包含绘本封面信息的封面图像数据以及包含绘本内页信息的内页图像数据；
步骤二：对所述封面图像数据进行内容识别，记录内容识别成功时对应的用于表征绘本摆放角度的矫正角度信息；
步骤三：在进行内页识别过程时，调取所述矫正角度信息，对所述内页图像数据进行内页角度转换，得到转换后的内页图像数据；
步骤四：对转换后的内页图像数据进行内容识别。


2.如权利要求1所述的方法，其特征在于，所述步骤一中还包含：对采集得到的所述封面图像数据以及所述内页图像数据进行去重处理，删除重复的图像，得到去重后的封面图像数据以及内页图像数据。


3.如权利要求1所述的方法，其特征在于，所述步骤二中还包含：将所述封面图像数据上传至云端，进行图像检索以通过所述云端进行内容识别。


4.如权利要求1所述的方法，其特征在于，所述步骤二中还包含：
通过全视角识别方式，依次采用多个矫正角度对所述封面图像数据进行内容识别，确定内容识别成功时对应的矫正角度信息；
将当前得到的矫正角度信息与当前的儿童专用智能设备的唯一识别码进行绑定，并存储在角度数据库中。


5.如权利要求4所述的方法，其特征在于，所述步骤三中还包含以下步骤：
在进行内页识别过程时，识别儿童专用智能设备的唯一识别...

【专利技术属性】
技术研发人员：贾志强，俞晓君，俞志晨，陆羽皓，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11