基于人工智能的绘本或教材的视觉识别方法及装置制造方法及图纸

本发明专利技术提供的基于人工智能的绘本或教材的视觉识别方法，其包含：步骤一：采集待识别内容物图像，对内页图像数据进行图像识别；步骤二：结合内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进入对应的算法识别模式，其中，算法识别模式包含光学字符识别模式以及图像特征识别模式；步骤三：在对应的算法识别模式下，向用户反馈多模态识别结果数据。本发明专利技术能够根据不同的待识别内容物，采用不同的识别模式进行内容识别，适应的书籍范围广泛；并且，本申请还能够通过用户的指读指令，展开指读识别过程，方便用户的阅读，进一步提升了阅读体验。

【技术实现步骤摘要】
基于人工智能的绘本或教材的视觉识别方法及装置
本专利技术涉及人工智能领域，具体地说，涉及一种基于人工智能的绘本或教材的视觉识别方法及装置。
技术介绍
图书是人类用来记录一切成就的主要工具，也是人类交融感情、取得知识、传承经验的重要媒介，对人类文明的开展贡献至钜。图书是以传播文化为目的，用文字或其它信息符号记录于一定形式的材料之上的著作物。现有技术中，在视觉识别领域，对于不同的图书，并没有进行识别方式的区分，这就带来了效率低下，识别率低，错误率高的问题。针对现有技术的现状，急需在实际的识别和阅读中，对图书进行区分，针对不同的图书内容，采用不同的视觉算法做识别，以及识别正确之后提供的服务不同的技术服务。因此，本专利技术提供了一种基于人工智能的绘本或教材的视觉识别方法及装置。
技术实现思路
为解决上述问题，本专利技术提供了一种基于人工智能的绘本或教材的视觉识别方法，所述方法包含以下步骤：步骤一：采集待识别内容物图像，对内页图像数据进行图像识别；步骤二：结合所述内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进入对应的算法识别模式，其中，所述算法识别模式包含光学字符识别模式以及图像特征识别模式；步骤三：在对应的算法识别模式下，向用户反馈多模态识别结果数据。根据本专利技术的一个实施例，所述步骤一中还包含以下步骤：若未能检测到当前图像数据包含内页图像数据，则对当前图像进行封面识别。根据本专利技术的一个实施例，所述步骤二中还包含以下步骤：确定所述内页图像数据的分辨率信息，与阈值信息进行比较，当所述分辨率信息低于所述阈值信息时，确定所述待识别内容物为绘本图书，当所述分辨率信息高于所述阈值信息时，确定所述待识别内容物为教材图书。根据本专利技术的一个实施例，所述步骤二之后还包含以下步骤：接收用户输出的所述语音交互数据，对所述语音交互数据进行语义理解处理，得到用户的交互意图。根据本专利技术的一个实施例，所述步骤二之后还包含以下步骤：当检测到手型轮廓时，进入指读识别模式，基于所述手形轮廓指向位置的内容信息，结合所述交互意图得到所述多模态识别结果数据。根据本专利技术的一个实施例，所述方法还包括：获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户根据本专利技术的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种基于人工智能的绘本或教材的视觉识别装置，所述装置包含：第一模块，其用于采集待识别内容物图像，对内页图像数据进行图像识别；第二模块，其用于结合所述内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进入对应的算法识别模式，其中，所述算法识别模式包含光学字符识别模式以及图像特征识别模式；第三模块，其用于在对应的算法识别模式下，向用户反馈多模态识别结果数据。根据本专利技术的另一个方面，还提供了一种儿童专用智能设备，用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种基于人工智能的绘本或教材的视觉识别系统，所述系统包含：如上所述的儿童专用智能设备；待识别内容物；云端服务器，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用智能设备输出多模态数据。本专利技术提供的基于人工智能的绘本或教材的视觉识别方法及装置能够根据不同的待识别内容物，采用不同的识别模式进行内容识别，适应的书籍范围广泛，书籍范围覆盖包含文字内容居多的教材图书以及图片居多的绘本图书；并且，本申请还能够通过用户的指读指令，展开指读识别过程，方便用户的阅读，进一步提升了阅读体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1显示了根据本专利技术的一个实施例的基于人工智能的绘本或教材的视觉识别方法流程图；图2显示了根据本专利技术的一个实施例的区分不同类型内容物的流程图；图3显示了根据本专利技术的一个实施例的指读过程流程图；图4显示了根据本专利技术的一个实施例的基于人工智能的绘本或教材的视觉识别装置结构框图；图5显示了根据本专利技术的一个实施例的儿童专用智能设备结构框图；图6显示了根据本专利技术的一个实施例的用户、儿童专用智能设备以及云端的三方通信示意图；以及图7显示了根据本专利技术的另一个实施例的基于人工智能的绘本或教材的视觉识别方法流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。为表述清晰，需要在实施例前进行如下说明：本专利技术提到的儿童专用智能设备支持多模态人机交互，具备自然语言理解、视觉感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验。在具体的实施例中，儿童专用智能设备特指伴读智能设备，可以是智能台灯、伴读机器人、智能平板、伴读手表以及具备视觉识别功能的故事机等。儿童专用智能设备获取用户的多模态数据(包含图书内容识别指令)，在云端的能力支持下，对多模态数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。儿童专用智能设备可以具备安卓，ios，linux，windows平台的app。所提到的云端为提供所述儿童专用智能设备对用户的交互需求(包含图书识别意愿)进行语义理解(图像识别、语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述儿童专用智能设备输出多模态数据(包含识别结果数据)。下面结合附图对本专利技术的各个实施例进行详细描述。图1显示了根据本专利技术的一个实施例的基于人工智能的绘本或教材的视觉识别方法流程图。如图1，在步骤S101中，采集待识别内容物图像，对内页图像数据进行图像识别。在一个实施例中，待识别内容物可以是绘本图书以及教材图书。具体来说，通过具备图像采集能力的设备对待识别内容物进行图像采集，可以通过儿童专用智能设备上设置的摄像头对待识别内容物进行图像采集，也可以通过未设置在儿童专用智能设备上的摄像头对待识别内容物进行图像采集，之后将采集到的图像数据传输至儿童专用智能设备。在一个实施例中，在步骤S101中，若未能检测到当前图像数据包含内页图像数据，则对当前图像进行封面识别。一般来说，需要识别当前待识别内容物的封面包含的信息，可以根据待识别内容物的名字以及其他特征确定当前待识别内容物的编码。在一个实施例中，此处指的编码可以是：在中国注册的出版社本文档来自技高网...

【技术保护点】
1.一种基于人工智能的绘本或教材的视觉识别方法，其特征在于，所述方法包含以下步骤：/n步骤一：采集待识别内容物图像，对内页图像数据进行图像识别；/n步骤二：结合所述内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进入对应的算法识别模式，其中，所述算法识别模式包含光学字符识别模式以及图像特征识别模式；/n步骤三：在对应的算法识别模式下，向用户反馈多模态识别结果数据。/n

【技术特征摘要】
1.一种基于人工智能的绘本或教材的视觉识别方法，其特征在于，所述方法包含以下步骤：
步骤一：采集待识别内容物图像，对内页图像数据进行图像识别；
步骤二：结合所述内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进入对应的算法识别模式，其中，所述算法识别模式包含光学字符识别模式以及图像特征识别模式；
步骤三：在对应的算法识别模式下，向用户反馈多模态识别结果数据。


2.如权利要求1所述的方法，其特征在于，所述步骤一中还包含以下步骤：若未能检测到当前图像数据包含内页图像数据，则对当前图像进行封面识别。


3.如权利要求1所述的方法，其特征在于，所述步骤二中还包含以下步骤：确定所述内页图像数据的分辨率信息，与阈值信息进行比较，当所述分辨率信息低于所述阈值信息时，确定所述待识别内容物为绘本图书，当所述分辨率信息高于所述阈值信息时，确定所述待识别内容物为教材图书。


4.如权利要求1所述的方法，其特征在于，所述步骤二之后还包含以下步骤：接收用户输出的所述语音交互数据，对所述语音交互数据进行语义理解处理，得到用户的交互意图。


5.如权利要求4所述的方法，其特征在于，所述步骤二之后还包含以下步骤：当检测到手型轮廓时，进入指读识别模式，基于所述手形轮廓指向位置的内容信息，结合...

【专利技术属性】
技术研发人员：俞晓君，贾志强，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11