基于人工智能的绘本阅读方法及装置制造方法及图纸

本发明专利技术提供的基于人工智能的绘本阅读方法，其包含：步骤一：在绘本阅读模式下，采集得到绘本图像，对绘本图像进行视觉识别；步骤二：对绘本图像进行翻页检测，判断绘本是否处于翻页阅读状态；步骤三：若绘本处于非翻页阅读状态，对绘本图像进行指读检测，判断绘本是否处于指读阅读状态或执手阅读状态；步骤四：在翻页阅读状态或指读阅读状态或执手阅读状态下，向用户反馈多模态阅读数据。本发明专利技术将用户阅读状态分为翻页阅读状态、指读阅读状态以及执手阅读状态，在用户进行阅读时能够分辨不同的阅读状态，针对性的提供相应的辅助阅读服务，改善了用户的阅读体验，减少了阅读的误判率，进一步提升了阅读舒适度。

【技术实现步骤摘要】
基于人工智能的绘本阅读方法及装置
本专利技术涉及人工智能领域，具体地说，涉及一种基于人工智能的绘本阅读方法及装置。
技术介绍
图书是人类用来记录一切成就的主要工具，也是人类交融感情、取得知识、传承经验的重要媒介，对人类文明的开展贡献至钜。图书是以传播文化为目的，用文字或其它信息符号记录于一定形式的材料之上的著作物。现有技术中，在视觉识别领域，对于用户的阅读状态，缺少细致的识别及分类技术，这就带来了效率低下，用户体验差等问题。针对现有技术的现状，急需在实际的识别和阅读中，对用户的阅读状态进行区分，针对不同的用户阅读状态，提供不同的辅助阅读服务，以使用户的阅读体验更加舒适。因此，本专利技术提供了一种基于人工智能的绘本阅读方法及装置。
技术实现思路
为解决上述问题，本专利技术提供了一种基于人工智能的绘本阅读方法，所述方法包含以下步骤：步骤一：在绘本阅读模式下，采集得到绘本图像，对所述绘本图像进行视觉识别；步骤二：对所述绘本图像进行翻页检测，判断绘本是否处于翻页阅读状态；步骤三：若绘本处于非翻页阅读状态，对所述绘本图像进行指读检测，判断绘本是否处于指读阅读状态或执手阅读状态；步骤四：在所述翻页阅读状态或所述指读阅读状态或所述执手阅读状态下，向用户反馈多模态阅读数据。根据本专利技术的一个实施例，所述步骤二中具体包含以下步骤：对在预设时间段内采集的所述绘本图像进行检测分析，通过对比确定临近绘本图像之间的相似度，得到相似度信息；将所述相似度信息与第一阈值进行比较，若所述相似度信息小于所述第一阈值，则判断绘本处于翻页阅读状态。根据本专利技术的一个实施例，所述步骤三中具体包含以下步骤：若所述相似度信息大于所述第一阈值，则判断绘本处于非翻页阅读状态；在所述非翻页阅读状态下，检测所述绘本图像中是否存在手指指向轮廓；若存在所述手指指向轮廓，判断绘本处于所述指读阅读状态。根据本专利技术的一个实施例，所述步骤三中具体包含以下步骤：在所述非翻页阅读状态下，若不存在所述手指指向轮廓但存在手部轮廓，判断绘本处于所述执手阅读状态。根据本专利技术的一个实施例，所述步骤四中具体包含以下步骤：在所述指读阅读状态下，实时捕捉所述手指指向轮廓所指向的绘本位置，向用户反馈所述绘本位置对应的所述多模态阅读数据。根据本专利技术的一个实施例，所述方法还包括：获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。根据本专利技术的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种基于人工智能的绘本阅读装置，所述装置包含：视觉识别模块，其用于在绘本阅读模式下，采集得到绘本图像，对所述绘本图像进行视觉识别；翻页检测模块，其用于对所述绘本图像进行翻页检测，判断绘本是否处于翻页阅读状态；指读检测模块，其用于若绘本处于非翻页阅读状态，对所述绘本图像进行指读检测，判断绘本是否处于指读阅读状态或执手阅读状态；反馈输出模块，其用于在所述翻页阅读状态或所述指读阅读状态或所述执手阅读状态下，向用户反馈多模态阅读数据。根据本专利技术的另一个方面，还提供了一种儿童专用智能设备，用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种基于人工智能的绘本阅读系统，所述系统包含：如上所述的儿童专用智能设备；绘本；云端服务器，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用智能设备输出多模态数据。本专利技术提供的基于人工智能的绘本阅读方法及装置将用户阅读状态分为翻页阅读状态、指读阅读状态以及执手阅读状态，在用户进行阅读时能够分辨不同的阅读状态，针对性的提供相应的辅助阅读服务，改善了用户的阅读体验，减少了阅读的误判率，进一步提升了阅读舒适度。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1显示了根据本专利技术的一个实施例的基于人工智能的绘本阅读方法流程图；图2显示了根据本专利技术的一个实施例的基于人工智能的绘本阅读方法中阅读模式判断流程图；图3显示了根据本专利技术的一个实施例的基于人工智能的绘本阅读装置结构框图；图4显示了根据本专利技术的一个实施例的儿童专用智能设备结构框图；图5显示了根据本专利技术的一个实施例的用户、儿童专用智能设备以及云端的三方通信示意图；以及图6显示了根据本专利技术的另一个实施例的基于人工智能的绘本阅读方法流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。为表述清晰，需要在实施例前进行如下说明：本专利技术提到的儿童专用智能设备支持多模态人机交互，具备自然语言理解、视觉感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验。在具体的实施例中，儿童专用智能设备特指智能台灯、拥有摄像头的智能桌面机器人、智能平板、带屏音箱等，具备图书内容识别交互功能，能够接收用户输入的指令，并在儿童专用智能设备上输出多模态数据等。儿童专用智能设备获取用户的多模态数据，在云端的能力支持下，对多模态数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。儿童专用智能设备可以包含具备安卓，ios，linux，windows平台的app。所提到的云端为提供所述儿童专用智能设备对用户的交互需求进行语义理解(图像识别、语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述儿童专用智能设备输出多模态数据。下面结合附图对本专利技术的各个实施例进行详细描述。图1显示了根据本专利技术的一个实施例的基于人工智能的绘本阅读方法流程图。如图1，在步骤S101中，在绘本阅读模式下，采集得到绘本图像，对绘本图像进行视觉识别。具体来说，通过具备图像采集能力的设备对绘本进行图像采集，可以通过儿童专用智能设备上设置的摄像头对绘本进行图像采集，也可以通过未设置在儿童专用智能设备上的摄像头对绘本进行图像采集，之后将采集到的绘本图像传输至儿童专用智能设备。另外，本专利技术中除了对绘本进行阅读外，还可以对其他类型的书籍进行阅读，例如：教材课本、辅导书籍等纯文字书籍、纯图片书籍以及文字图片均有的书籍。具体来说，不同的书籍需要采用不同点的算法识别模式，算法识别模式包含光学字符识别以及图像特征识别模式，其中光学本文档来自技高网...

【技术保护点】
1.一种基于人工智能的绘本阅读方法，其特征在于，所述方法包含以下步骤：/n步骤一：在绘本阅读模式下，采集得到绘本图像，对所述绘本图像进行视觉识别；/n步骤二：对所述绘本图像进行翻页检测，判断绘本是否处于翻页阅读状态；/n步骤三：若绘本处于非翻页阅读状态，对所述绘本图像进行指读检测，判断绘本是否处于指读阅读状态或执手阅读状态；/n步骤四：在所述翻页阅读状态或所述指读阅读状态或所述执手阅读状态下，向用户反馈多模态阅读数据。/n

【技术特征摘要】
1.一种基于人工智能的绘本阅读方法，其特征在于，所述方法包含以下步骤：
步骤一：在绘本阅读模式下，采集得到绘本图像，对所述绘本图像进行视觉识别；
步骤二：对所述绘本图像进行翻页检测，判断绘本是否处于翻页阅读状态；
步骤三：若绘本处于非翻页阅读状态，对所述绘本图像进行指读检测，判断绘本是否处于指读阅读状态或执手阅读状态；
步骤四：在所述翻页阅读状态或所述指读阅读状态或所述执手阅读状态下，向用户反馈多模态阅读数据。


2.如权利要求1所述的方法，其特征在于，所述步骤二中具体包含以下步骤：
对在预设时间段内采集的所述绘本图像进行检测分析，通过对比确定临近绘本图像之间的相似度，得到相似度信息；
将所述相似度信息与第一阈值进行比较，若所述相似度信息小于所述第一阈值，则判断绘本处于翻页阅读状态。


3.如权利要求2所述的方法，其特征在于，所述步骤三中具体包含以下步骤：
若所述相似度信息大于所述第一阈值，则判断绘本处于非翻页阅读状态；
在所述非翻页阅读状态下，检测所述绘本图像中是否存在手指指向轮廓；
若存在所述手指指向轮廓，判断绘本处于所述指读阅读状态。


4.如权利要求3所述的方法，其特征在于，所述步骤三中具体包含以下步骤：在所述非翻页阅读状态下，若不存在所述手指指向轮廓但存在手部轮廓，判断绘本处于所述执手阅读状态。


5.如权利要求3所述的方法，其特征在于，所述步骤四中具体包含...

【专利技术属性】
技术研发人员：俞晓君，俞志晨，贾志强，陆羽皓，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11