一种阅读互动方法、装置、设备、服务器及存储介质制造方法及图纸

本发明专利技术公开了阅读互动方法、装置、设备、服务器及存储介质。该方法包括：接收用户阅读时捕获的用户脸部图像；识别所述用户脸部图像，确定所述用户的状态表情；当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。利用该方法，通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，增加了用户阅读趣味性，提高了用户的阅读积极性。

【技术实现步骤摘要】
一种阅读互动方法、装置、设备、服务器及存储介质
本专利技术实施例涉及数据交互
，尤其涉及一种阅读互动方法、装置、设备、服务器及存储介质。
技术介绍
用户独自进行书籍阅读时，尤其是纸质书籍的阅读，往往只是从所阅读的书本中单向的获得相关内容，用户无法将阅读中的喜怒哀乐分享给他人，由此因缺少可互动的阅读伙伴而使用户的整个阅读过程过于单一枯燥乏味，从而降低了阅读用户的阅读积极性。
技术实现思路
本专利技术实施例提供了一种阅读互动方法、装置、设备、服务器及存储介质，以解决用户在阅读中因缺少阅读伙伴无法进行阅读互动的问题。第一方面，本专利技术实施例提供了一种阅读互动方法，包括：接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；识别所述用户脸部图像，确定所述用户的状态表情；当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。第二方面，本专利技术实施例还提供了一种阅读互动装置，包括：图像接收模块，用于接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；表情确定模块，用于识别所述用户脸部图像，确定所述用户的状态表情；互动执行模块，用于当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。第三方面，本专利技术实施例还提供了一种点读设备，包括：主体、位于主体内的控制器和无线网络模块以及嵌套于所述主体上的拾音装置、发音装置、摄像头以及触摸屏，所述主体设置在阅读材料所在载体上，所述控制器，用于控制下述至少一项：拾音装置、发音装置、摄像头、和触摸屏执行相应的工作，还用于实现本专利技术实施例提供的阅读互动方法；其中，所述拾音装置，用于采集音频信息，所述音频信息包括用户语音信息；所述发音装置，用于进行音频信息播放；所述摄像头，用于捕获图像信息，所述图像信息包括用户脸部图像；所述触摸屏，用于进行信息显示。第四方面，本专利技术实施例还提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例提供的阅读互动方法。第五方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术实施例提供的阅读互动方法。本专利技术实施例提供了阅读互动方法、装置、设备、服务器及存储介质，该方法首先接收用户阅读时捕获的用户脸部图像；然后识别用户脸部图像来确定用户的状态表情，最终当状态表情满足阅读互动条件时，将对应状态表情的互动内容发送至点读设备播放。利用该方法，通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，增加了用户阅读趣味性，提高了用户的阅读积极性。附图说明图1为本专利技术实施例一提供的一种阅读互动方法的流程示意图；图2为本专利技术实施例二提供的一种阅读互动方法的流程示意图；图3为本专利技术实施例三提供的一种阅读互动装置的结构示意图；图4为本专利技术实施例四提供的一种点读设备的结构示意图；图5为本专利技术实施例五提供的一种服务器的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1为本专利技术实施例一提供的一种阅读互动方法的流程示意图，该方法适用于在用户阅读时需要进行阅读互动的情况，该方法可以由阅读互动装置来执行，其中该装置可以由软件和/或硬件实现，并一般集成在点读设备和/或点读设备的服务器上。需要说明的是，本实施例提供的阅读互动方法具体应用在点读设备和/或点读设备的服务器端，其具体可通过点读设备和/或点读设备的服务器实现用户阅读过程中与用户的阅读互动。如图1所示，本专利技术实施例一提供的一种阅读互动方法，包括如下操作：需要说明的是，本实施例的应用场景可描述为：用户进行阅读时，阅读材料与点读设备放置在同一载体上(如书桌，其中，所述阅读材料具体可以是用户可阅读的书本、绘本或报纸等)，点读设备上的摄像头为可转动摄像头，即可控制捕获阅读材料中的文本内容，也可控制对阅读用户进行图像信息采集。S101、接收用户阅读时捕获的用户脸部图像。在本实施例中，所述用户脸部图像具体可理解为基于与用户阅读的阅读材料置于同一载体的点读设备上摄像头捕获的用户的脸部图像，且该脸部图像具体在用户阅读过程中进行捕获。本步骤可以接收点读设备的摄像头捕获的用户脸部图像。示例性地，用户进行阅读时，可调整点读设备的放置位置，或调整点读设备上摄像头的拍摄角度，以使摄像头能够对进行脸部图像的采集，从而使本专利技术实施例的执行主体能够执行本步骤的操作。S102、识别所述用户脸部图像，确定所述用户的状态表情。在本实施例中，可通过给定的图像识别算法，如基于特征匹配的图像识别及基于分类的图像识别等算法等，对接收的用户脸部图像进行识别，并将识别出的脸部特征信息与预先设定的状态表情库进行匹配，从而获得用户脸部的状态表情信息。识别出的状态表情可以有哭、笑、愤怒以及面无表情等S103、当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。一般地，情感变化可以有喜、怒、哀、乐以及平静等几大类，而每类情感具体在脸部的表现又存在多种，如状态表情为大笑、微笑以及开心均属于喜或乐这一类，状态表情为大哭及抽泣又属于哀这一类，状态表情为愤怒又属于怒这一类，状态表情为面无表情可属于平静这一类。在本实施例中，所述阅读互动条件具体可为：状态表情所属的类别为喜怒哀乐中的任一类。在本实施例中，当分析确定状态表情满足阅读互动条件时，就可根据用户实际的状态表情来从预设的互动内容库中确定与之匹配的互动内容，并将互动内容发送至点读设备播放。示例性地，假设状态表情为大笑，则可从互动内容库中确定当前与之匹配的互动内容为大笑相关的动画表情及语音，并基于点读设备向用户展示。假设状态表情为哭泣，则可从互动内容库中确定当前与之匹配的互动内容为哭泣相关的动画表情及语音，并基于点读设备向用户展示。可以知道的是，本实施例中进行互动内容展示可以是在点读设备的触摸屏上展示一个动画人偶，该动画人偶可以根据互动内容的不本文档来自技高网...

【技术保护点】
1.一种阅读互动方法，其特征在于，包括：/n接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；/n识别所述用户脸部图像，确定所述用户的状态表情；/n当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。/n

【技术特征摘要】
1.一种阅读互动方法，其特征在于，包括：
接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；
识别所述用户脸部图像，确定所述用户的状态表情；
当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。


2.根据权利要求1所述的方法，其特征在于，所述确定对应所述状态表情的互动内容并用于播放，包括：
确定对应所述状态表情的互动音频和表情动画；
基于给定的互动风格控制在点读设备的触摸屏上播放所述互动音频及表情动画。


3.根据权利要求2所述的方法，其特征在于，还包括：
分析所述用户脸部图像，确定所述用户对应的年龄区间；
基于所述年龄区间确定与所述用户匹配的互动风格。


4.根据权利要求1所述的方法，其特征在于，还包括：
获取所述点读设备的拾音装置拾取的用户语音信息；
基于所述用户语音信息，生成相应的阅读记录信息。


5.根据权利要求4所述的方法，其特征在于，所述基于所述用户语音信息，生成相应的阅读记录信息，包括：
识别所述用户语音信息，获得相应的语音文本内容；
根据所述语音文本内容中的关键字，确定所述用户语音信息的语义信息；
当所述语义信息满足阅读记录条件时，基于所述语义信息确定待记录内容并记录生成阅读记录信息。


6.一种阅读互动装置，其特征在于，包括：
图像接收模块，用于接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11