一种朗读引导系统技术方案

本发明专利技术涉及信息数据管理技术领域，且公开了一种朗读引导系统，图像获取：人脸采集系统从开始后采集一次人脸，此后每隔3s采集一次；采集用户语言：从开始至结束通过声音采集系统来对声音保持录制；通过情绪事件识别系统来对表情特征以及声音特征进行识别；通过趋势判断系统来对情绪进行分类、收集和处理；通过情绪事件识别系统并根据处理结果来检索引导作品，通过人脸采集装置、声音采集装置、情绪事件识别模型以及趋势判断模型的配合使用能够时刻掌握用户的情绪，从而引导用户对作品的质量和情感得到保障，使得不仅能够让用户得到正确的情绪疏通，而且还提高了朗读对调节情绪和状态的作用，同时也间接提高内容社区用户的活跃度。度。度。

【技术实现步骤摘要】
一种朗读引导系统


[0001]本专利技术涉及信息数据管理
，具体为一种朗读引导系统。

技术介绍

[0002]随着移动互联网的普及，使得人与人之间的沟通越来越少，人们可以通过发达的网络来获取大量的信息，但信息容易造成人们情绪上的较大波动，如何从朗读中得到正确的情绪疏通，逐渐成为用户困扰的问题，在这样的背景下，朗读引导系统应运而生。
[0003]传统的朗读方式，一般都是按照用户自行选择内容信息来进行朗读，然而这种情况下，基于用户对内容信息的熟悉程度，使得导致用户选择的作品有限并且质量还不能得到保障，从而造成用户因得不到正确的情绪疏通而降低了调节情绪和状态的作用，进而影响内容社区用户的活跃度，为此我们提供一种朗读引导系统。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种朗读引导系统，以解决上述
技术介绍
中存在的问题。
[0006](二)技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：一种朗读引导系统，包括以下步骤：
[0008]S1、图像获取：人脸采集系统从开始后采集一次人脸，此后每隔3s采集一次；
[0009]S2、采集用户语言：从开始至结束通过声音采集系统来对声音保持录制；
[0010]S3、通过情绪事件识别系统来对表情特征以及声音特征进行识别；
[0011]S4、通过趋势判断系统来对情绪进行分类、收集和处理；
[0012]S5、通过情绪事件识别系统并根据处理结果来检索引导作品。
[0013]优选的，一种朗读引导系统，包括朗读装置，所述朗读装置通过网络连接有云服务器，所述云服务器存储有朗读内容，所述朗读装置的内部设置有情绪事件识别模型以及趋势判断模型，所述朗读装置还加设有人脸采集装置以及声音采集装置，所述人脸采集装置以及声音采集装置均通过导线与情绪事件识别模型相连接。
[0014]优选的，所述人脸采集装置采用多普勒扩展法的几何归一化来进行面部校正和面部修剪，将图像转化为统一大小。
[0015]优选的，所述人脸采集装置通过卷积神经网络(CNN)的人脸面部表情识别模型来对人物面部表情进行识别和分类。
[0016]优选的，所述声音采集装置通过梅尔倒谱系数(MFCC)将三十秒的音频加载为特征向量，并将其输入至LSTM神经网络进行抽取语言特征，最终采用softmax分类函数实现情感标签的分类任务。
[0017]优选的，所述情感标签的分类可分为正向、中性以及负向情绪。
[0018]优选的，所述正向、中性以及负向情绪可通过趋势判断模型进行细分，所述正向情
绪可细分为高兴和惊讶，所述中性情绪可细分为自然，所述负向情绪可细分为生气、厌恶和伤心。
[0019](三)有益效果
[0020]与现有技术相比，本专利技术提供了一种朗读引导系统，具备以下有益效果：
[0021]该朗读引导系统，在用户使用时，对声音录制以及人脸采集来将数据输入至情绪事件识别模型中，从趋势判断模型中得到情绪结果，最后通过情绪事件识别模型检索朗读资源库并导出此刻符合用户正向导向的朗读内容供朗读，避免了用户自行选择内容信息来进行朗读，容易导致用户选择的作品有限并且质量得不到保障，从而造成用户得不到正确的情绪疏通以及降低了调节情绪和状态的作用，进而影响内容社区用户的活跃度的问题。
附图说明
[0022]图1为本专利技术流程示意图；
[0023]图2为本专利技术朗读系统的连接关系示意图；
[0024]图3为本专利技术系统架构示意图；
[0025]图4为本专利技术人脸采集流程示意图；
[0026]图5为本专利技术声音采集流程示意图；
[0027]图6为本专利技术情绪数据引导示意图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]本专利技术提供一种技术方案，一种朗读引导系统，如图1所示，包括以下步骤；
[0030]S1、图像获取：人脸采集系统从开始后采集一次人脸，此后每隔3s采集一次：
[0031]S2、采集用户语言：从开始至结束通过声音采集系统来对声音保持录制；
[0032]S3、通过情绪事件识别系统来对表情特征以及声音特征进行识别；
[0033]S4、通过趋势判断系统来对情绪进行分类、收集和处理；
[0034]S5、通过情绪事件识别系统并根据处理结果来检索引导作品。
[0035]具体的，如图2和图3所示，一种朗读引导系统，包括朗读装置，所述朗读装置通过网络连接有云服务器，所述云服务器存储有朗读内容，所述朗读装置的内部设置有情绪事件识别模型以及趋势判断模型，所述朗读装置还加设有人脸采集装置以及声音采集装置，所述人脸采集装置以及声音采集装置均通过导线与情绪事件识别模型相连接。
[0036]具体的，如图4所示，人脸采集装置采用多普勒扩展法的几何归一化来进行面部校正和面部修剪，将图像转化为统一大小，具体步骤如下：
[0037]A、找到特征点并对其进行标记，首先选取两眼和鼻子作为三个特征点并采用一个函数对其进行标记，这里选择的函数是[x，y]＝ginput(3)。获得特征点的坐标值；
[0038]B、两眼的坐标值可以看作参考点，将两眼之间的距离设置为d，找到两眼间的中点并标记为o，然后根据参考点对图像进行旋转，这步操作是为了保证将人脸图像调到一致；
[0039]C、接下来以选定的o为基准，分别向左右两个方向各剪切距离为d的区域，在垂直方向剪切0.5d和1.5d的区域，这样就可以根据面部特征点和几何模型对特征区域进行确定；
[0040]D、为了更好的对表情进行提取，可将表情的子区域图像裁剪成统一的48
×
48尺寸。
[0041]具体的，人脸采集装置通过卷积神经网络(CNN)的人脸面部表情识别模型来对人物面部表情进行识别和分类，第一层为输入层，大小为28
×
28，然后通过20
×
24
×
24的卷积层(提取图像特征)，得到的结果再输入池化层(降维、防止过拟合)中，最后再通过图中第四层既全连接层，最后输出。
[0042]具体的，如图5所示，声音采集装置通过梅尔倒谱系数(MFCC)将三十秒的音频加载为特征向量，并将其输入至LSTM神经网络进行抽取语言特征，最终采用softmax分类函数实现情感标签的分类任务，情感标签的分类可分为正向、中性以及负向情绪，正向、中性以及负向情绪可通过趋势判断模型进行细分，所述正向情绪可细分为高兴和惊讶，所述中性情绪可细分为自然，所述负向情绪可细分为生气、厌恶和伤心，具体步骤如下：
[0043]A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种朗读引导系统，包括以下步骤：S1、图像获取：人脸采集系统从开始后采集一次人脸，此后每隔3s采集一次；S2、采集用户语言：从开始至结束通过声音采集系统来对声音保持录制；S3、通过情绪事件识别系统来对表情特征以及声音特征进行识别；S4、通过趋势判断系统来对情绪进行分类、收集和处理；S5、通过情绪事件识别系统并根据处理结果来检索引导作品。2.一种朗读引导系统，包括朗读装置，其特征在于：所述朗读装置通过网络连接有云服务器，所述云服务器存储有朗读内容，所述朗读装置的内部设置有情绪事件识别模型以及趋势判断模型，所述朗读装置还加设有人脸采集装置以及声音采集装置，所述人脸采集装置以及声音采集装置均通过导线与情绪事件识别模型相连接。3.根据权利要求2所述的一种朗读引导系统，其特征在于：所述人脸采集装置采用多普勒扩展法的几何归一化来进行面...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：广州优谷信息技术有限公司，
类型：发明
国别省市：