一种应用于智能儿童早教机的交互系统及方法技术方案

本发明专利技术属于儿童早教技术领域，提出了一种应用于智能儿童早教机的交互系统及方法。本发明专利技术将表情识别、手写文字识别、语音识别、文本处理和语音测评与儿童早教领域相融合。主要包括以下方面：一、使用CNN实现人脸表情识别，辅助儿童教学；二、使用CNN实现手写文字识别，帮助儿童依据正确的笔画，笔顺书写文字；三、使用语音识别和SVM文本处理，实现儿童与早教机的语音交互；四、使用语音测评，教授或纠正儿童的发音。同现有的早教机相比，本发明专利技术改变了早教方式，丰富了早教内容，提高了早教趣味。

【技术实现步骤摘要】
一种应用于智能儿童早教机的交互系统及方法
本专利技术属于儿童早教
，涉及应用于智能儿童早教机的交互系统及方法。
技术介绍
早教机是专门为儿童早教促进孩子学习兴趣的教育类电子产品。当前市场上的早教机基本是按键式或点读式，人机交互方式较为传统，即早教机单纯的讲故事，儿童被动的听故事；市场上的早教机不能捕捉到孩子的情感和面部表情，没有情感和温暖，教学过程中对儿童的当前情绪状态也没有丝毫的察觉，不能因情施教、审时度势；同时市场上的早教机功能并没有教授儿童正确书写文字、笔画和外文字母的功能，也不能对儿童的日常发音进行监测和纠正。
技术实现思路
针对现有早教机的不足，本专利技术提出将人脸表情识别、手写文字识别、语音交互和文本处理等方法应用于儿童早教机，以解决早教机不够智能的问题。本专利技术技术方案如下：一种应用于智能儿童早教机的交互系统，包括人脸表情识别模块，手写文字、笔画和外文字母识别模块，儿童插入语的滤除模块和儿童发音评测和纠正模块；人脸表情识别模块，通过CNN网络实现人脸表情识别，判断表情的类别，选择与之相对应的教学操作，实现让早教机具有辅助教学的功能；例如：如图2所示，当儿童在学习过程本文档来自技高网...

【技术保护点】
1.一种应用于智能儿童早教机的交互系统，其特征在于，包括人脸表情识别模块，手写文字、笔画和外文字母识别模块，儿童插入语的滤除模块和儿童发音评测和纠正模块；人脸表情识别模块，通过CNN网络实现人脸表情识别，判断表情的类别，选择与之相对应的教学操作，实现让早教机具有辅助教学的功能；手写文字、笔画和外文字母识别模块，通过CNN网络实现手写文字、笔画和外文字母识别，检测书写文字或外文字母及其笔画顺序是否正确，实现让早教机具有教授儿童正确书写文字或外文字母的功能；儿童插入语的滤除模块，用于当输入语音包含插入语时，判断该文本为负文本，从而放弃对该文本的响应；儿童发音评测和纠正模块，用于根据收录儿童与早教机...

【技术特征摘要】
1.一种应用于智能儿童早教机的交互系统，其特征在于，包括人脸表情识别模块，手写文字、笔画和外文字母识别模块，儿童插入语的滤除模块和儿童发音评测和纠正模块；人脸表情识别模块，通过CNN网络实现人脸表情识别，判断表情的类别，选择与之相对应的教学操作，实现让早教机具有辅助教学的功能；手写文字、笔画和外文字母识别模块，通过CNN网络实现手写文字、笔画和外文字母识别，检测书写文字或外文字母及其笔画顺序是否正确，实现让早教机具有教授儿童正确书写文字或外文字母的功能；儿童插入语的滤除模块，用于当输入语音包含插入语时，判断该文本为负文本，从而放弃对该文本的响应；儿童发音评测和纠正模块，用于根据收录儿童与早教机日常对话过程中，发音错误或有缺陷的字词，早教机对该字词进行正确朗读，儿童跟读，如果儿童仍然发音错误，则早教机再次对该字词进行朗读并提示该字词的发音方式和技巧，儿童再次跟读，直至发音正确为止，实现对儿童日常发音进行评测和纠正的功能。2.应用权利要求1所述交互系统的方法，其特征在于，包括如下步骤：步骤1、数据库的建立；数据库A:人脸表情、手写文字、笔画和外文字母的数据库的建立；数据库B:儿童日常对话文本和插入语数据库的建立；数据库C:儿童日常对话错误发音或缺陷发音的定位与收集，建立问题发音数据库；步骤1-1、收集数据；获得儿童人脸表情数据集、简单文字和笔画的手写图片、外文字母的手写图片；步骤1-2、对表情数据进行分类并标签化，对手写文字进行标签化，建立数据库，对手写笔画图片进行标签化，对手写外文字母图片进行标签化；步骤2、功能模块的具体实施方法，分为人脸表情识别模块，手写文字、笔画和外文字母的识别模块，儿童插入语的滤除模块，儿童发音评测和纠正模块；步骤2-1、人脸表情识别模块的实现：步骤2-1-1、对图片进行灰度处理，并输入到CNN网络进行训练，具体步骤如下：步骤2-1-1-1、建立CNN神经网络模型，设定网络结构；该CNN神经网络包括输入层、两个隐含层、全连接层和输出层；每个隐含层包括卷积层和子采样层；卷积层采用sigmoid激活函数，起到局部感知和参数共享的作用；子采样层用于降低视觉冗余、减少网络参数；全连接层将学到的“分布式特征表示”映射到样本标记空间；输出层即分类器，采用softmax回归，包括输入层节点，隐含层节点和输出层节点；步骤2-1-1-2、初始化CNN神经网络参数，网络的连接权值和阈值被初始化为[-0.30,+0.30]之间的随机区间值；设定隐含层的激励函数，并设定其权值的学习速率为[0,1]范围之间的点值；步骤2-1-1-3、根据k-1时刻灰度化处理后的图片输入数据，输入层到隐含层节点的权值和隐藏层之间的权值，得到输出层的输出值，更新k时刻输入层到隐含层节点的权值和隐藏层之间的权值；步骤2-1-1-4、设置停止训练的总误差阈值，判断获得的预测值的总误差是否大于设置的总误差阈值，若是，则根据总误差值调整隐含层节点到输出层节点的区间权值，输入层节点到隐含层节点的区间权值，否则，完成CNN神经网络的训练；步骤2-1-2、利...

【专利技术属性】
技术研发人员：吴成东，刘鑫，丁鹏，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21