一种儿童伴学机器人及其早教系统自学习方法技术方案

本发明专利技术公开了一种儿童伴学机器人及其早教系统自学习方法，自学习方法包括：步骤A10，训练卷积神经网络；步骤A20，采用卷积神经网络对输入的图像提取特征向量；步骤A30，采用乘积量化技术对特征向量分组量化；步骤A40，根据Imagenet数据集生成基准字母表；步骤A50，获取未知的新事物的图像和类别，提取新事物图像的特征向量并分组量化，并在基准字母表中查找匹配的新事物字符串；在联想记忆模型中将新事物字符串与类别匹配连接，实现将新事物学习到早教系统中；步骤A60，获取待识别事物的图像，早教系统识别得到待识别事物的类别。本发明专利技术可以实现与儿童一起学习新知识，共同竞赛，提高儿童学习的乐趣。

【技术实现步骤摘要】
一种儿童伴学机器人及其早教系统自学习方法
本专利技术涉及智能设备，特别是指一种儿童伴学机器人及其早教系统自学习方法。
技术介绍
学龄前的儿童由于智力和身体的发育尚不完全，需要成年人长期陪伴和看管。而且儿童阶段是运动、语言、数学等能力发展最快的敏感期，其重要性不言而喻，这就需要家长付出大量的精力和成本来陪伴和教育儿童。目前现有的早教系统大多仅具备音频、视频的播放功能，部分早教系统虽然可通过语音或触控的方式与其进行简单的交互，但是交互的内容必须是系统数据库中已有的素材。也就是说，现有早教系统主要具备的是“点播”系统中已有的素材功能，由于早教系统不具备学习能力，导致系统无法学习到在实际应用中遇到的系统数据库未能涵盖的新知识，系统进而无法达到寓教于乐地与儿童一起学习识物、识字、算数等基本功能，无法满足与儿童一起共同成长的要求。
技术实现思路
针对目前的儿童早教系统不具备自学习功能导致的无法学习到系统未涵盖的新知识的技术问题，本专利技术提供一种儿童伴学机器人的早教系统自学习方法，通过伴学机器人的早教系统的自学习功能来提高儿童的学习乐趣，从而实现与儿童一起学习、共同成长的目的，并消除儿童的畏惧厌学情绪。为实现上述技术目的，本专利技术采用如下技术方案：一种儿童伴学机器人的早教系统自学习方法，包括以下步骤：步骤A10，训练卷积神经网络；构建卷积神经网络模型，以Imagenet数据集的所有样本图像作为输入、样本图像的类别作为标签，训练卷积神经网络；步骤A20，提取图像特征信息；采用步骤A10训练得到的卷积神经网络对输入的图像进行特征提取，输出特征向量；步骤A30，对特征向量分组量化；采用乘积量化技术将特征向量进行分组量化，形成m个子特征向量；步骤A40，生成基准字母表；将Imagenet数据集的所有样本图像，均按步骤A20和A30处理，得到每个样本图像的m个子特征向量；对所有样本图像，取序列相同的子特征向量构成1个分组数据集，总共计m个分组数据集；对每个分组数据集采用K-means算法计算得到ks个类中心，记录每个分组数据集的ks个类中心为1个类集合，总共m个类集合构成基准字母表；将基准字母表预置于联想记忆模型的输入层；步骤A50，学习新事物；从早教系统外部获取未知的新事物的图像和类别；将获取的新事物图像按步骤A20和步骤A30处理，得到新事物的m个子特征向量；遍历新事物的m个子特征向量，在基准字母表的与新事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的新事物字符串；激活联想记忆模型输入层中存储有新事物字符串各字母的节点，联想记忆模型将输入层被激活的节点与表示新事物类别的输出层节点匹配连接；其中，所述联想记忆模型为包括输入层和输出层的二值神经网络，所述输出层的节点预置有事物类别；步骤A60，识别待识别事物；从早教系统外部获取待识别事物的图像；将获取的待识别事物的图像按步骤A20和步骤A30处理，得到待识别事物的m个子特征向量；遍历待识别事物的m个子特征向量，在基准字母表的与待识别事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的待识别事物字符串；激活联想记忆模型输入层中存储有待识别事物字符串各字母的节点，联想记忆模型查找与输入层被激活的节点匹配连接的输出层节点，并输出输出层节点相应的事物类别，识别得到待识别事物的类别。对于早教系统中没有的新事物，本方案可以通过自学习方法，在获取到新事物的图像和其他儿童/教导人员告知新事物类别的情况下，将新事物的图像与类别匹配连接，联想记忆模型中存储的事物图像与类别间的匹配关系得到更新，儿童伴学机器人实现对事物的增量式学习。从而在儿童或者其他人员的教导下，学习识别新的物体、新的文字，实现与儿童一起学习新知识，相互竞赛，从而提高儿童学习的乐趣。进一步地，所述联想记忆模型的输出层为每个事物类别分配至少2个节点；当学习新事物时，与激活的输入层节点匹配连接的输出层节点是当前事物类别下尚未与输入层节点连接的第一个节点。联想记忆模型的输出层事物的类别分别多个节点，可以对同类事物进行多次学习，记录多条该类事物与类别的连接关系，从而提高事物识别的辨识度。进一步地，所述联想记忆模型为两层的神经网络。进一步地，在基准字母表的m个类集合中分别查找与事物的m个子特征向量匹配的字母的方法为：分别计算当前子特征向量与对应的类集合中的ks个类中心之间的距离，取距离最近的1个类中心作为与事物对应的1个字母，由事物的m个子特征向量得到m个字母，从而得到与事物对应的长度为m的字符串。进一步地，事物的类别与事物的真实名称之间以键值对保存在.txt格式的键值对文件中；学习新事物时，先从外界获取新事物的真实名称，然后在键值对文件中查找到与真实名称对应的类别；若不存在该类别信息，则插入一个新的键值对，以表示新学习的类别，再将事物的类别输入给联想记忆模型；识别待识别事物时，联想记忆模型输出的是待识别事物的类别，通过在键值对文件中查找到与类别对应的真实名称，早教系统输出待识别事物的真实名称。本方案通过存储键值对可以节省存储空间。进一步地，使用交叉熵作为损失函数来训练卷积神经网络模型，并根据损失函数的计算值L更新卷积神经网络各层的权重矩阵；其中，所述损失函数如式1所示：其中，N表示每次输入卷积神经网络的样本图像的数量，yi为第i个样本图像的类别真实标签，y'i为卷积神经网络对第i个样本图像的预测值。进一步地，所述卷积神经网络包括输入层、卷积层、跳层连接、池化层、全连接层和分类层；训练卷积神经网络时，以分类层输出的预测值计算损失函数值；使用卷积神经网络提取图像特征信息时，以全连接层输出的特征来构成图像的特征向量。与早教系统自学习方法相对应的，本专利技术还提供一种儿童伴学机器人，包括：功能选择模块，用于启动早教系统功能中的新事物学习功能或事物识别功能；存储模块，用于存储事物的类别与真实名称的键值对文件以及存储基准字母表；信息输入模块，用于新事物学习功能被启动时获取新事物的图像和真实名称，或事物识别功能被启动时获取待识别事物的图像；信息处理模块，新事物学习功能被启动时，用于根据获取到的新事物的真实名称，在键值对文件中查找与真实名称对应的类别，然后根据新事物的图像和类别，依据上述方法学习新事物；事物识别功能被启动时，用于根据获取到的待识别事物的图像，依据上述方法识别待识别事物，然后根据识别到的类别在键值对文件中查找到类别对应的真实名称；信息输出模块，用于在事物识别功能被启动时输出待识别事物的真实名称。进一步地，所述信息输入模块包括摄像头和语音输入单元。进一步地，所述信息输出模块包括显示屏和语音输出单元。有益效果本专利技术提供一种儿童伴学机器人及其早教系统自学习方法，对于早教系统中没有的新事物，本方案可以通过自学习方法，在获取到新事物的图像和其他儿童/教导人员告知新事物的真实名称或类别的情况下，根据新事物图像经卷积神经网络和乘积量化后的字符串激活联想记忆模型的输入层节点，并将输入层节点与相应类别的输出层节点匹配连接，联想记忆模型中存储的事物图像与类别间的匹配关系得到更新，儿童伴学机器人实现对事物的增量式学习。从而在儿童或者其他人员的教导下，学习识别新的物体、文字、算式等，实现与儿童一起学习新知识，相互竞赛，从而提高儿童本文档来自技高网...

【技术保护点】
1.一种儿童伴学机器人的早教系统自学习方法，其特征在于，包括以下步骤：步骤A10，训练卷积神经网络；构建卷积神经网络模型，以Imagenet数据集的所有样本图像作为输入、样本图像的类别作为标签，训练卷积神经网络；步骤A20，提取图像特征信息；采用步骤A10训练得到的卷积神经网络对输入的图像进行特征提取，输出特征向量；步骤A30，对特征向量分组量化；采用乘积量化技术将特征向量进行分组量化，形成m个子特征向量；步骤A40，生成基准字母表；将Imagenet数据集的所有样本图像，均按步骤A20和A30处理，得到每个样本图像的m个子特征向量；对所有样本图像，取序列相同的子特征向量构成1个分组数据集，总共计m个分组数据集；对每个分组数据集采用K‑means算法计算得到ks个类中心，记录每个分组数据集的ks个类中心为1个类集合，总共m个类集合构成基准字母表；将基准字母表预置于联想记忆模型的输入层；步骤A50，学习新事物；从早教系统外部获取未知的新事物的图像和类别；将获取的新事物图像按步骤A20和步骤A30处理，得到新事物的m个子特征向量；遍历新事物的m个子特征向量，在基准字母表的与新事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的新事物字符串；激活联想记忆模型输入层中存储有新事物字符串各字母的节点，联想记忆模型将输入层被激活的节点与表示新事物类别的输出层节点匹配连接；其中，所述联想记忆模型为包括输入层和输出层的二值神经网络，所述输出层的节点预置有事物类别；步骤A60，识别待识别事物；从早教系统外部获取待识别事物的图像；将获取的待识别事物的图像按步骤A20和步骤A30处理，得到待识别事物的m个子特征向量；遍历待识别事物的m个子特征向量，在基准字母表的与待识别事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的待识别事物字符串；激活联想记忆模型输入层中存储有待识别事物字符串各字母的节点，联想记忆模型查找与输入层被激活的节点匹配连接的输出层节点，并输出输出层节点相应的事物类别，识别得到待识别事物的类别。...

【技术特征摘要】
1.一种儿童伴学机器人的早教系统自学习方法，其特征在于，包括以下步骤：步骤A10，训练卷积神经网络；构建卷积神经网络模型，以Imagenet数据集的所有样本图像作为输入、样本图像的类别作为标签，训练卷积神经网络；步骤A20，提取图像特征信息；采用步骤A10训练得到的卷积神经网络对输入的图像进行特征提取，输出特征向量；步骤A30，对特征向量分组量化；采用乘积量化技术将特征向量进行分组量化，形成m个子特征向量；步骤A40，生成基准字母表；将Imagenet数据集的所有样本图像，均按步骤A20和A30处理，得到每个样本图像的m个子特征向量；对所有样本图像，取序列相同的子特征向量构成1个分组数据集，总共计m个分组数据集；对每个分组数据集采用K-means算法计算得到ks个类中心，记录每个分组数据集的ks个类中心为1个类集合，总共m个类集合构成基准字母表；将基准字母表预置于联想记忆模型的输入层；步骤A50，学习新事物；从早教系统外部获取未知的新事物的图像和类别；将获取的新事物图像按步骤A20和步骤A30处理，得到新事物的m个子特征向量；遍历新事物的m个子特征向量，在基准字母表的与新事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的新事物字符串；激活联想记忆模型输入层中存储有新事物字符串各字母的节点，联想记忆模型将输入层被激活的节点与表示新事物类别的输出层节点匹配连接；其中，所述联想记忆模型为包括输入层和输出层的二值神经网络，所述输出层的节点预置有事物类别；步骤A60，识别待识别事物；从早教系统外部获取待识别事物的图像；将获取的待识别事物的图像按步骤A20和步骤A30处理，得到待识别事物的m个子特征向量；遍历待识别事物的m个子特征向量，在基准字母表的与待识别事物的当前子特征向量序列相同的类集合中查找匹配的字母，得到长度为m的待识别事物字符串；激活联想记忆模型输入层中存储有待识别事物字符串各字母的节点，联想记忆模型查找与输入层被激活的节点匹配连接的输出层节点，并输出输出层节点相应的事物类别，识别得到待识别事物的类别。2.根据权利要求1所述的方法，其特征在于，所述联想记忆模型的输出层为每个事物类别分配至少2个节点；当学习新事物时，与激活的输入层节点匹配连接的输出层节点是当前事物类别下尚未与输入层节点连接的第一个节点。3.根据权利要求1所述的方法，其特征在于，所述联想记忆模型为两层的神经网络。4.根据权利要求1所述的方法，其特征在于，在基准字母表的m个类集合中分别查找与...

【专利技术属性】
技术研发人员：罗青，邹逸群，郭璠，唐琎，李凡，覃若彬，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43