基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法技术方案

本发明专利技术公开了一种基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法，包括：样本层、符号层和关联层三层网络结构；所述三层网络结构中包含视觉通路和听觉通路；所述视觉通路中：样本层，分别学习物体的原始形状和颜色特征，并进行自主聚类；符号层，接收形状和颜色样本层的自主聚类结果，并抽象为相应的符号；所述听觉通路中：样本层，学习名字的词向量；符号层，接收名字的词向量类别并简化为符号；所述关联层建立视觉通路和听觉通路中符号之间的关联关系，并根据已知的关联关系向低层网络反馈应答信号。基于自组织神经网络，能够自主发育物体概念和实现视听融合。

【技术实现步骤摘要】
基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法
本专利技术属于机器学习
，尤其涉及一种基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法。
技术介绍
随着越来越多的机器人参与到人类的日常生活，认知发育目前已经成为了智能机器人领域的热点。机器人与人交流中需要具备识别和理解的能力，因此必须建立与人类共同的知识基础，比如物体概念。机器人通常由人类预先设计好内部的知识表示，无法适应未知的和动态的环境。为解决这个问题，机器人需要具备像人类婴儿一样自主发育认知的能力。人类婴儿利用自身的认知原理和父母指导能够在两岁之前迅速发育对世界的表示，形成物体原始的样本表示，并逐渐发育出从简单到复杂的符号表示。整个过程都是多模态的，而且当几个模态同时出现时，大脑会建立模态间的内部关联。这促进了婴儿在认知过程中形成完善的物体概念。因此，婴儿能够根据一些简单的特征(比如形状和颜色)学习物体，并将这些视觉表示映射到父母告诉的名字上。目前，一些研究已经将婴儿的认知发育理论或大脑机理应用到机器人的认识发育中。比如：利用SVM学习物体的样本和符号表示；一种DevelopmentalEngagement-Reflection(DevE-R)模型能够模拟人类的“同化-适应”调节过程；利用显著物体检测方法和遗传算法让机器人学习新知识。然而，这些方法存在如下缺点：第一，大多数学习过程是线下的学习方式且需要花费大量时间训练模型；第二，学习模型的参数或结构是预定义的，且每次遇见新的样本时都需要重新训练；第三，机器人无法通过人机交互发育认知并建立与人类共同的知识基础。因此，自主认知发育对于机器人而言仍然是一个巨大的挑战。但是，婴儿认知发育过程仍有借鉴之处。婴儿通过观察物体和听父母说的名字来逐渐认识世界，机器人可以模拟这个过程，通过人机交互学习物体概念，并提高自己的智力。这个过程主要涉及到视听融合和开放式的增量式学习。对于已经提出的众多视听融合的研究，大多数是针对目标侦测和识别的，很少有关于认知发育的研究。例如，一些融合网络利用两个深度神经网络分支分别学习视觉图像和声音，并通过串联两种模态的特征向量来进行信息融合。但是这些计算模型是固定拓扑的，并需要线下用大量数据训练。这也暴露了多模态融合的另一个问题，即如何设计一个多模态通用的学习算法，使人不必为每种模态设计专门的结构。现有技术利用SOM学习视觉、听觉、姿势三种模态的信息，并将姿势分支作为各个模态之间的转换的桥梁，从而实现多模态间的融合。然而，SOM也是需要预定义节点数目的固定拓扑网络。这将大大限制机器人的学习能力。因此，机器人的认知算法不仅要能对多模态通用，还要能够随着学到的知识的增加而动态扩展网络。尽管SOM不能满足所有提出的要求，但是增量式自组织神经网络可弥补SOM的不足。GNG能够以在线的方式学习新类别，并逐渐扩充网络节点，从而实现增量式学习。但它采用的固定迭代会导致网络对新输入反应太慢。GWR要比GNG学习速度快。当遇到新样本超出激活阈值且最匹配节点被多次激活时，GWR插入一个新节点。GWR的另一个优点是采用学习率调节性下降的策略，使节点最终的权重趋于稳定。SOINN也是一种很有效的增量式自组织神经网络。它与GWR最大的区别是新节点直接用输入向量表示。GWR则采用输入向量和最匹配节点权重的平均值表示，这将会破坏新样本的真实表示。本专利技术调查了关于将增量式自组织神经网络应用于多模态融合的研究。比如：一种基于SOM的两层连接结构，用于融合空间位置、物体的形状和颜色；一种分层GWR结构，用于融合多模态动作表示，但是该文的融合策略是串联底层网络神经元的权重，这会增加高层神经元的维度。此外，该结构为GWR的所有节点设置了一个固定的相似度阈值。然而，实验者很难为所有类别设置合适的阈值。这将使网络陷入数量-质量的困境。GAM能够克服GWR的缺点。它是利用节点之间的连接来建立模态之间的关联关系，并且能够动态调节每个节点的相似度阈值。但是，GAM采用的是监督学习，每个样本的类别是已知的。因此网络只需要考虑类内距离。STAR-SOINN和M-SOINN则是只考虑类间距离。PCN能够实现在线多模态概念的获取和绑定。但是在学习过程中，PCN需要依靠大量的人类指导来决策。因此，几乎没有研究能够以无监督的方式同时学习物体的类别和类内实例。另外，大多数方法的信息流是单向的，高层信息不能被反馈到低层网络中。现有技术采用基于ART的学习模型，只能用输入激活类别域的认知节点并读出最匹配节点的权重。基于分层物体表示和扩展的LatentDirichletAllocation模型的认知结构也是主要实现分类任务，并且需要预定义参数。尽管也有双向学习结构的研究，但是高层信息只能恢复关联部分，不能利用已知经验指导低层网络的聚类。现有技术提出了基于多分类器和多分类器结合的双向认知结构。但是，人机交互中人类教授的物体名字是用作类别符号，而不是独立的听觉知识。现有技术采用图形菜单界面实现人机交互，并通过基于字典生成器和朴素贝叶斯分类器的模型发育机器人的认知。这种方法计算简便且内存消耗少，但是不适用于恢复物体表示。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法，能够模拟婴儿的认知发育过程，学习多模态的物体概念并建立物体和名字之间的关联关系。为了实现上述目的，本专利技术采用如下技术方案：在一个或多个实施方式中公开的一种基于增量式关联神经网络和动态视听融合的自主认知发育系统，包括：样本层、符号层和关联层三层网络结构；所述三层网络结构中包含视觉通路和听觉通路；所述视觉通路中：样本层，分别学习物体的原始形状和颜色特征，并进行自主聚类；符号层，接收形状和颜色样本层的自主聚类结果，并抽象为相应的符号；所述听觉通路中：样本层，学习名字的词向量；符号层，接收名字的词向量类别并简化为符号；所述关联层建立视觉通路和听觉通路中符号之间的关联关系，并根据已知的关联关系向低层网络反馈应答信号。进一步地，所述视觉通路的样本层提取物体的形状归一化傅里叶描述子和颜色直方图作为视觉特征，并构建两个网络来表示它们的专属区域；根据差异率定义网络的激活函数，视觉通路样本层的学习模型采用动态自适应相似度阈值策略使网络能自主根据数据聚类。进一步地，所述听觉通路样本层学习名字的词向量，并用Levenshtein距离作为激活函数来计算词向量之间的差异；当接收到词向量时，找到最匹配节点，如果两个词向量完全相同，通过增加最佳节点实例数来更新节点；否则，创建一个新节点。进一步地，所述符号层的学习算法采用增量式竞争学习，从空网络开始，每遇到样本层传递的未知类时添加一个新符号节点。在一个或多个实施方式中公开的一种基于增量式关联神经网络和动态视听融合的自主认知发育方法，包括：视觉通路样本层分别学习物体的原始形状和颜色特征，并进行自主聚类；视觉通路符号层接收形状或者颜色样本层的自主聚类结果，并抽象为相应的符号；听觉通路样本层学习名字的词向量；听觉通路符号层接收名字的词向量类别并简化为符号；关联层建立视觉通路和听觉通路中符号之间的关联关系。进一步地，所述视觉通路样本层分别学习物体的原始形状和颜色特征，并进行自主聚类，具本文档来自技高网...

【技术保护点】
1.一种基于增量式关联神经网络和动态视听融合的自主认知发育系统，其特征在于，包括：样本层、符号层和关联层三层网络结构；所述三层网络结构中包含视觉通路和听觉通路；所述视觉通路中：样本层，分别学习物体的原始形状和颜色特征，并进行自主聚类；符号层，接收形状和颜色样本层的自主聚类结果，并抽象为相应的符号；所述听觉通路中：样本层，学习名字的词向量；符号层，接收名字的词向量类别并简化为符号；所述关联层建立视觉通路和听觉通路中符号之间的关联关系，并根据已知的关联关系向低层网络反馈应答信号。

【技术特征摘要】
1.一种基于增量式关联神经网络和动态视听融合的自主认知发育系统，其特征在于，包括：样本层、符号层和关联层三层网络结构；所述三层网络结构中包含视觉通路和听觉通路；所述视觉通路中：样本层，分别学习物体的原始形状和颜色特征，并进行自主聚类；符号层，接收形状和颜色样本层的自主聚类结果，并抽象为相应的符号；所述听觉通路中：样本层，学习名字的词向量；符号层，接收名字的词向量类别并简化为符号；所述关联层建立视觉通路和听觉通路中符号之间的关联关系，并根据已知的关联关系向低层网络反馈应答信号。2.如权利要求1所述的一种基于增量式关联神经网络和动态视听融合的自主认知发育系统，其特征在于，所述视觉通路的样本层提取物体的形状归一化傅里叶描述子和颜色直方图作为视觉特征，并构建两个网络来表示它们的专属区域；根据差异率定义网络的激活函数，视觉通路样本层的学习模型采用动态自适应相似度阈值策略使网络能自主根据数据聚类。3.如权利要求1所述的一种基于增量式关联神经网络和动态视听融合的自主认知发育系统，其特征在于，所述听觉通路样本层学习每个名字的词向量，用Levenshtein距离作为激活函数来计算词向量之间的差异；当接收到词向量时，找到最匹配节点，如果两个词向量完全相同，通过增加最佳节点实例数来更新节点；否则，创建一个新节点。4.如权利要求1所述的一种基于增量式关联神经网络和动态视听融合的自主认知发育系统，其特征在于，所述符号层的学习算法采用增量式竞争学习，从空网络开始，每遇到样本层传递的未知类时添加一个新符号节点。5.一种基于增量式关联神经网络和动态视听融合的自主认知发育方法，其特征在于，包括：视觉通路样本层分别学习物体的原始形状和颜色特征，并进行自主聚类；视觉通路符号层接收原始形状或者颜色特征样本层的自主聚类结果，并抽象为相应的符号；听觉通路样本层学习名字的词向量；听觉通路符号层接收名字的词向量类别并简化为符号；关联层建立视觉通路和听觉通路中符号之间的关联关系。6.如权利要求5所述的一种基于增量式关联神经网络和动态视听融合的自主认知发育方法，其特征在于，所述视觉通路样本层分别学习物体的原始形状和颜色特征，并进行自主聚类，具体过程为：(1)输入样本x到样本层；(2)如果视觉样本网络为空，增加第一个节点的类别和实例数；返回步骤(1)；(3)如果样本层只有一个节点，计算与该节点的差异率；如果差异率小于设定的最大差异率，则更新节点的权重，增加该节点的实例数；否则，创建一个新类节点；(4)如果样本层节点数大于一个，找到与样本x最匹配的节点，并计算差异率；如果所述差异率大于设定的最小差异率，创建一个新类节点；如果所述差异率小于设定的最大差异率或者输入样本与最匹配的节点之间的距离小于类内间距，更新所述最匹配的节点及其邻域，更新节点数目；否则，检查节点融合条件是否符合：如果输入能与最匹配节点合并，那...

【专利技术属性】
技术研发人员：马昕，黄珂，荣学文，宋锐，田新诚，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37