【技术实现步骤摘要】
本专利技术涉及操作性联想学习领域，特别涉及一种可实现自动学习与时间记记的神经形态回路及方法。
技术介绍
1、大数据以及云计算的可用性很大程度上推动了人工智能的蓬勃发展。随着数据集规模的不断扩大以及人们对人工智能实用性要求的不断增加，因为忆阻器在内存计算、低功耗、易于集成等方面具有突出优势，基于忆阻器的方法受到越来越多的关注，被广泛应用到人工神经系统的研究中，也为更复杂的大脑功能的实现提供了一种新的可能。
2、生物的学习行为是随着一个起强化作用的刺激而发生的，生物在受到奖励刺激后会更倾向于表现出相似的行为来获得更多的奖励，并在受到惩罚后减少相应行为。即使奖励刺激被消除也会导致奖励行为的表达。这是一种生物的自发行为，以适应不断变化的环境。操作性条件反射作为生物大脑中最基本、最关键的学习机制之一，是生物学习事物之间关系、适应复杂环境变化必不可少的一环。
3、随着对操作性条件反射研究的不断深入以及人工神经网络研究的不断发展，逐渐有人尝试以电路的形式模拟操作性条件反射的过程。然而这些研究大都集中在单一刺激下生物的反应，而在实际情况下经常出现反馈结果与时间不确定的复杂情况。且这些研究大都没有考虑生物在接受食物奖励后产生的饱腹感以及运动过程中产生的饥饿感对探索欲望的影响。
技术实现思路
1、本专利技术所要解决的技术问题就是提供一种可实现自动学习与时间记记的神经形态回路及方法。该电路模拟大脑的神经机制实现了在不同环境中的操作性条件反射情况，包括连续奖励或惩罚时的记忆，固定间
2、采用的技术方案为：
3、一种可实现自动学习与时间记记的神经形态回路，包括饥饿感输出模块、神经元模块、兴奋感输出模块、基于忆阻器的决策模块和记忆与反馈生成模块；
4、所述饥饿感输出模块输出饥饿感信号激活神经元模块，神经元输出信号进入决策模块进行随机探索；决策模块输出信号为正时，打开按钮，获得奖励或惩罚；经过记忆与反馈生成模块形成联想记忆，并输出反馈信号作用于决策模块、饥饿感输出模块以及兴奋感输出模块；饥饿感输出模块接收正反馈信号会降低饥饿感，接收2-3次正反馈后饥饿感消失，停止输出信号，进入下一个周期；兴奋感输出模块接收正反馈信号输出兴奋感信号，作用于神经元模块，使其能在无饥饿感时仍处于导通状态。
5、优选的，所述饥饿感输出模块包括一个加法器、一个放大电路以及一个比较器，在反馈信号1与vp的共同作用下实现饥饿感的产生与消退过程，当忆阻器m1阻值减小到300ω以下后，通过放大电路导通比较器输出正信号，当反馈信号输入会使m1阻值增大输出负信号，当忆阻器阻值增大到330ω以上后该模块停止输出。
6、优选的，所述神经元模块包括一个稳压器、一个或门、一个与非门、一个比较器以及两个放大电路；所述神经元模块作为电路的连接单元，通过接收饥饿感信号与兴奋感信号来输出神经兴奋，vreset作为复位电压，在空闲时间恢复忆阻器m2的阻值，u2为与非门，保证复位电压不与u1输出信号相干扰，当u1开启时，m2阻值降低，t6导通输出0.8v正脉冲，当u2开启时，m2阻值升高，t7导通输出1.1v负脉冲，代表饥饿感信号的正负信号经过稳压后，变为1v正信号，神经元模块导通，输出信号，代表老鼠处于神经兴奋状态，当饥饿感信号为0时，在兴奋感信号的作用下，神经元模块仍然导通输出信号。
7、优选的，所述兴奋感输出模块包括两个比较器、一个二极管、一个加法器、一个放大电路与一个分压电路；所述兴奋感输出模块模拟了生物在获得奖励后总会产生与奖励相对应的愉悦感或兴奋感，并激励生物去更多地获得奖励这一过程，忆阻器m3反接，在前期的探索时间内，在复位电压的作用下阻值降至最低值，反馈信号是正信号时，输出v5，并使m3阻值升高，使m4阻值降低，反馈信号是单一负信号时，该电路不导通，当反馈信号由正信号变为负信号后，输出v7，并使m4阻值升高，当反馈信号首先为负信号时，对两个忆阻器的阻值没有影响，电路没有输出信号，转为正信号后，电路会重复之前的响应过程。
8、优选的，所述的决策模块包括两个加法器、两个放大电路、一个放大器与一个压控开关；当记忆信号相同或不存在时，决策模块执行随机探索任务；
9、神经元模块的输出信号作用于忆阻器m5和m6，当两个忆阻器阻值下降时，由于其开关参数存在波动性，阻值之间的差值经过放大电路后输入a7进行比较，比较结果通过s1输出代表按压按钮决策的正信号，由决策所获得的反馈生成的记忆信号通过加法器输入决策模块，在空闲时间，神经元模块会输出复位电压，恢复忆阻器的阻值。
10、优选的，决策模块接收正反馈信号会增大正信号输出概率，接收负反馈信号则降低正信号输出概率。
11、优选的，所述记忆与反馈生成模块包括时间记忆、奖励记忆、惩罚记忆、联想学习子模块；初始条件下，受非门控制，s2开关闭合，决策信号使s3开关闭合实验信号接入电路；当现实反馈为奖励时，实验信号为正信号，忆阻器m7阻值降低，同时该信号加入vb后输出反馈信号1，当vo1小于-1.2v时，t14导通输出1.3v正电压，同时vl作为复位电压，在空闲时间恢复m7阻值，并使s6导通，奖励记忆子电路会持续输出记忆信号，并在奖励消失后持续1.4-1.6s。
12、优选的，当vo1小于-1.3v时，t12导通并输出1.2v正信号，s5导通，vtime变为连续正信号，s4导通，实验信号代替非门控制s2的开闭，实现时间记忆，当现实反馈为惩罚时，经验信号为负信号，经过反向后输出一个正信号，使m8阻值降低，当vo2小于-1.3v时，惩罚记忆子电路会持续输出记忆信号，并在惩罚消失后持续0.2-0.3s。
13、优选的，饥饿感输出模块、神经元模块、兴奋感输出模块、基于忆阻器的决策模块和记忆与反馈生成模块实现的包括连续奖励或惩罚时的记忆的情况，是基于操作性条件反射情况。还包括固定间隔时间奖励时的适应性与对时间的奖励，以及在随机反馈时的持续兴奋状态的体现，此外还考虑了内部因素的自主影响，如饱腹感对探索欲望的影响以及记忆与探索结果的相互作用，刺激的伴随和刺激的大小对操作性条件反射也有影响。
14、一种可实现自动学习与时间记记的方法，采用一种可实现自动学习与时间记记的神经形态回路，其方法为：饥饿感输出模块输出饥饿感激活神经元模块，输出信号进入决策模块进行随机探索。该模块输出信号为正时，打开按钮，获得奖励或惩罚。经过记忆与反馈生成模块形成联想记忆，包括对刺激的记忆与对时间的记忆，并输出反馈信号作用于决策模块、饥饿感输出模块以及兴奋感输出模块；决策模块接收正反馈信号会增大正信号输出概率，接收负反馈信号则降低正信号输出概率；饥饿感输出模块接收正反馈信号会降低饥饿感，接收一定次数正反馈后饥饿感消失，停止输出信号，进入下一个周期；兴奋感输出本文档来自技高网...
【技术保护点】
1.一种可实现自动学习与时间记记的神经形态回路，其特征在于，包括饥饿感输出模块、神经元模块、兴奋感输出模块、基于忆阻器的决策模块和记忆与反馈生成模块；
2.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述饥饿感输出模块包括一个加法器、一个放大电路以及一个比较器，在反馈信号1与VP的共同作用下实现饥饿感的产生与消退过程，当忆阻器M1阻值减小到300Ω以下后，通过放大电路导通比较器输出正信号，当反馈信号输入会使M1阻值增大输出负信号，当忆阻器阻值增大到330Ω以上后该模块停止输出。
3.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述神经元模块包括一个稳压器、一个或门、一个与非门、一个比较器以及两个放大电路；所述神经元模块作为电路的连接单元，通过接收饥饿感信号与兴奋感信号来输出神经兴奋，Vreset作为复位电压，在空闲时间恢复忆阻器M2的阻值，U2为与非门，保证复位电压不与U1输出信号相干扰，当U1开启时，M2阻值降低，T6导通输出0.8V正脉冲，当U2开启时，M2阻值升高，T7导通输出1.1V负
4.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述兴奋感输出模块包括两个比较器、一个二极管、一个加法器、一个放大电路与一个分压电路；所述兴奋感输出模块模拟了生物在获得奖励后总会产生与奖励相对应的愉悦感或兴奋感，并激励生物去更多地获得奖励这一过程，忆阻器M3反接，在前期的探索时间内，在复位电压的作用下阻值降至最低值，反馈信号是正信号时，输出V5，并使M3阻值升高，使M4阻值降低，反馈信号是单一负信号时，该电路不导通，当反馈信号由正信号变为负信号后，输出V7，并使M4阻值升高，当反馈信号首先为负信号时，对两个忆阻器的阻值没有影响，电路没有输出信号，转为正信号后，电路会重复之前的响应过程。
5.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述的决策模块包括两个加法器、两个放大电路、一个放大器与一个压控开关；当记忆信号相同或不存在时，决策模块执行随机探索任务；
6.根据权利要求5所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，决策模块接收正反馈信号会增大正信号输出概率，接收负反馈信号则降低正信号输出概率。
7.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述记忆与反馈生成模块包括时间记忆、奖励记忆、惩罚记忆、联想学习子模块；初始条件下，受非门控制，S2开关闭合，决策信号使S3开关闭合实验信号接入电路；当现实反馈为奖励时，实验信号为正信号，忆阻器M7阻值降低，同时该信号加入Vb后输出反馈信号1，当Vo1小于-1.2V时，T14导通输出1.3V正电压，同时VL作为复位电压，在空闲时间恢复M7阻值，并使S6导通，奖励记忆子电路会持续输出记忆信号，并在奖励消失后持续1.4-1.6s。
8.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，当Vo1小于-1.3V时，T12导通并输出1.2V正信号，S5导通，Vtime变为连续正信号，S4导通，实验信号代替非门控制S2的开闭，实现时间记忆，当现实反馈为惩罚时，经验信号为负信号，经过反向后输出一个正信号，使M8阻值降低，当Vo2小于-1.3V时，惩罚记忆子电路会持续输出记忆信号，并在惩罚消失后持续0.2-0.3s。
9.根据权利要求1到8任一项所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，饥饿感输出模块、神经元模块、兴奋感输出模块、基于忆阻器的决策模块和记忆与反馈生成模块实现的包括连续奖励或惩罚时的记忆情况，是基于操作性条件反射情况。
10.一种可实现自动学习与时间记记的方法，采用权利要求1到8所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，包括如下：
...【技术特征摘要】
1.一种可实现自动学习与时间记记的神经形态回路，其特征在于，包括饥饿感输出模块、神经元模块、兴奋感输出模块、基于忆阻器的决策模块和记忆与反馈生成模块；
2.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述饥饿感输出模块包括一个加法器、一个放大电路以及一个比较器，在反馈信号1与vp的共同作用下实现饥饿感的产生与消退过程，当忆阻器m1阻值减小到300ω以下后，通过放大电路导通比较器输出正信号，当反馈信号输入会使m1阻值增大输出负信号，当忆阻器阻值增大到330ω以上后该模块停止输出。
3.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述神经元模块包括一个稳压器、一个或门、一个与非门、一个比较器以及两个放大电路；所述神经元模块作为电路的连接单元，通过接收饥饿感信号与兴奋感信号来输出神经兴奋，vreset作为复位电压，在空闲时间恢复忆阻器m2的阻值，u2为与非门，保证复位电压不与u1输出信号相干扰，当u1开启时，m2阻值降低，t6导通输出0.8v正脉冲，当u2开启时，m2阻值升高，t7导通输出1.1v负脉冲，代表饥饿感信号的正负信号经过稳压后，变为1v正信号，神经元模块导通，输出信号，代表老鼠处于神经兴奋状态，当饥饿感信号为0时，在兴奋感信号的作用下，神经元模块仍然导通输出信号。
4.根据权利要求1所述的一种可实现自动学习与时间记记的神经形态回路，其特征在于，所述兴奋感输出模块包括两个比较器、一个二极管、一个加法器、一个放大电路与一个分压电路；所述兴奋感输出模块模拟了生物在获得奖励后总会产生与奖励相对应的愉悦感或兴奋感，并激励生物去更多地获得奖励这一过程，忆阻器m3反接，在前期的探索时间内，在复位电压的作用下阻值降至最低值，反馈信号是正信号时，输出v5，并使m3阻值升高，使m4阻值降低，反馈信号是单一负信号时，该电路不导通，当反馈信号由正信号变为负信号后，输出v7，并使m4阻值升高，当反馈信号首先为负信号时，对两个忆阻器的阻值没有影响，电路没有输出信号，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。