一种基于强化学习的小脑模型建模方法技术

本发明专利技术属于神经工程与生物信息系统建模技术领域，一种基于强化学习的小脑模型建模方法，包括以下步骤：(1)建立小脑模型的基本结构，(2)根据效应器的状态信息，计算各个基本单元中的平行纤维状态，(3)计算各个基本单元的输出，从而得到小脑模块输出命令，(4)执行小脑模块学习功能。本发明专利技术以小脑自身的解剖学与生理学特性为出发点，在神经元水平上模拟、复制小脑的神经系统的结构与功能，解决了现有的许多小脑建模方法追求控制效果而忽略小脑本身特性的弊端。同时，将强化学习方法作为小脑学习过程所采取的机制能够很好地体现小脑学习过程中攀爬纤维放电的“全”或“无”的特点，使建立的小脑模型更具有生物的合理性。

A cerebellar model building method based on Reinforcement Learning

The invention belongs to the field of neural engineering and biological information system modeling technology, a modeling method of cerebellar model based on reinforcement learning, which comprises the following steps: (1) establish the basic structure model of the cerebellum (2), according to the state information of the effector, parallel fiber states of each basic unit, calculate each output (3) the basic unit, so as to obtain the cerebellar output command module, execution module (4) cerebellar learning function. The present invention with anatomical and physiological characteristics of the cerebellum as the starting point, the structure and function of the nervous system simulation, at this level of replication of cerebellum, solve the problems existing in many modeling methods of cerebellar pursuit effects while ignoring the character of cerebellum. At the same time, reinforcement learning method as a learning mechanism to process the cerebellar climbing fiber can discharge well reflect the cerebellum in the learning process of \full\ or \no\ features, the cerebellar model established is more reasonable creatures.

【技术实现步骤摘要】
一种基于强化学习的小脑模型建模方法
本专利技术渉及一种基于强化学习的小脑模型建模方法，属于神经工程与生物信息系统建模

技术介绍
人的小脑位于大脑半球后方，覆盖在脑桥及延髓之上，横跨在中脑和延髓之间，具有协调运动的功能。在协调运动过程中，小脑不仅会接收大脑皮层的运动命令并传递给脊髓肌肉系统，同时也会接收本体感受器的反馈信息，对部分运动命令进行实时的调整。凭借这种功能机理，哺乳动物能够实现对躯体以及四肢快速、稳定、准确地控制，其理想的控制效果一直是各种控制方法所追求的目标。因此，对于控制学领域而言，深入了解小脑的解剖学和生理学特性，探索其功能机理，并以此为基础建立小脑模型，无疑会为控制理论的发展提供新的思路。另一方面，小脑性共济失调因其病变部位和诱因的不同而种类繁多，对其的诊断与治疗一直是临床上的一大难题。建立小脑模型，在模型的基础上建立小脑性共济失调的表征，可以为临床提供新的参考，所得的结果也具有普适性和可移植性，在医学领域具有重大的价值。基于以上目的，多年来医学与控制学相关领域的众多学者进行了相关的探索，建立了多种小脑模型，如Albus依据小脑皮层不同分区具有不同功能的特性及小脑所具有的学习功能，提出了小脑关联控制器模型；Kawato将小脑比作一种可模拟运动器官输入输出特性的系统，提出了小脑内部模型等。现有的建模方法主要集中在对健康小脑的功能表达方面，通常用以实现机器人系统或简单手臂的协调运动控制。这样的建模方法主要关心的是系统的可行性，实现的复杂程度和控制的效果等因素，因而在建模时会对小脑内部结构进行大量的简化甚至会忽略其内部生理学信息。此外，现有小脑模型的学习过程通常采用监督学习方式，认为攀爬纤维传递具有指导性的误差信号，与其放电的“全”或“无”特性不符。针对以上问题，需要从小脑解剖学和生理学角度出发，利用控制学相关原理，从微观结构与机制的角度，模拟和复制其功能，建立能够表达其自身特性的小脑模型。
技术实现思路
为了克服现有技术存在的不足，本专利技术目的是提供一种基于强化学习的小脑模型建模方法。本专利技术利用神经网络等相关控制方法，在神经元层次上对小脑的结构以及功能等进行表达以体现小脑的自身特性，同时，采用基于强化学习机制的学习过程比较符合攀爬纤维的放电特性，从而使建立的小脑模型更具有生物合理性。为了实现上述专利技术目的，解决已有技术中所存在的问题，本专利技术采取的技术方案是：一种基于强化学习的小脑模型建模方法，包括以下步骤：步骤A、建立小脑模型的基本结构，基于小脑皮层的匀质结构特性，使用具有相同结构的p个基本单元的阵列来建立小脑模型的总体结构，p表示基本单元的数量，每个基本单元接收相同的输入信息，随后进入步骤B；步骤B、根据效应器的状态信息，计算各个基本单元中平行纤维的状态，具体包括以下子步骤：子步骤B1、将效应器的状态空间进行均匀划分，划分的数量与每个基本单元中平行纤维的数量m相同，每条平行纤维对应一个状态空间区域；子步骤B2、根据效应器所处的状态，确定第k个基本单元中的平行纤维的状态值xki，其值具有二值性，用“0”表示抑制状态，“1”表示激活状态，当效应器的状态位于第i条平行纤维对应的状态空间区域时，则xki赋值为1，其中，k＝1,2,…p，i＝1,2,…m，i表示第i条平行纤维，然后进入步骤C；步骤C、计算各个基本单元的输出命令，从而得到小脑模块输出命令，具体包括以下子步骤：子步骤C1、计算第k个基本单元的网状结构输出，此基本单元中各个浦肯野细胞的状态值为ykj，其值随时间改变，j＝1,2,…n，n表示浦肯野细胞数目，具体包括以下子步骤：子步骤C11、利用公式(1)计算第k个基本单元中第j个浦肯野细胞在t时刻的膜电位值qkj(t)，式中，wkij表示第i条平行纤维与第j个浦肯野细胞形成的突触的记忆权值，由于该类突触为小脑学习记忆的载体，因此wkij设为可调，其初始值设为1，小脑模块的输出通过调整其值大小来改变；表示篮细胞与第j个浦肯野细胞形成的突触的权值，表示星形细胞与第j个浦肯野细胞形成的突触的权值，由于篮细胞和星形细胞对浦肯野细胞产生抑制作用，其值皆为负值，以上两权值均为固定值，都设为-0.1，bkj表示与第j个浦肯野细胞相连的篮细胞的状态值，sk表示星形细胞的状态，篮细胞与星形细胞在执行过程中始终保持激活状态，因此其值皆恒定为1；子步骤C12、浦肯野细胞的状态具有二值性，用“0”表示抑制状态，“1”表示激活状态，结合子步骤C11计算得到的qkj(t)，利用公式(2)、(3)计算在t时刻时第k个基本单元中第j个浦肯野细胞的状态值，对于初始时刻，t＝1时，当t>1时，ykj(t)还与上一时刻ykj(t-1)的值相关，赋值方法为，式中，φ、η分别为浦肯野细胞膜电位的去极化和复极化的阈值，为固定常数，且φ>η，设定φ＝1，η＝0.8；子步骤C2、根据反馈环路loop状态与基本单元中的浦肯野细胞的状态，计算各个基本单元输出，loop具有两种状态，即on与off状态，二者转化的条件为：当小脑模块开始执行命令输出时，loop由off转变为on状态；而当基本单元中的所有的PC都处于激活状态时，loop由on转变为off状态，根据loop不同状态，利用公式(4)计算第k个基本单元的输出命令Ok(t)，式中，γ表示命令调整系数，设为常数，则在t时刻小脑模块的输出命令为O(t)＝[O1(t),O2(t),…Op(t)]，若O(t)为零向量，则执行步骤D，即完成一次小脑模块命令的输出，否则执行子步骤C3；子步骤C3、根据权值调整公式，计算当前小脑模块记忆信息对应的控制命令输出，具体包括以下子步骤：子步骤C31、根据权值调整公式(5)，调整第k个基本单元在t+1时刻的平行纤维和浦肯野细胞形成的突触记忆权值wkij(t+1)的大小，式中，λ为调整系数，设为常数，Δwkij(t)为在t时刻时平行纤维和浦肯野细胞形成的突触记忆权值的变化量，wkij(t)表示在t时刻平行纤维和浦肯野细胞形成的突触记忆权值；子步骤C32、根据t时刻的小脑模块输出命令O(t)和小脑命令到效应器运动控制命令的映射关系F，利用公式(6)计算t+1时刻效应器的状态，式中，ΔM(t)表示t时刻小脑命令控制效应器运动而产生的状态的调整值，M(t)表示t时刻效应器的状态，M(t+1)表示t+1时刻效应器的状态，随后再次执行子步骤B2；步骤D、执行小脑模块学习功能，通过调整小脑模块的记忆权值，进而改变小脑模块的命令输出，若小脑模块首次进入学习过程，则执行子步骤D1，否则，执行子步骤D2；子步骤D1、设定基于强化学习机制的小脑模型的相关要素的初始值，具体包括以下子步骤：子步骤D11、设定所有平行纤维的状态值函数V的初始值均为1，其中，当平行纤维所处的状态为S时，其值函数可表示为VS；子步骤D12、制定初始条件下，行为选择的策略为π(a)，其具体内容为：在不同状态下，选择各个行为a的概率相同；其中，行为a表示选择一个基本单元激活，同时，每个基本单元激活都产生一个模值相同的基本单元输出命令Ok'；子步骤D2、计算效应器的状态与期望值的误差，若在预先设定的允许范围之内，则建模完成，否则执行子步骤D3；子步骤D3、判定对应基本单元的攀爬纤维的状态本文档来自技高网...

【技术保护点】
一种基于强化学习的小脑模型建模方法，其特征在于包括以下步骤：步骤A、建立小脑模型的基本结构，基于小脑皮层的匀质结构特性，使用具有相同结构的p个基本单元的阵列来建立小脑模型的总体结构，p表示基本单元的数量，每个基本单元接收相同的输入信息，随后进入步骤B；步骤B、根据效应器的状态信息，计算各个基本单元中平行纤维的状态，具体包括以下子步骤：子步骤B1、将效应器的状态空间进行均匀划分，划分的数量与每个基本单元中平行纤维的数量m相同，每条平行纤维对应一个状态空间区域；子步骤B2、根据效应器所处的状态，确定第k个基本单元中的平行纤维的状态值xki，其值具有二值性，用“0”表示抑制状态，“1”表示激活状态，当效应器的状态位于第i条平行纤维对应的状态空间区域时，则xki赋值为1，其中，k＝1,2,…p，i＝1,2,…m，i表示第i条平行纤维，然后进入步骤C；步骤C、计算各个基本单元的输出命令，从而得到小脑模块输出命令，具体包括以下子步骤：子步骤C1、计算第k个基本单元的网状结构输出，此基本单元中各个浦肯野细胞的状态值为ykj，其值随时间改变，j＝1,2,…n，n表示浦肯野细胞数目，具体包括以下子步骤：子步骤C11、利用公式(1)计算第k个基本单元中第j个浦肯野细胞在t时刻的膜电位值qkj(t)，...

【技术特征摘要】
1.一种基于强化学习的小脑模型建模方法，其特征在于包括以下步骤：步骤A、建立小脑模型的基本结构，基于小脑皮层的匀质结构特性，使用具有相同结构的p个基本单元的阵列来建立小脑模型的总体结构，p表示基本单元的数量，每个基本单元接收相同的输入信息，随后进入步骤B；步骤B、根据效应器的状态信息，计算各个基本单元中平行纤维的状态，具体包括以下子步骤：子步骤B1、将效应器的状态空间进行均匀划分，划分的数量与每个基本单元中平行纤维的数量m相同，每条平行纤维对应一个状态空间区域；子步骤B2、根据效应器所处的状态，确定第k个基本单元中的平行纤维的状态值xki，其值具有二值性，用“0”表示抑制状态，“1”表示激活状态，当效应器的状态位于第i条平行纤维对应的状态空间区域时，则xki赋值为1，其中，k＝1,2,…p，i＝1,2,…m，i表示第i条平行纤维，然后进入步骤C；步骤C、计算各个基本单元的输出命令，从而得到小脑模块输出命令，具体包括以下子步骤：子步骤C1、计算第k个基本单元的网状结构输出，此基本单元中各个浦肯野细胞的状态值为ykj，其值随时间改变，j＝1,2,…n，n表示浦肯野细胞数目，具体包括以下子步骤：子步骤C11、利用公式(1)计算第k个基本单元中第j个浦肯野细胞在t时刻的膜电位值qkj(t)，式中，wkij表示第i条平行纤维与第j个浦肯野细胞形成的突触的记忆权值，由于该类突触为小脑学习记忆的载体，因此wkij设为可调，其初始值设为1，小脑模块的输出通过调整其值大小来改变；θkj表示篮细胞与第j个浦肯野细胞形成的突触的权值，表示星形细胞与第j个浦肯野细胞形成的突触的权值，由于篮细胞和星形细胞对浦肯野细胞产生抑制作用，其值皆为负值，以上两权值均为固定值，都设为-0.1，bkj表示与第j个浦肯野细胞相连的篮细胞的状态值，sk表示星形细胞的状态，篮细胞与星形细胞在执行过程中始终保持激活状态，因此其值皆恒定为1；子步骤C12、浦肯野细胞的状态具有二值性，用“0”表示抑制状态，“1”表示激活状态，结合子步骤C11计算得到的qkj(t)，利用公式(2)、(3)计算在t时刻时第k个基本单元中第j个浦肯野细胞的状态值，对于初始时刻，t＝1时，当t>1时，ykj(t)还与上一时刻ykj(t-1)的值相关，赋值方法为，式中，φ、η分别为浦肯野细胞膜电位的去极化和复极化的阈值，为固定常数，且φ>η，设定φ＝1，η＝0.8；子步骤C2、根据反馈环路loop状态与基本单元中的浦肯野细胞的状态，计算各个基本单元输出，loop具有两种状态，即on与off状态，二者转化的条件为：当小脑模块开始执行命令输出时，loop由off转变为on状态；而当基本单元中的所有的PC都处于激活状态时，loop由on转变为off状态，根据loop不同状态，利用公式(4)计算第k个基本单元的输出命令Ok(t)，式中，γ表示命令调整系数，设为常数，则在t时刻小脑模块的输出命令为O(t)＝[O1(t),O2(t),…Op(t)]，若O(t)为零向量，则执行步骤D，即完成一次小脑模块命令的输出，否则执行子步骤C3；子步骤C3、根据权值调整公式，计算当前小脑模块记忆信息对应的控制命令输出，具体包括以下子步骤：子步骤C31、根据权值调整公式(5)，调整第k个基本单元在t+1时刻的平行纤维和浦肯野细胞形成的突触记忆权值wkij(t+1)的大小，

【专利技术属性】
技术研发人员：刘蓉，林相乾，王永轩，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21