胰岛素控制方法、装置和设备制造方法及图纸

本发明专利技术提供一种胰岛素控制方法，装置和设备，涉及血糖控制领域，该方法包括：通过接收针对人体的血糖控制目标指令；对人体体内生理参数进行检测，获得t时刻人体生理参数集S

Insulin control methods, devices and equipment

【技术实现步骤摘要】
胰岛素控制方法、装置和设备
本专利技术涉及血糖控制领域，更具体的，涉及胰岛素控制方法、装置和设备。
技术介绍
1型糖尿病人体的胰腺由于自身免疫破坏胰岛β细胞而不产生胰岛素激素，因此会导致血糖水平过度升高，从而导致各种并发症。目前，使用胰岛素泵模拟基础量与大剂量的方法来对1型糖尿病人体进行血糖调整的方法越发常见。其中，基础量和大剂量均根据人体自身的生理参数进行计算，胰岛素泵注射可以有效控制病人血糖，减轻病人部分负担。但是，这种方法需要人工手动操作的环节较多，存在较大人为因素的影响。目前，一些相关领域的研发者也提出了将人工智能系统加入胰岛素控制管理中，使用基于人工智能算法的胰岛素控制系统来对胰岛素的注入量进行自动化计算。鉴于血糖与胰岛素之间相互作用的闭环性质，针对这一问题研究人员开发了各种控制理论算法，有比例积分微分(PID)、模型预测控制器(MPC)和模糊逻辑(MD-logic)算法。医学界也提出了一些模型来模拟人体的胰腺功能，并给出当前的血糖水平，决定要注射多少胰岛素才能达到目标血糖。但是，人体的血糖变化受到饮食、日常活动、锻炼压力和激素等各种因素的影响，往往比较复杂、并具有非线性和时变性质。上述的一些控制算法要么是基于线性系统设计的、或者是用于开环系统优化的，亦或是依赖于设计者经验的基于规则，它们往往只能适用于特定的血糖模型，并不能良好的适应人体血糖值的动态变化，因此都具有局限性。
技术实现思路
本专利技术的目的在于克服现有技术中存在的上述问题，提供一种胰岛素控制方法、装置和设备，能够实现对胰岛素控制策略的快速动态调整，从而实现对快速动态变化的人体血糖值进行有效控制。为实现上述技术目的，达到上述技术效果，本专利技术实施例是通过以下技术方案实现：一方面，提供了一种胰岛素控制方法，所述方法包括以下步骤：接收针对人体的血糖控制目标指令；对人体体内生理参数进行检测，获得t时刻人体生理参数集St；将所述t时刻人体生理参数集St输入胰岛素控制模型，获取t时刻人体需要的胰岛素剂量Nt；命令胰岛素递送装置执行递送所述胰岛素剂量Nt；在t+1时刻迭代重复上述步骤；所述胰岛素控制模型基于深层确定性策略梯度模型训练获得。本申请实施例提供的胰岛素控制方法所使用的胰岛素控制模型基于深层确定性策略梯度模型训练获得，能够及时根据人体生理参数的变化，及时更新参数从而采取新的胰岛素控制策略，适应快速动态变化的人体血糖值，并且本方法对环境参数的依赖度较小，适应性广，局限性小，能够起到及时、有效、快速调整的血糖控制效果。可选的，所述胰岛素控制模型包括：策略模型，根据所述生理参数集St，获取胰岛素控制策略集；选择模型，根据所述胰岛素控制策略集，获取所述人体需要的胰岛素剂量Nt；记忆库，所述记忆库是所述胰岛素控制模型中所有模型的共享存储器，用于存储相关参数信息及已经学习的经验，并与所述胰岛素控制模型中所有模型相关联；根据所述血糖控制目标与t+1时刻的生理参数集St+1确定对人体的血糖控制效果；根据所述血糖控制效果，调整所述胰岛素控制模型中所有模型的参数。所述记忆库能够存储所述胰岛素控制模型中的所有模型及其子模型的训练参数及学习经验，即使更换了不同的人体、初始化网络参数后，也能及时提取记忆库中已经学习到的经验来针对不同人体、不同血糖控制目标及时完成有效的控制。可选的，所述策略模型包括：行动网络，所述行动网络包括估计行动网络和目标行动网络；评价网络，所述评价网络包括估计评价网络和目标评价网络；所述估计行动网络与所述目标行动网络结构相同，所述目标行动网络参数更新滞后于所述估计行动网络；所述估计评价网络与所述目标评价网络结构相同，所述目标评价网络参数更新滞后于所述估计评价网络。可选的，所述估计行动网络和所述目标行动网络参数当前值不同步；所述估计评价网络和所述目标评价网络当前值不同步。可选的，所述目标行动网络的参数当前值来自于所述行动网络的参数更新值；所述目标评价网络的参数当前值来自于所述评价网络的参数更新值。可选的，所述行动网络的参数更新值由所述记忆库中存储的所述学习的经验确定；所述行动网络参数的当前值的更新及所述评价网络的当前值的更新，也存储入所述记忆库。可选的，所述目标行动网络和所述目标评价网络的参数当前值被约束为缓慢梯度改变。可选的，在所述目标行动网络和所述目标评价网络的参数当前值已经写入记忆库之后，才能执行参数更新操作。本申请中的行动网络与评价网络都采用了双网络结构，由各自的估计网络与目标网络构成，估计网络根据相关参数实时进行更新，而目标网络的更新则滞后于估计网络，两套网络不同步更新的方式，能够有效的维持所述策略模型的学习效率，与学习的有效性与稳定性。可选的，所述策略模型还包括：将所述生理参数集St输入所述估计行动网络，获取估计策略；将所述生理参数集St与所述估计策略输入所述估计评价网络，获取所述估计策略的价值Qe；将所述生理参数集St+1输入所述目标行动网络，获取目标策略；将所述目标策略输入所述目标评价网络，获取所述目标策略的价值Qt；根据所述目标策略的价值Qt与所述估计策略的价值Qe，获取所述胰岛素控制策略集，并且对所述估计行动网络及所述估计评价网络参数进行更新。本申请中的策略模型中的评价网络由估计评价网络与目标评价网络组成，估计评价网络对由估计行动网络产生的估计策略进行价值评价，这里的估计策略可以是多个策略，获取的所述估计策略的价值Qe可以是多个估计策略的价值集合；目标行动网络则通过下一时刻的生理参数集St+1来获取目标策略的价值Qt，通过目标策略的价值Qt与估计策略的价值Qe之间的差距来获得整个策略模型的参数调整信息，以此逐步更接近血糖控制目标。可选的，在获取估计策略过程中，加入随机量，生成各向维度的估计策略。可选的，所述随机量贯序相关的OU噪声。所述随机量与OU噪声的加入，能够使得所述策略模型更有效的进行学习。一方面，提供了一种胰岛素控制装置，所述装置包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述的胰岛素控制方法。一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如上任一所述的控制方法。一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储如上任一所述的控制方法产生的任一数据。一方面，提供了一种胰岛素控制设备，所述设备包括如上所述的胰岛素控制装置。可选的，所述设备还包括传感器和胰岛素输送装置，所述传感器用于检测人体生理参数，所述生理参数至少包括血液的血糖浓度，所述传感器将所述人体生理参数传送至所述胰岛素控制装置，所述胰岛素控制装置控制所述本文档来自技高网...

【技术保护点】
1.一种胰岛素控制方法，所述方法包括以下步骤：/n接收针对人体的血糖控制目标指令；/n对人体体内生理参数进行检测，获得t时刻人体生理参数集S

【技术特征摘要】
1.一种胰岛素控制方法，所述方法包括以下步骤：
接收针对人体的血糖控制目标指令；
对人体体内生理参数进行检测，获得t时刻人体生理参数集St；
将所述t时刻人体生理参数集St输入胰岛素控制模型，获取t时刻人体需要的胰岛素剂量Nt；
命令胰岛素递送装置执行递送所述胰岛素剂量Nt；
在t+1时刻迭代重复上述步骤；
其特征在于，所述胰岛素控制模型基于深层确定性策略梯度模型训练获得。


2.根据权利要求1所述的胰岛素控制方法，其特征在于，所述胰岛素控制模型包括：
策略模型，根据所述生理参数集St，获取胰岛素控制策略集；
选择模型，根据所述胰岛素控制策略集，获取所述人体需要的胰岛素剂量Nt；
记忆库，所述记忆库是所述胰岛素控制模型中所有模型的共享存储器，用于存储相关参数信息及已经学习的经验，并与所述胰岛素控制模型中所有模型相关联；
根据所述血糖控制目标与t+1时刻的生理参数集St+1确定对人体的血糖控制效果；
根据所述血糖控制效果，调整所述胰岛素控制模型中所有模型的参数。


3.根据权利要求2所述的胰岛素控制方法，其特征在于，所述策略模型包括：
行动网络，所述行动网络包括估计行动网络和目标行动网络；
评价网络，所述评价网络包括估计评价网络和目标评价网络；
所述估计行动网络与所述目标行动网络结构相同，所述目标行动网络参数更新滞后于所述估计行动网络；
所述估计评价网络与所述目标评价网络结构相同，所述目标评价网络参数更新滞后于所述估计评价网络。


4.根据权利要求3所述的胰岛素控制方法，其特征在于，所述估计行动网络和所述目标行动网络参数当前值不同步；
所述估计评价网络和所述目标评价网络当前值不同步。


5.根据权利要求3所述的胰岛素控制方法，其特征在于，所述目标行动网络的参数当前值来自于所述行动网络的参数更新值；
所述目标评价网络的参数当前值来自于所述评价网络的参数更新值。


6.根据权利要求5所述的胰岛素控制方法，其特征在于，所述行动网络的参数更新值由所述记忆库中存储的所述学习的经验确定；
所述行动网络参数的当前值的更新及所述评价网络的当前值的更新，也存储入所述记忆库。


7.根据...

【专利技术属性】
技术研发人员：王晓梅，
申请(专利权)人：杭州知盛数据科技有限公司，
类型：发明
国别省市：浙江;33