【技术实现步骤摘要】
本申请涉及采油井掺水阀门自动化控制，尤其是一种采油井掺水阀门控制方法、存储介质、电子设备及系统。
技术介绍
1、掺水集油工艺可提高高凝、高粘原油油田的采油井集油效率和产量。通过注入水来改善油层物理性质、降低原油粘度以及辅助驱替，掺水集油可以增加原油产量并提高采收率，从而更有效地利用油田资源。国内油田在掺水集控制方面大多采用人工调节方式。这种方式可能受限于人为操作的主观性和误差，无法实现精确控制，在影响采油效果和产量的同时也会造成水、电、燃气等资源的巨大浪费。近年来，自动化和智能化技术能够实现掺水集控制的高精度控制和自动调节，避免人为操作的主观性和误差，提高掺水操作的准确性和稳定性。同时，减少人工监测和调节的需求，降低人力资源的投入，并且减少操作成本，提高经济效益。
2、公开号为cn110821457a、名称为《一种基于井口回压的掺水控制方法、控制器及控制系统》的中国专利技术专利，其公开的技术方案为：确定采油井工况的工况；若所述采油井工况正常，则获取室外温度，以及根据所述室外温度确定恒定掺水流量控制或变掺水控制方式；若所述采油井工况异常，则指示进行井口巡查。上诉专利技术通过运维经验，构建自动掺水控制方法。虽然解决了因井口回压变化而引起的采油井掺水量变化，易发生出油管道凝堵事故的问题。但是掺水集油过程涉及多个参数和相互影响的因素，包括油层性质、注水井位置、油水比等，基于经验总结的方法往往难以准确地捕捉和分析这些复杂关系，并难以提供最佳的控制决策。同时，油田条件和采油环境可能随时间和地点的变化而变化。基于经验总结的方法可能
技术实现思路
1、本申请的目的在于克服现有技术中基于经验总结的方法侧重于固定的控制决策和规则且不具备优化能力的问题，提供一种采油井掺水阀门控制方法、存储介质、电子设备及系统。
2、第一方面，提供了一种采油井掺水阀门控制方法，包括：
3、将采油井检测数据及掺水阀门开度打上时间戳并加入数据库；
4、从所述数据库中提取历史数据构建训练数据集；
5、基于所述训练数据集构建初始模型、定义奖励函数和离线训练状态转移函数，其中，所述状态转移函数用于根据掺水阀门开度的变化对回油压力的变化进行预估；
6、部署初始模型，并根据采油井的实时反馈在线优化策略函数以及更新初始模型，其中，所述策略函数用于通过当前采油井检测数据判断掺水阀门开度所需调整的程度；
7、基于所述状态转移函数和策略函数通过初始模型进行蒙特卡洛树模拟，以生成掺水阀门开度的最优控制决策。
8、进一步的，所述采油井检测数据包括掺水温度、掺水压力、回油温度、回油压力和环境温度。
9、进一步的，所述奖励函数的奖励规则为：若回油压力在预设的范围内，则奖励为正；若回油压力大于预设的阈值，则奖励为负。
10、进一步的，离线训练所述状态转移函数的步骤为：
11、s301、构建状态转移矩阵：将在训练数据集中所观察到的状态转移情况整理成一个矩阵，矩阵的行表示当前状态，矩阵的列表示下一个状态，矩阵中的每个元素表示从当前状态转移到下一个状态的概率；
12、s302、估计状态转移函数：利用最大似然估计状态转移函数的参数；
13、s303、验证和调整：使用估计得到的状态转移函数进行模拟，观察掺水阀门开度的行为是否符合预期，若不符合，则调整初始模型中学习算法的参数或初始模型的结构；
14、s304、迭代更新：重复步骤s302-s303，不断更新状态转移函数的估计值，直至初始模型得到的掺水阀门开度和预期值的差值小于预设阈值或迭代次数达到预设的最大迭代次数。
15、进一步的，根据采油井的实时反馈在线优化策略函数，包括：
16、s401、初始化策略函数神经网络和值函数神经网络；
17、s402、从环境中采集一个样本(s,a,r,s')，其中，s是当前状态，a是当前动作，r是当前奖励，s'是下一个状态；
18、s403、使用策略函数神经网络计算在当前状态下执行各种动作的概率分布π(a|s)，并随机选择一个动作a'执行；
19、s404、根据执行的动作a'和环境反馈，计算下一个状态s'和下一个奖励r'；
20、s405、使用值函数神经网络估计当前状态s的值函数v(s)和当前动作a的值函数q(s,a)；
21、s406、根据策略梯度算法更新策略函数神经网络的参数，以使得下一次执行的动作更符合预期的奖励；
22、s407、根据值函数更新算法更新值函数神经网络的参数，以使得对当前状态和动作的估计更准确；
23、s408、重复执行步骤s404-s407，直至所述策略函数的性能满足需求或重复次数达到预设的最大重复次数。
24、进一步的，基于所述状态转移函数和策略函数通过初始模型进行蒙特卡洛树模拟，包括：
25、在决策树的每个节点，根据策略函数选择一个动作，并使用状态转移函数转移到新的状态；
26、根据新的状态和奖励函数，计算当前节点的预期奖励和倒置奖励；
27、根据所述倒置奖励和预期奖励，扩展或复用已有的节点，直至达到预设的最大深度；
28、选择节点奖励相加最高的一条路径作为掺水阀门开度的最优控制决策。
29、第二方面，提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面中的任意一种实现方式中方法的步骤。
30、第三方面，提供了一种电子设备，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中的任意一种实现方式中的方法。
31、第四方面，提供了一种采油井掺水阀门控制箱系统，包括：
32、如第三方面所述的电子设备；以及
33、执行机构，用于根据所述电子设备输出的最优控制决策控制掺水阀门开度；
34、传感器组，用于检测采油井检测数据。
35、进一步的，所述传感器组包括：掺水温度传感器、掺水压力传感器、回油温度传感器、回油压力传感器和环境温度传感器。
36、本申请具有如下有益效果：本申请基于强化学习算法，生成掺水阀门开度的最优控制决策来控制执行机构自动调节掺水阀门，使井口回压稳定在正常范围内，并且该方法可以实时在线迭代，根据执行机构的操作情况及采油井在不同生产情况、气候时的检测反馈，学习更有针对性的执行机构控制决策。
本文档来自技高网...【技术保护点】
1.一种采油井掺水阀门控制方法，其特征在于，包括：
2.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，所述采油井检测数据包括掺水温度、掺水压力、回油温度、回油压力和环境温度。
3.根据权利要求2所述的采油井掺水阀门控制方法，其特征在于，所述奖励函数的奖励规则为：若回油压力在预设的范围内，则奖励为正；若回油压力大于预设的阈值，则奖励为负。
4.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，离线训练所述状态转移函数的步骤为：
5.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，根据采油井的实时反馈在线优化策略函数，包括：
6.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，基于所述状态转移函数和策略函数通过初始模型进行蒙特卡洛树模拟，包括：
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1-6中任一项所述方法的步骤。
8.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及存储在所述存
9.一种采油井掺水阀门控制系统，其特征在于，包括：
10.根据权利要求9所述的采油井掺水阀门控制系统，其特征在于，所述传感器组包括：掺水温度传感器、掺水压力传感器、回油温度传感器、回油压力传感器和环境温度传感器。
...【技术特征摘要】
1.一种采油井掺水阀门控制方法，其特征在于，包括：
2.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，所述采油井检测数据包括掺水温度、掺水压力、回油温度、回油压力和环境温度。
3.根据权利要求2所述的采油井掺水阀门控制方法，其特征在于，所述奖励函数的奖励规则为：若回油压力在预设的范围内，则奖励为正；若回油压力大于预设的阈值，则奖励为负。
4.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，离线训练所述状态转移函数的步骤为：
5.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，根据采油井的实时反馈在线优化策略函数，包括：
6.根据权利要求1所述的采油井掺水阀门控制方法，其特征在于，基...
【专利技术属性】
技术研发人员：宁利，赵煜洋，
申请(专利权)人：深圳中科捷飞科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。