本发明专利技术公开了一种兼顾井下供液能力与分时电价的采油机变速控制方法，通过将井下供液能力与分时用电成本同时纳入决策，采用基于值的强化学习方法得到相应采油机的冲次变速控制策略，并依据该策略对实际采油机进行冲次变速控制。该方法利用油井虚拟采油环境进行强化学习训练，降低了获得采油机冲次变速控制策略的风险与成本。在实际采油过程中，该方法既能够减少油井因抽采能力与井下供液能力不匹配导致的泵效下降与能耗浪费，降低泵损风险和采油成本，增加产量，又能够使采油机在分时电价较高的时段规避高能耗的采油方式，对于油田的节能增产具有重要应用价值。
1、油井的抽采效率及能耗当前已成为影响油田开发效率及产油成本的关键因素。由于国内大部分油井所处油田已处于低渗透状态，丰度低、渗透率低，导致采油机的抽采能力难以同井下供液能力匹配，进而导致采油机泵效下降，增加采油成本。企业需针对油井制定合理的抽采策略，以期达到节约成本、增加产量的效果。
2、在实际的采油过程中，企业常依靠人工经验，从示功图中估计井下供液情况，对采油机冲次进行固定步长的调整。申请人前期申请一种基于示功图的采油机井供液能力监测方法(cn202210082358.8)，给出了由深度学习网络从示功图中获取油井供液能力的方法。但该方法仍缺乏对于分时电价的兼顾，常因在高电价时段执行高冲次动作而产生额外用电成本。另一方面，该方法依赖于经验调节，对井下供液能力的变化难以进行准确预测和及时反应，冲次调节随意性大，时效性差，准确率低。
3、近年来，人工智能技术发展为采油业相关的工业控制、生产决策提供了技术支撑。强化学习方法可依据智能体与环境交互所得奖励，不断提高智能体在环境中为达到特定目标而做出正确决策的可能性。而固定步长的采油机冲次调节方式，为强化学习方法提供了离散化的动作空间及状态空间，使得在油井开采环境下运用基于值的强化学习方法对抽采策略进行优化成为可能。但前期研究表明，将强化学习方法直接引入抽采策略，需要为该方法提供大量的训练，这在实际的采油过程中难以实现，因而其在抽采策略中的运用存在困难。
r/>技术实现思路
1、针对上述问题，本专利技术公开了一种兼顾井下供液能力与分时电价的采油机变速控制方法，采用基于值的强化学习方法，在一个油井虚拟采油环境中，通过训练得到针对特定油井的冲次优化控制策略，并依据该策略对实际采油机进行冲次变速控制，该方法包括以下步骤：
2、1)获取油井参数，包括：实际冲程s，泵径d，采油机冲次上限ful，采油机冲次下限fol，采油机工况获取周期t；
3、2)获取采油机历史工况记录的示功图及相应的产液量与采油机冲次，运用深度学习网络识别历史示功图中凡尔开闭点的像素点坐标值，并通过凡尔开闭点的相对位置计算采油机的实际有效冲程，获得采油机在各历史时刻的供液能力；
4、3)运用线性回归拟合油井产液量与井下供液能力及采油机冲次的关系曲线q(l,f,t)，其中l表示井下供液能力，f表示采油机冲次；
5、4)依据井下供液能力l及产液量q，计算井下供液能力在一个工况获取周期内的变化量δl，构建井下供液能力变化量模型δl；
6、5)基于油田所处地区的分时电价，依据采油机冲次及采油机运行时间，计算采油机在一个工况获取周期内耗费的分时用电成本c，构建分时用电成本模型c＝c(f,t,t)，其中t表示采油机运行一个工况获取周期的起始时刻；
7、6)构建环境价值奖励函数r(q,c)，其中q与c分别表示采油机运行一个工况获取周期的产液量与用电成本；
8、7)搭建油井虚拟采油环境，为执行强化学习方法的智能体提供了交互接口和训练环境，且能够模拟实际采油过程中油井的状态转移；包括：
9、a.计算采油机在一个工况获取周期内的产液量q＝q(l,f,t)；
10、b.依据井下供液能力l及产液量q，计算井下供液能力在一个工况获取周期内的变化量δl；
11、c.依据采油机冲次及采油机运行时间，计算采油机在一个工况获取周期内耗费的分时用电成本c；
12、d.给出环境价值奖励函数r(q,c)；
13、8)定义油井虚拟采油环境中的状态空间与动作空间，并以状态为行索引，动作为列索引，在智能体中构建二维q值表，用以存储在特定状态下执行特定动作的决策价值；
14、9)从油井虚拟采油环境中获取属于状态空间的第一状态到智能体，并检索q值表，若第一状态不存在于q值表，则将其作为新增项加入q值表；
15、10)基于q值表与第一状态，运用贪心策略选择属于动作空间的第一动作，并在油井虚拟采油环境中执行，获取油井虚拟采油环境的第二状态及其环境价值奖励到智能体；
16、11)运用基于值的强化学习方法，根据第一状态与第二状态及环境价值奖励，对q值表进行学习更新；
17、12)以t为时间间隔，重复步骤9)到步骤11)，使得环境价值奖励达到优化目标且q值表收敛；
18、13)基于所得q值表，对实际采油机进行冲次变速控制。
19、优选的，井下供液能力l定义为：
20、
21、其中seff表示采油机在运行过程中的有效冲程，在实际的采油过程中由示功图经深度学习网络识别凡尔开闭点计算得出。
22、优选的，所述井下供液能力变化量模型δl：
23、δl|(k,v)(l,f,t)＝l+v·t-k·q(l,f,t)
24、其中k为产液量对井下供液能力的影响系数，表示单位体积的产液量对井下供液能力的削弱程度；v为井下供液能力的恢复效率，表示在单位时间内油井自身能够恢复的供液能力程度；参数k与v可由采油机历史工况数据分析得到。
25、优选的，所述分时用电成本模型c(f,t,t)：
26、
27、
28、其中p(f)表示采油机在冲次为f时的运行功率，p(t)表示油田所处地区在t时刻的电价水平，δt表示分时用电成本计算的最小时间精度，p峰表示峰电时段的电价水平，，p平表示平电时段的电价水平，p谷表示谷电时段的电价水平。
29、优选的，按下式给出环境价值奖励函数r(q,c)：
30、
31、其中qmax与cmax分别表示油井在一个工况获取周期内产液量与用电成本的理论最大值，β为价值奖励中产液量与分时用电成本的加权求和权重。
32、优选的，步骤所述智能体表示执行强化学习方法的计算机设备。
33、优选的，步骤8)所述状态空间定义为：
34、s∈{[l,f,t]|l∈[0,1],f∈[fol,ful],00:00≤t≤23:59}
35、其中，s表示状态，fol表示采油机冲次下限，ful表示采油机冲次上限；
36、动作空间定义为：
37、a∈{a1,a2,a3}
38、
39、其中δf表示采油机冲次的调节幅度，a1表示冲次上调动作的代数编号，a2表示冲次下调动作的代数编号，a3表示冲次维持不变动作的代数编号，a表示动作。
40、优选的，步骤所述基于值的强化学习方法包含以下步骤：
41、a.检索q值表，若第二状态s'不存在于q值表，则将其作为新增项加入q值表；
42、b.基于环境价值奖励与第二状态s'得到当前决策的决策价值反馈r：
43、
44、c.对决策价值在第二状态下的最大估计ma本文档来自技高网...
【技术保护点】
1.一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于将井下供液能力与分时用电成本同时纳入决策，采用基于值的强化学习方法，在油井虚拟采油环境中训练得到针对特定油井的冲次优化控制策略，并依据该策略对实际采油机进行冲次变速控制，具有以下步骤：
2.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于井下供液能力L定义为：
3.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于所述井下供液能力变化量模型ΔL：
4.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于所述分时用电成本模型C(f,t,T)：
5.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于按下式给出环境价值奖励函数R(q,c)：
6.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于步骤所述智能体表示执行强化学习方法的计算机设备。
7.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于步骤8)所述状态空间定义为：
8.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于步骤所述基于值的强化学习方法包含以下步骤：
...
【技术特征摘要】
1.一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于将井下供液能力与分时用电成本同时纳入决策，采用基于值的强化学习方法，在油井虚拟采油环境中训练得到针对特定油井的冲次优化控制策略，并依据该策略对实际采油机进行冲次变速控制，具有以下步骤：
2.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于井下供液能力l定义为：
3.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征在于所述井下供液能力变化量模型δl：
4.根据权利要求1所述的一种兼顾井下供液能力与分时电价的采油机变速控制方法，其特征...
【专利技术属性】
技术研发人员：陈夕松，张恒，曹兴广，姜磊，
申请(专利权)人：南京富岛油气智控科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。