一种基于强化学习的油井参数自适应性调控方法技术

本发明专利技术公开了一种基于强化学习的油井参数自适应性调控方法，其包括：搜集相应的数据，制备效果反馈样本集；针对油井参数自适应调控工作设计个性化的强化学习算法；构建面向油井参数调控的强化学习算法网络结构；基于强化学习的油井参数自适应性调控实现；进行算法训练与模型验证；将模型机进行优化并应用。本发明专利技术以油井为中心，将油藏拆分为不同地质开发特点的样本；在此基础上，借鉴图像增强技术，对样本进行增强，进一步扩充了样本的数量和覆盖度，由此构建了覆盖更多情况的强化学习训练样本集；建立两种个性化的强化学习框架，训练得到了智能体，智能体能够保留历史优化的经验信息，为以后的调控方案推荐提供更精准更快速的支持。支持。支持。

【技术实现步骤摘要】
一种基于强化学习的油井参数自适应性调控方法


[0001]本专利技术涉及强化学习的
，尤其涉及一种基于强化学习的油井参数自适应性调控方法。

技术介绍

[0002]油藏注采调控方案的制定是一项复杂的系统工程，实现其自动化、智能化优化决策是智能油田建设中的关键问题之一，存在一系列理论和技术难点。注采调控方案制定过程中需要综合考虑储层非均质性等地质开发因素的影响，属于大规模约束非线性规划问题，高效精准求解难度极大。
[0003]目前针对注采调控方案设计主要有两大主流技术路线：基于专家经验的方案设计优选、基于最优化理论的自动优化设计。运用优化方法研究油田开发决策问题可追溯到1958年，之后随着油藏数值模拟、最优化、人工智能和计算机科学相关理论和技术发展而不断发展进步，到目前的油藏智能生产优化理论和方法，吸引了越来越多的国内外学者，取得了一系列非常有价值的研究成果。尽管基于最优化理论的自动优化设计取得了一系列研究成果，但是，研究中仍存在一些瓶颈问题有待于进一步突破：目前优化的核心是启发式搜索，需要进行大量方案的效果预测和评估对比，以迭代收敛至最优方案，评估次数多、耗时长；每次方案设计都需要重新寻优，历史上的寻优经验没有记忆；油田上万口油水井在历史上经历过大量的注采调整，效果各异，这些数据中隐含注采调控经验信息，目前的方法中无法有效利用。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有基于强化学习的油井参数自适应性调控方法存在的问题，提出了本专利技术。
[0006]因此，本专利技术目的是提供一种基于强化学习的油井参数自适应性调控方法。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：搜集相应的数据，制备效果反馈样本集；
[0008]针对油井参数自适应调控工作设计个性化的强化学习算法；
[0009]构建面向油井参数调控的强化学习算法网络结构；
[0010]基于强化学习的油井参数自适应性调控实现；
[0011]进行算法训练与模型验证；
[0012]将模型机进行优化并应用。
[0013]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：基于专家经验和油藏工程理论确定搜集的数据指标，明确数据来源，搜集相应的数据；
[0014]以每口油井为中心，通过图像增强技术获取用于训练强化学习算法的训练集数据和用于验证强化学习算法模型性能的验证集数据。
[0015]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：针对油井参数自适应调控工作所设计的个性化DQN算法包括：
[0016]输入初始化容量大小为N的经验池D、初始化具有随机参数θ的动作价值函数Q；
[0017]执行M轮循环操作；
[0018]M轮循环操作结束，输出具有参数θ的模型。
[0019]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：执行M轮循环操作包括：
[0020]初始化序列s1＝{x1}(x1为图片)和预处理序列φ1＝φ(s1)；
[0021]以ε大小的可能性随机选取一个动作a
t
，否则根据a
t
＝argmax
a
Q(φ(s1),a；θ)选取一个动作a
t
，在环境中执行动作a
t
并得到观测的奖励r
t
、图片x
t+1
，得到序列s
t+1
＝{x
t+1
}，预处理序列φ
t+1
＝φ(s
t+1
)；
[0022]将(φ
t
,a
t
,r
t
,φ
t+1
)存储到经验池D中；
[0023]从经验池D中随机抽取一批量的经验(φ
j
,a
j
,r
j
,φ
j+1
)；
[0024]利用(r
j
‑
Q(φ
j
,a
j
；θ))2计算得到损失；
[0025]根据梯度下降算法更新参数θ。
[0026]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：针对油井参数自适应调控工作所设计的个性化SCA算法包括：
[0027]输入相关参数；
[0028]执行M轮循环；
[0029]输出参数模型。
[0030]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：所述相关参数包括：
[0031]初始化具有参数θ1,θ2的两个Q网络；
[0032]初始化具有参数φ的策略网络；
[0033]初始化具有大小为N的经验池D。
[0034]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：循环操作包括：
[0035]初始化序列s1＝{x1}(x1为图片)和预处理序列φ1＝φ(s1)；
[0036]根据策略网络得到动作a
t
；
[0037]在环境中执行动作a
t
并得到奖励r
t
、图片x
t+1
；
[0038]得到序列s
t+1
＝{x
t+1
}，预处理序列φ
t+1
＝φ(s
t+1
)；
[0039]将(φ
t
,a
t
,r
t
,φ
t+1
)存储到经验池D中；
[0040]从经验池D中随机抽取一批量的(φ
j
,a
j
,r
j
,φ
j+1
)；
[0041]用差分算法更新Q网络参数θ1,θ2、策略网络参数φ、策略熵平衡系数α；M个循环操作结束。
[0042]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：所述参数模型为具有参数θ1,θ2,φ的模型。
[0043]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：所述强化学习具有基本要素，包括智能体、动作、状态、环境和奖励。
[0044]作为本专利技术所述基于强化学习的油井参数自适应性调控方法的一种优选方案，其中：算法训练与模型验证包括：
[0045]将训练集样本分别输入到构建的两种面向油井参数调控的强化学习算法网络结构中，训练强化学习算法；
[0046]将训练集样本分别输入到训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的油井参数自适应性调控方法，其特征在于：包括，搜集相应的数据，制备效果反馈样本集；针对油井参数自适应调控工作设计个性化的强化学习算法；构建面向油井参数调控的强化学习算法网络结构；基于强化学习的油井参数自适应性调控实现；进行算法训练与模型验证；将模型机进行优化并应用。2.如权利要求1所述的基于强化学习的油井参数自适应性调控方法，其特征在于：基于专家经验和油藏工程理论确定搜集的数据指标，明确数据来源，搜集相应的数据；以每口油井为中心，通过图像增强技术获取用于训练强化学习算法的训练集数据和用于验证强化学习算法模型性能的验证集数据。3.如权利要求1所述的基于强化学习的油井参数自适应性调控方法，其特征在于：针对油井参数自适应调控工作所设计的个性化DQN算法包括：输入初始化容量大小为N的经验池D、初始化具有随机参数θ的动作价值函数Q；执行M轮循环操作；M轮循环操作结束，输出具有参数θ的模型。4.如权利要求3所述的基于强化学习的油井参数自适应性调控方法，其特征在于：执行M轮循环操作包括：初始化序列s1＝{x1}(x1为图片)和预处理序列φ1＝φ(s1)；以ε大小的可能性随机选取一个动作a
t
，否则根据a
t
＝arg max
a
Q(φ(s1),a；θ)选取一个动作a
t
，在环境中执行动作a
t
并得到观测的奖励r
t
、图片x
t+1
，得到序列s
t+1
＝{x
t+1
}，预处理序列φ
t+1
＝φ(s
t+1
)；将(φ
t
,a
t
,r
t
,φ
t+1
)存储到经验池D中；从经验池D中随机抽取一批量的经验(φ
j
,a
j
,r
j
,φ
j+1
)；利用(r
j
‑
Q(φ
j
,a
j<...

【专利技术属性】
技术研发人员：王相，丁阳阳，
申请(专利权)人：常州大学，
类型：发明
国别省市：