本发明专利技术涉及一种基于DDPG算法的电能计量装置运维策略优化方法，包括：基于误差状态评分和设定的阈值范围评估电能计量装置的误差状态；建立基于DDFG算法的运维模型，运维模型的Actor网络为电能计量装置生成运维动作；运维模型的Critic网络评估运维动作的表现，并指导策略函数生成下一阶段的运维动作；对运维模型进行迭代更新训练；基于运维模型对待评估的电能计量装置对应的阈值范围进行迭代优化，根据优化后的阈值范围和运维模型确定待评估的电能计量装置的运维策略；将强化学习的思想用以解决电能计量装置运维策略的优化问题，摆脱了传统运维方式中的人为经验的约束，降低了运维成本，提高了运维效率。提高了运维效率。提高了运维效率。
【技术实现步骤摘要】
一种基于DDPG算法的电能计量装置运维策略优化方法
[0001]本专利技术涉及电能计量装置运维管理领域，尤其涉及一种基于DDPG算法的电能计量装置运维策略优化方法。
技术介绍
[0002]电能计量装置包括电压互感器、电流互感器、二次回路和电能表，是发电集团、电网公司、售电公司、用电客户之间进行公平公正交易、准确贸易结算的重要工具，同时也是电网企业内部进行线损考核、母线平衡计算的重要依据，电能计量装置运行的准确性和稳定性关系到了贸易双方的经济利益，也关系到企业内部的经济效益。周期检修是电能计量装置根据电能计量装置管理规程按照其电能计量装置分类要求的周期时间所进行的现场校验。随着电能计量装置的数量规模逐渐增多，按照规程要求的周期校验将浪费大量的人力物力，对企业效益造成损害。
[0003]针对电能计量装置周期检修造成的“检修不足”、“运维过度”的问题，本专利技术提出了一种基于DDPG（Deep Deterministic Policy Gradient，深度确定性策略梯度）算法的电能计量装置运维策略优化方法，将强化学习的思想用以解决电能计量装置运维策略的优化问题，摆脱了传统运维方式中的人为经验的约束，降低了运维成本，提高了运维效率。
技术实现思路
[0004]本专利技术针对现有技术中存在的技术问题，提供一种基于DDPG算法的电能计量装置运维策略优化方法将强化学习的思想用以解决电能计量装置运维策略的优化问题，摆脱了传统运维方式中的人为经验的约束，降低了运维成本，提高了运维效率。
[0005]根据本专利技术的第一方面，提供了一种基于DDPG算法的电能计量装置运维策略优化方法，包括：步骤1，在历史数据中选择电能计量装置的各个误差状态参数建立表示电能计量装置误差状态的决策特征向量，根据所述决策特征向量计算得到电能计量装置的误差状态评分，基于所述误差状态评分和设定的阈值范围评估所述电能计量装置的误差状态为稳定、良好或预警；步骤2，建立基于DDFG算法的运维模型，所述运维模型的Actor网络为电能计量装置生成运维动作；所述运维模型的Critic网络评估运维动作的表现，并指导策略函数生成下一阶段的运维动作；根据所述步骤1中得到所述误差状态及对应的运维动作对所述运维模型进行迭代更新训练；步骤3，基于所述运维模型对待评估的所述电能计量装置对应的所述阈值范围进行迭代优化，根据优化后的所述阈值范围和所述运维模型确定待评估的所述电能计量装置的运维策略。
[0006]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0007]可选的，所述步骤1中，所述决策特征向量为，其中，
为实时误差估计值，为短期预测误差估计值序列，为长期预测误差估计值序列，W为稳定性状态。
[0008]可选的，所述步骤1中，所述电能计量装置的误差状态参数的获取方法包括：采用基于数据驱动的算法计算得到所述实时误差估计值；对电能计量装置的误差数据进行预处理并剥离为自身误差和附加误差，并利用ARIMA算法构造趋势预测模型，将所述自身误差输入所述趋势预测模型得到所述电能计量装置的自身误差短期预测值，根据温度信息和频率信息计算待测电能计量装置的附加误差短期预测值，将所述自身误差预测值和附加误差预测值相加得到所述短期预测误差估计值序列；将多个所述自身误差处理为时间序列，将所述时间序列输入到训练完成的LSTM模型中，得到所述电能计量装置的自身误差长期预测值；根据温度信息和频率信息计算所述电能计量装置的附加误差长期预测值；融合所述自身误差长期预测值和附加误差长期预测值，得到所述长期预测误差估计值序列；构建并获取所述电能计量装置的稳定性状态评估指标，建立电能计量装置稳定性状态指标数据模型，包括：突变误差稳定频次函数模型、突变误差不稳定频次函数模型、渐变误差单调显著性函数模型和渐变误差标准偏差函数模型；采用层次分析理论对各状态评估指标的重要性进行比较，确定状态评估指标的权重，根据电能计量装置稳定性状态指标数据模型的各个状态评估指标的结果和对应的权重计算电能计量装置稳定性状态评分，根据电能计量装置稳定性状态评分评估电能计量装置稳定性状态W为稳定、轻度稳定、中度稳定或重度稳定；所述步骤1中，对所述决策特征向量的各项所述误差状态参数采用加权综合评分的方法进行计算后，得到所述误差状态评分。
[0009]可选的，所述步骤1中根据所述决策特征向量计算得到电能计量装置的误差状态评分的过程包括：步骤101，基于所述电能计量装置的误差估计值、误差估计值的标准差和精度k建立电能计量装置的误差状态评分模型；步骤102，基于所述误差状态评分模型，分别计算为实时误差估计值、短期预测误差估计值序列和长期预测误差估计值序列的误差状态评分分别为、和；步骤103，对电能计量装置的稳定性W按照稳定性程度为稳定、轻度稳定、中度稳定和重度稳定设置对应的权值分别为、、和，得到；步骤104，对各个所述误差状态参数的误差状态评分采用加权综合评分的方法进行计算得到电能计量装置的误差状态评分；步骤105，设定表示所述电能计量装置的误差状态为稳定、良好或预警的对应的误差状态评分的各个所述阈值范围，根据所述误差状态评分所处的阈值范围评估所述电能计量装置的误差状态。
[0010]可选的，所述步骤1和所述步骤3中用评分阈值参数、和表示所述阈值范围：所述电能计量装置的误差状态；其中，、和分别表示稳定、良好和预警；为电能计量装置的误差状态评分，评分阈值参数、和满足。
[0011]可选的，所述步骤101中建立的所述误差状态评分模型为：;其中，为基于误差估计值计算得到的电能计量装置误差真值超出区间[
‑
k，k]的概率：。
[0012]可选的，所述步骤102中所述误差状态评分、和的计算公式分别为：；；；其中，i和j为常数。
[0013]可选的，所述步骤104中计算电能计量装置的误差状态评分为：。
[0014]可选的，所述步骤2中对所述运维模型的目标Q值的计算过程包括：步骤201，设t时刻，电能计量装置的误差状态为，运维动作为：； ；
其中，、和分别表示顺延一个校验周期、按照规定周期进行和安排现场校验；步骤202，定义函数表示确定性运维动作策略，所述电能计量装置在任意t时刻的运维动作的计算公式为：；步骤203，定义参数和函数J，所述参数为对所述函数进行模拟的策略网络的参数，所述函数J为衡量所述函数表示的运维动作策略的表现的函数；；其中，为分布函数；表示在不同的误差状态下，按照函数表示的运维动作策略时能产生的Q值；是误差状态根据分布时的期望值；步骤204，在所述电能计量装置的误差状态为下采取运维动作后，且持续执行所述函数表示的运维动作策略的情况下，计算目标值为：；其中，为折扣因子，r为回报值。
[0015]可选的，所述步骤3包括：步骤301，定义电能计量装置的误差状态与运维动作的关系函数满足：当电能计量装置的误差状态分别为、和时，执行的运维动作分别对应为、和；步骤302，基于所述步骤2中所述运维模型中目标的值与函数对应的确定性动作策略，对设置初始的所述评分阈值参数、和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于DDPG算法的电能计量装置运维策略优化方法，其特征在于，所述运维策略优化方法包括：步骤1，在历史数据中选择电能计量装置的各个误差状态参数建立表示电能计量装置误差状态的决策特征向量，根据所述决策特征向量计算得到电能计量装置的误差状态评分，基于所述误差状态评分和设定的阈值范围评估所述电能计量装置的误差状态为稳定、良好或预警；步骤2，建立基于DDFG算法的运维模型，所述运维模型的Actor网络为电能计量装置生成运维动作；所述运维模型的Critic网络评估运维动作的表现，并指导策略函数生成下一阶段的运维动作；根据所述步骤1中得到所述误差状态及对应的运维动作对所述运维模型进行迭代更新训练；步骤3，基于所述运维模型对待评估的所述电能计量装置对应的所述阈值范围进行迭代优化，根据优化后的所述阈值范围和所述运维模型确定待评估的所述电能计量装置的运维策略。2.根据权利要求1所述的运维策略优化方法，其特征在于，所述步骤1中，所述决策特征向量为，其中，为实时误差估计值，为短期预测误差估计值序列，为长期预测误差估计值序列，W为稳定性状态。3.根据权利要求2所述的运维策略优化方法，其特征在于，所述步骤1中，所述电能计量装置的误差状态参数的获取方法包括：采用基于数据驱动的算法计算得到所述实时误差估计值；对电能计量装置的误差数据进行预处理并剥离为自身误差和附加误差，并利用ARIMA算法构造趋势预测模型，将所述自身误差输入所述趋势预测模型得到所述电能计量装置的自身误差短期预测值，根据温度信息和频率信息计算待测电能计量装置的附加误差短期预测值，将所述自身误差预测值和附加误差预测值相加得到所述短期预测误差估计值序列；将多个所述自身误差处理为时间序列，将所述时间序列输入到训练完成的LSTM模型中，得到所述电能计量装置的自身误差长期预测值；根据温度信息和频率信息计算所述电能计量装置的附加误差长期预测值；融合所述自身误差长期预测值和附加误差长期预测值，得到所述长期预测误差估计值序列；构建并获取所述电能计量装置的稳定性状态评估指标，建立电能计量装置稳定性状态指标数据模型，包括：突变误差稳定频次函数模型、突变误差不稳定频次函数模型、渐变误差单调显著性函数模型和渐变误差标准偏差函数模型；采用层次分析理论对各状态评估指标的重要性进行比较，确定状态评估指标的权重，根据电能计量装置稳定性状态指标数据模型的各个状态评估指标的结果和对应的权重计算电能计量装置稳定性状态评分，根据电能计量装置稳定性状态评分评估电能计量装置稳定性状态W为稳定、轻度稳定、中度稳定或重度稳定；所述步骤1中，对所述决策特征向量的各项所述误差状态参数采用加权综合评分的方法进行计算后，得到所述误差状态评分。4.根据权利要求2所述的运维策略优化方法，其特征在于，所述步骤1中根据所述决策特征向量计算得到电能计量装置的误差状态评分的过程包括：
步骤101，基于所述电能计量...
【专利技术属性】
技术研发人员：饶芳，陈勉舟，陈应林，袁成伟，黄晖，胡文韬，殷晓君，
申请(专利权)人：武汉格蓝若智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。