【技术实现步骤摘要】
本专利技术涉及电动汽车领域，尤其涉及一种辅助调频的分散电动汽车充电控制方法及装置。
技术介绍
1、目前，在电动汽车参与微电网调频控制的策略上存在以下缺陷：
2、1、现有技术在选取参与微电网调频服务的研究对象时，多数选择停靠于公共充电站中的电动汽车，忽视了利用私有充电机接入到电网中的电动汽车；
3、2、现有的电动汽车参与调频控制策略常采用电动汽车聚合成集群的方法，这样虽然减少了电动汽车集群的复杂度，但却容易忽视电动汽车个体的需求；
4、3、现有控制策略多为集中式或分布式控制，需要有良好的通信环境作为支撑，这带来了额外的通信成本，而且在通信中断时效果欠佳。
技术实现思路
1、本专利技术为克服上述现有技术的缺陷，提供一种辅助调频的分散电动汽车充电控制方法及装置，能够在降低通信成本的同时提高电动汽车参与微电网调频控制策略的全面性。
2、本专利技术一实施例提供一种辅助调频的分散电动汽车充电控制方法，包括如下步骤：
3、获取当前的状态信息；其中，所述状态信息包括微电网的频率偏差与电动汽车的荷电状态；
4、将所述当前的状态信息输入到最新决策网络模型中；其中，所述最新决策网络模型基于预设目标奖励函数训练得到，所述预设目标奖励函数通过所述状态信息进行构建；
5、基于所述最新决策网络模型的输出，控制电动汽车的充电功率，同时存储本次所述充电工作经验。
6、进一步的，所述预设目标奖励函数通过所述状态信息进行构建
7、根据所述微电网的频率偏差构建第一奖励函数；
8、根据所述电动汽车的荷电状态构建第二奖励函数；
9、将所述第一奖励函数与所述第二奖励函数根据预设权重系数加权相加，得到所述奖励值。
10、优选的，所述根据所述微电网的频率偏差构建第一奖励函数，具体包括：
11、设所述微电网的频率偏差为δf，则所述第一奖励函数r1的计算公式为：
12、
13、其中，f1、f2、f3分别表示微电网在正常运行、辅助控制、应急控制时的频率偏差边界，α1、α2、α3分别为f1、f2、f3对应的预设权重系数。
14、优选的，所述根据所述电动汽车的荷电状态构建第二奖励函数，具体包括：
15、设所述电动汽车的荷电状态为soc，则所述第二奖励函数r2的计算公式为：
16、
17、其中，rmax为预设最大奖励值，socmin为预设最小荷电状态，soc*为预设目标荷电状态，socmax为预设最大荷电状态。
18、进一步的，所述最新决策网络模型基于预设目标奖励函数训练得到，具体包括：
19、初始化预测决策网络、预测价值网络、目标决策网络以及目标价值网络；
20、从预设经验池中随机选取充电工作经验数据，并根据预设损失函数训练所述预测价值网络；其中，所述充电工作经验数据基于采集实际运行数据与所述预设目标奖励函数计算得到；
21、通过软更新的方式将所述预测价值网络训练后的参数更新至所述目标价值网络；
22、根据参数更新后的目标价值网络，构建目标函数，并通过所述目标函数训练所述预测决策网络；
23、通过软更新的方式将所述预测决策网络训练后的参数更新至所述目标决策网络；
24、重新选取所述充电工作经验数据，并进行新一次训练，直到训练次数达到预设训练阈值后，结束训练并输出最后一次训练得到的所述目标决策网络为最新决策网络。
25、进一步的，所述充电工作经验数据基于采集实际运行数据与所述预设目标奖励函数计算得到，具体包括：
26、设所述当前的状态信息为s1，所述参考功率为a，则当所述电动汽车根据所述参考功率完成充电后，得到充电后的状态信息s2；
27、根据所述充电后的状态信息s2，通过所述预设目标奖励函数计算奖励值r；
28、将[s1,a,r,s2]作为所述充电工作经验数据。
29、优选的，当所述预设经验池中的所述充电工作经验数据的数量小于预设数量阈值时，通过模拟充电工作经验数据填充所述预设经验池；其中，所述模拟充电工作经验数据的获取方式具体包括：
30、根据预设配置信息，建立负荷频率模型；其中，所述预设配置信息包括各个时刻的所述状态信息；
31、根据t时刻的所述状态信息st，通过所述预测决策网络计算得到t时刻的参考功率at；
32、根据所述t时刻的参考功率at，通过所述负荷频率模型仿真得到t+1时刻的所述状态信息st+1，并根据所述t+1时刻的状态信息st+1，计算奖励值rt；
33、将[st,at,rt,st+1]作为所述模拟充电工作经验数据输出至所述预设经验池。
34、进一步的，所述方法还包括：
35、每隔一段预设时长，将在所述预设时长内存储的充电工作经验数据上传至预设经验池中。
36、本专利技术另一实施例提供一种辅助调频的分散电动汽车充电控制装置，包括：获取模块、输入模块以及充电模块；
37、所述获取模块用于获取当前的状态信息；其中，所述状态信息包括微电网的频率偏差与电动汽车的荷电状态；
38、所述输入模块用于将所述当前的状态信息输入到最新决策网络模型中；其中，所述最新决策网络模型基于预设目标奖励函数训练得到，所述预设目标奖励函数通过所述状态信息进行构建；
39、所述充电模块用于基于所述最新决策网络模型的输出，控制电动汽车的充电功率，同时存储本次所述充电工作经验。
40、进一步的，所述充电模块还用于每隔一段预设时长，将在所述预设时长内存储的充电工作经验数据上传至预设经验池中。
41、与现有技术相比，本专利技术的有益效果在于：
42、本专利技术通过进行集中式训练和使用私人双向充电机进行分散式控制，将利用私有充电机接入到微电网中的电动汽车也纳入到微电网的调频控制策略中，提高了电动汽车参与微电网调频控制策略的全面性。
43、另外，本专利技术所提出的分散式控制只需要在一段预设时长内进行信息交互就能够实现对分散电动汽车的充电控制，相较于现有的集中式控制，降低了通信成本。
本文档来自技高网...【技术保护点】
1.一种辅助调频的分散电动汽车充电控制方法，其特征在于，包括如下步骤：
2.如权利要求1所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述预设目标奖励函数通过所述状态信息进行构建，具体包括：
3.如权利要求2所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述根据所述微电网的频率偏差构建第一奖励函数，具体包括：
4.如权利要求2所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述根据所述电动汽车的荷电状态构建第二奖励函数，具体包括：
5.如权利要求1所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述最新决策网络模型基于预设目标奖励函数训练得到，具体包括：
6.如权利要求5所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述充电工作经验数据基于采集实际运行数据与所述预设目标奖励函数计算得到，具体包括：
7.如权利要求5所述的辅助调频的分散电动汽车充电控制方法，其特征在于，当所述预设经验池中的所述充电工作经验数据的数量小于预设数量阈值时，通过模拟充电工作经验数据填充所述预设经验池
8.如权利要求1所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述方法还包括：
9.一种辅助调频的分散电动汽车充电控制装置，其特征在于，包括：获取模块、输入模块以及充电模块；
10.如权利要求9所述的辅助调频的分散电动汽车充电控制装置，其特征在于，所述充电模块还用于每隔一段预设时长，将在所述预设时长内存储的充电工作经验数据上传至预设经验池中。
...【技术特征摘要】
1.一种辅助调频的分散电动汽车充电控制方法，其特征在于，包括如下步骤：
2.如权利要求1所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述预设目标奖励函数通过所述状态信息进行构建，具体包括：
3.如权利要求2所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述根据所述微电网的频率偏差构建第一奖励函数，具体包括：
4.如权利要求2所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述根据所述电动汽车的荷电状态构建第二奖励函数，具体包括：
5.如权利要求1所述的辅助调频的分散电动汽车充电控制方法，其特征在于，所述最新决策网络模型基于预设目标奖励函数训练得到，具体包括：
6.如权利要求5所述的辅助调频的分散电动汽车充电控制方法，其特征在于...
【专利技术属性】
技术研发人员：赵卓立，谭翰袁，徐家文，张泽翰，卢健钊，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。