一种基于机器学习的电动车智能接入控制方法技术

本发明专利技术公开了一种基于机器学习的电动车智能接入控制方法，包括：1把随机到达的电动车充电服务请求的接入控制过程描述为事件驱动决策过程；2将电网调峰电价和充电桩在线服务状态作为充电场站服务系统联合状态；3将电动车到达充电场站提出服务请求作为事件，一个事件发生时，根据充电场站服务系统联合状态，选择是否把到达的电动车接入充电场站提供充电服务作为系统行动；4采用Q学习机器学习算法对电动车智能接入服务系统进行在线优化。本发明专利技术能够对考虑电网调峰电价的充电场站服务系统进行有效的电动车智能接入控制，从而能提高充电场站的运行经济性，并自适应电网调峰需求。

【技术实现步骤摘要】
一种基于机器学习的电动车智能接入控制方法
本专利技术属于智能控制与优化
，具体地说是一种基于机器学习的电动车智能接入控制方法。
技术介绍
我国目前是全球最大的汽车消费市场，汽车生产者已将研发生产重点从传统能源为动力的汽车向新能源汽车方向进行转移，其中电动汽车在相当长的一段时期内将是新能源汽车发展的主流，具有巨大的消费潜力，市场占有量也将越来越大。而充电桩是为电动汽车提供充电服务的重要基础设施，也是电动汽车产业化和商业化过程中的重要环节。而随着电动汽车产业的快速发展和电动汽车市场保有量的大幅提高，对多个充电桩进行集中管理和运营的充电场站将是未来的一种重要商业模式和服务形态。另外，风电和光伏等新能源渗透率的提高，未来电力生产和服务的智能性和自适应性也将随之提高，对电力用户的用电进行有效管理和引导将是一种趋势。例如，各级调度中心可根据源荷预测数据制定电力调峰计划并通过实时电价下发，从而引导电力用户例如电动车充电场站合理用电，促进用户侧自主削峰填谷或移峰填谷。现有的电网电价采取的是非常简单的、固定的分时电价机制，没有根据电网的源荷实际预测情况动态制定或调整电网调峰电价计划，充电场站服务系统也没有根据实际电网调峰需求动态自适应地对电动车的充电请求进行自适应接入控制。因此，在实时电网调峰电价机制下，一个充电场站电动车的智能接入服务系统，如何根据电网实时调峰电价和站内所有充电桩的在线服务状态，对一个随机到来的电动汽车的充电服务请求进行自适应响应，即控制其是否接入服务，从而提高充电场站的运行经济性，并自适应电网调峰需求将是有待研究解决的问题。
技术实现思路
本专利技术是为解决上述现有技术存在的不足之处，提出一种基于机器学习的电动车智能接入控制方法，以期能够对电动车服务请求随机到达的充电场站服务系统进行有效的在线优化控制，从而提高充电场站的运行经济性，并自适应电网调峰需求。本专利技术为解决技术问题采用如下技术方案：本专利技术一种基于机器学习的电动车智能接入控制方法的特点是应用于配有J个充电桩，并为M种随机到达的电动车提供有偿充电服务的充电场站服务系统中，令每个充电桩均能满足M种电动车的充电功率需求，且一个充电桩一次只为一个电动汽车提供充电服务；将所述J个充电桩分别记为CS1,CS2,…,CSj,…,CSJ，M种电动车的充电功率需求记为P1,P2,…,Pm,…,PM，其中，CSj表示第j个充电桩，Pm表示第m种电动车的充电功率需求；令K为一天最大周期数且对应总时长为T，将总时长T下的任意t时刻电网的调峰电价记为PRt，则PRt∈ΦPR；假设电网调峰电价按调度指令周期下发，且令τk为第k个调峰电价PRk下发的时刻，则记调峰电价序列为{(τk,PRk)|k＝0,1,2,…,K-1,τ0＝0}，其中，PRk∈ΦPR，ΦPR是有限的电价状态空间；记充电场站服务系统的充电服务价格固定为PRev；假设t时刻有第mt种电动车随机到达电动场站申请充电服务，令所述第mt种电动车的电池当前荷电状态为则将所述第mt种电动车的到达事件记为将所述J个充电桩在t时刻的联合状态记为Ct＝(CS1(t),CS2(t),…,CSj(t),…,CSJ(t))，其中表示第j个充电桩的服务状态；mj(t)表示在t时刻第j个充电桩CSj正在服务的电动车种类，若mj(t)＝0表示t时刻第j个充电桩CSj无车辆接入，若mj(t)∈{1,2，…,M}表示t时刻第j个充电桩CSj正在给{1,2，…,M}中的一种电动车充电；表示t时刻第j个充电桩CSj正在服务的第mj(t)种电动车的电池当前荷电状态；将t时刻第mt种电动车的到达事件发生时的充电场站服务系统状态记为st＝{Ct,PRt}，则将到达事件发生时刻t作为决策时刻，并将所述决策时刻的事件扩展状态记为在所述决策时刻将充电场站服务系统是否接入电动车并提供充电服务记为行动a，记第n个决策时刻Tn的行动为an，且an∈D＝{0,1}，其中“0”表示拒绝服务，“1”表示接入服务，D表示行动集合；所述电动车智能接入控制方法是按如下步骤进行：步骤1、定义并初始化第n个决策时刻Tn的行动探索率为εn,且令0＜εn＜1；定义Q值表中的元素为离散化事件扩展状态-行动对学习值，并初始化所述Q值表中的元素；定义当前贪心控制策略表v为所述Q值表中每行最大的离散化事件扩展状态-行动对学习值所对应的行动构成的行动集合；步骤2、初始化t＝0，n＝1；将当前行动探索率εn赋值给ε1；令将当前贪心控制策略表v赋值给原始策略表v0；步骤3、在所述充电场站服务系统的第n个决策时刻Tn，到达事件发生，观察充电场站服务系统的当前联合状态st，事件扩展状态令所述第n个决策时刻Tn的事件扩展状态在Q值表中所对应的离散化状态记为令所述第n个决策时刻Tn的事件扩展状态下实际采取的行动记为在所述第n个决策时刻Tn，若所有充电桩均在服务中，即{mj(t)∈{1,2，…,M}|j＝1,2,…J}，则令否则在当前事件扩展状态下，从所述Q值表中提取所对应的离散化状态下的贪心行动并记为并以概率1-εn将赋值给以所述探索率εn将所述行动集合D中除贪心行动之外的另一个行动作为探索行动，记为并赋值给所述充电场站服务系统采取行动后，观测得到从第n个决策时刻Tn转移到第n+1个决策时刻Tn+1或转移到T时刻的系统转移样本轨道其中t＝Tn，t′＝Tn+1＜T或t′＝T；当t′＝T时，令步骤4、观测并计算所述充电场站服务系统从第n个决策时刻Tn的当前状态采取行动转移到第n+1个决策时刻Tn+1或转移到时刻T的状态的状态转移过程中获得的充电报酬步骤5、利用式(1)和式(2)所示的差分公式和Q值更新公式，更新所述Q值表中对应的离散化状态下采取行动的离散化事件扩展状态-行动对学习值并重新赋值给式(1)中，表示转移到第n+1个决策时刻Tn+1或转移到时刻T的状态对应的离散化状态下若采取行动a的离散化事件扩展状态-行动对学习值；式(2)中，运算符“：＝”表示首先计算右式的值，然后赋给左边变量；为第n个决策时刻Tn的离散化状态下采取行动的学习步长；步骤6、选择更新后Q值表中每行最大的离散化事件扩展状态-行动对学习值所对应的行动并构成当前行动集合，以所述当前行动集合作为更新后的贪心控制策略表并赋值给当前贪心控制策略v；并对探索率εn进行衰减操作，从而得到更新后的探索率并赋值给εn+1；步骤7、若t′＜T，则将n+1赋值给n，并返回步骤3；否则，表示t′＝T，并执行步骤8；步骤8、判断控制策略表v是否等于v0，若相等，则停止更新并以当前控制策略表v对M种电动汽车的随机充电服务请求进行接入控制，否则返回步骤2执行。与现有技术相比，本专利技术的有益效果在于：1、本专利技术提通过将随机到达的电动车充电服务请求作为事件，事件发生时系统进行决策是否把到达的电动车接入充电场站提供充电服务，决策依据是由事件发生时间本文档来自技高网...

【技术保护点】
1.一种基于机器学习的电动车智能接入控制方法，其特征是应用于配有J个充电桩，并为M种随机到达的电动车提供有偿充电服务的充电场站服务系统中，令每个充电桩均能满足M种电动车的充电功率需求，且一个充电桩一次只为一个电动汽车提供充电服务；/n将所述J个充电桩分别记为CS

【技术特征摘要】
1.一种基于机器学习的电动车智能接入控制方法，其特征是应用于配有J个充电桩，并为M种随机到达的电动车提供有偿充电服务的充电场站服务系统中，令每个充电桩均能满足M种电动车的充电功率需求，且一个充电桩一次只为一个电动汽车提供充电服务；
将所述J个充电桩分别记为CS1,CS2,…,CSj,…,CSJ，M种电动车的充电功率需求记为P1,P2,…,Pm,…,PM，其中，CSj表示第j个充电桩，Pm表示第m种电动车的充电功率需求；
令K为一天最大周期数且对应总时长为T，将总时长T下的任意t时刻电网的调峰电价记为PRt，则PRt∈ΦPR；假设电网调峰电价按调度指令周期下发，且令τk为第k个调峰电价PRk下发的时刻，则记调峰电价序列为{(τk,PRk)|k＝0,1,2,…,K-1,τ0＝0}，其中，PRk∈ΦPR，ΦPR是有限的电价状态空间；
记充电场站服务系统的充电服务价格固定为PRev；
假设t时刻有第mt种电动车随机到达电动场站申请充电服务，令所述第mt种电动车的电池当前荷电状态为则将所述第mt种电动车的到达事件记为
将所述J个充电桩在t时刻的联合状态记为Ct＝(CS1(t),CS2(t),…,CSj(t),…,CSJ(t))，其中表示第j个充电桩的服务状态；mj(t)表示在t时刻第j个充电桩CSj正在服务的电动车种类，若mj(t)＝0表示t时刻第j个充电桩CSj无车辆接入，若mj(t)∈{1,2，…,M}表示t时刻第j个充电桩CSj正在给{1,2，…,M}中的一种电动车充电；表示t时刻第j个充电桩CSj正在服务的第mj(t)种电动车的电池当前荷电状态；
将t时刻第mt种电动车的到达事件发生时的充电场站服务系统状态记为st＝{Ct,PRt}，则将到达事件发生时刻t作为决策时刻，并将所述决策时刻的事件扩展状态记为
在所述决策时刻将充电场站服务系统是否接入电动车并提供充电服务记为行动a，记第n个决策时刻Tn的行动为an，且an∈D＝{0,1}，其中“0”表示拒绝服务，“1”表示接入服务，D表示行动集合；
所述电动车智能接入控制方法是按如下步骤进行：
步骤1、定义并初始化第n个决策时刻Tn的行动探索率为εn,且令0＜εn＜1；
定义Q值表中的元素为离散化事件扩展状态-行动对学习值，并初始化所述Q值表中的元素；
定义当前贪心控制策略表v为所述Q值表中每行最大的离散化事件扩展状态...

【专利技术属性】
技术研发人员：唐子昱，李紫昕，方明星，
申请(专利权)人：安徽师范大学，李紫昕，
类型：发明
国别省市：安徽;34