基于强化学习的信号控制装置及信号控制方法制造方法及图纸

提供信号控制装置及信号控制方法，根据本说明书中公开的一实施例，一种基于强化学习模型而控制交叉路中的交通信号的信号控制装置，可包括：拍摄部，拍摄多个交叉路中的每一者来获取多个交叉路图像，存储部，存储用于控制信号的程序，以及控制部，包括至少一个处理器，执行所述程序，以利用通过所述拍摄部获取的交叉路图像来算出控制所述多个交叉路中的每一者的信号灯的控制信息；所述控制部，利用基于被训练的强化学习模型的多个代理，基于由多个代理将基于所述多个交叉路图像中的每一者而算出的状态信息作为输入而算出的动作信息，算出控制所述多个交叉路中的每一者的信号灯的控制信息，所述强化学习模型被训练成将状态信息和奖励作为输入值而输出用于控制信号灯的动作信息。作信息。作信息。

【技术实现步骤摘要】
【国外来华专利技术】基于强化学习的信号控制装置及信号控制方法


[0001]在本说明书中公开的实施例涉及基于强化学习的信号控制装置及信号控制方法，更详细地，涉及控制多个交叉路中的交通信号的装置及方法。

技术介绍

[0002]近来，随着出于方便或工作原因而购买车辆的人数增加，在道路上行驶的车辆数量也在增加。由于这些车辆的增加，交通堵塞也在增加，交通堵塞可能因道路环境、驾驶员状况、车辆故障和车辆事故等多种因素而发生。
[0003]造成交通堵塞的原因之一是道路环境中的交通信号体系的问题。例如，交通信号控制车辆的流量，由于它们每隔一定时间就确定车辆的通行方向，当特定方向的车辆数量增加时，交通堵塞就不可避免。为此，当发生交通拥堵时，警察或相关人员亲自操纵信号控制器来控制交通流量。这种方式存在人不能为了控制交通信号而一直待命的局限，因此已经有各种尝试来控制交通信号。
[0004]在作为现有技术文献的韩国公开专利第10
‑
2009
‑
0116172号“人工智能车辆信号灯控制装置”中记载了分析通过利用影像探测器拍摄的影像来控制交通本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信号控制装置，基于强化学习模型而控制交叉路中的交通信号，其中，所述信号控制装置包括：拍摄部，通过拍摄多个交叉路中的每一者来获取多个交叉路图像，存储部，存储用于控制信号的程序，以及控制部，包括至少一个处理器，执行所述程序，以利用通过所述拍摄部获取的交叉路图像来算出控制所述多个交叉路中的每一者中的信号灯的控制信息；所述控制部，利用基于被训练的强化学习模型的多个代理，基于由多个代理将基于所述多个交叉路图像中的每一者而算出的状态信息作为输入而算出的动作信息，来算出控制所述多个交叉路中的每一者中的信号灯的控制信息，所述强化学习模型被训练成将状态信息和奖励作为输入值而输出用于控制信号灯的动作信息。2.根据权利要求1所述的信号控制装置，其中，所述控制部，基于预定时间内的到达交通量和通过交通量而算出对应于交叉路图像的交叉路中的延迟程度作为状态信息。3.根据权利要求1所述的信号控制装置，其中，所述控制部，训练所述强化学习模型，以将基于作为所述多个交叉路中的一个交叉路的第一交叉路的图像而算出的状态信息作为输入值，从第一代理获取用于控制第二交叉路的信号灯的动作信息。4.根据权利要求3所述的信号控制装置，其中，所述控制部，训练所述强化学习模型，以获取与所述第一交叉路中的信号灯的绿灯开始时间与所述第二交叉路中的信号灯的绿灯开始时间之间的时间差相关的偏移时间作为所述动作信息。5.根据权利要求1所述的信号控制装置，其中，所述控制部，在判断作为所述多个交叉路中的一个交叉路的第一交叉路处于过饱和状态时，利用强化学习模型并基于第一交叉路图像算出信号周期，所述强化学习模型被训练成将从所述第一交叉路图像提取的状态信息作为输入值，输出用于控制所述第一交叉路的信号灯的信号周期作为动作信息。6.根据权利要求1所述的信号控制装置，其中，所述控制部，在判断作为所述多个交叉路中的一个交叉路的第一交叉路处于过饱和状态时，利用强化学习模型并基于第一交叉路图像算出信号模式，所述强化学习模型被训练成将从所述第一交叉路图像提取的状态信作为输入值，输出用于控制所述第一交叉路的信号灯的信号模式作为动作信息。7.根据权利要求1所述的信号控制装置，其中，所述控制部，以将状态信息和奖励作为输入值而输出用于控制信号灯的动作信息的方式对所述强化学习模型进行训练，并与延迟程度成比例地增加所述奖励。8.根据权利要求1所述的信号控制装置，其中，所述强化学习模型，基于从根据预...

【专利技术属性】
技术研发人员：李锡中，崔兑旭，金大承，李喜斌，
申请(专利权)人：乐人株式会社，
类型：发明
国别省市：