装置、方法以及计算机可读介质制造方法及图纸

提供一种装置、方法以及计算机可读介质，该装置具有：供给部，其针对操作模型供给状态参数的值，该操作模型相应于与设备相关的状态参数的值被输入而输出设备的控制参数的推荐值；控制参数获取部，其获取相应于供给部对操作模型供给状态参数的值而从该操作模型输出的控制参数的推荐值；获取部，其获取与根据由控制参数获取部获取的推荐值对设备进行了操作的结果相应的模型评价值；以及评价部，其基于模型评价值以及与通过人工操作对设备进行了操作的结果相应的基准评价值，对操作模型进行评价。行评价。行评价。

【技术实现步骤摘要】
装置、方法以及计算机可读介质


[0001]本专利技术涉及一种装置、方法以及计算机可读介质。

技术介绍

[0002]专利文献1中记载有如下内容，即，“执行根据测定数据的输入将表示为了提高由预先设定的报酬函数规定的报酬值而推荐的第1种控制内容的推荐控制参数输出的第1模型的学习处理”。
[0003]专利文献1：日本特开2021
‑
086283号公报
[0004]专利文献2：日本特开2020
‑
027556号公报
[0005]专利文献3：日本特开2019
‑
020885号公报
[0006]非专利文献1：高见豪、
“プラント
制御AI
の
実現”、横河技报、横河电机株式会社、2020年、Vol.63、第1号、p.33～36
[0007]非专利文献2：今井拓司、“横河電機
と
NAIST
が
化学
プラント
[0008]向
けに
強化学習、少
ない
試行回数
で
高度
な
制御
を
実現”、日经Robotics、株式会社日经BP，2019年3月号

技术实现思路

[0009]在本专利技术的第1方式中，提供一种装置。装置可以具有供给部，该供给部针对操作模型供给状态参数的值，该操作模型相应于与设备相关的状态参数的值被输入而输出设备的控制参数的推荐值。装置可以具有控制参数获取部，该控制参数获取部获取相应于供给部对操作模型供给状态参数的值而从该操作模型输出的控制参数的推荐值。装置可以具有获取部，该获取部获取与根据由控制参数获取部获取的推荐值对设备进行了操作的结果相应的模型评价值。装置可以具有评价部，该评价部基于模型评价值以及与通过人工操作对设备进行了操作的结果相应的基准评价值，对操作模型进行评价。
[0010]基准评价值可以是基于将人工操作输入至设备的模拟器的结果而计算的。
[0011]模型评价值可以是基于将由控制参数获取部获取的推荐值输入至设备的模拟器的结果而计算的。
[0012]模型评价值可以是基于与根据推荐值进行了操作的设备相关的参数是否落入于目标范围内而计算的。基准评价值可以是基于与通过人工操作进行了操作的设备相关的参数是否落入于目标范围内而计算的。
[0013]装置还可以具有目标范围获取部，该目标范围获取部获取针对与设备相关的多种参数中的由操作者选择的选择参数而由操作者设定的目标范围。
[0014]装置还可以具有显示控制部，该显示控制部相应于从多种参数选择出选择参数，对设备的以往操作的该选择参数的值进行显示。
[0015]显示控制部可以在以各选择参数为坐标轴的坐标空间对设备的以往操作的各选择参数的值进行显示。
[0016]设备可以是进行物品的制造的设备。与设备相关的参数可以是表示物品的品质的指标值或者物品的生产量中的至少1者。
[0017]装置还可以具有学习处理部，该学习处理部利用包含状态参数的值以及控制参数的值在内的学习数据而执行操作模型的学习处理。
[0018]学习处理部可以利用学习数据、以及由预先设定的报酬函数规定的报酬值而执行操作模型的学习处理。
[0019]在本专利技术的第2方式中，提供一种方法。方法可以具有供给阶段，针对操作模型供给状态参数的值，该操作模型相应于表示与设备相关的状态参数的值被输入而输出设备的控制参数的推荐值。方法可以具有控制参数获取阶段，获取相应于通过供给阶段对操作模型供给状态参数的值而从该操作模型输出的控制参数的推荐值。方法可以具有获取阶段，获取与通过由控制参数获取阶段获取的推荐值对设备进行了操作的结果相应的模型评价值。方法可以具有评价阶段，基于模型评价值、以及与通过人工操作对设备进行了操作的结果相应的基准评价值，对操作模型进行评价。
[0020]在本专利技术的第3方式中，提供一种记录有程序的计算机可读介质。程序使计算机作为如下供给部起作用，即，针对操作模型供给状态参数的值，该操作模型相应于与设备相关的状态参数的值被输入而输出设备的控制参数的推荐值。程序使计算机作为如下控制参数获取部起作用，即，获取相应于供给部对操作模型供给状态参数的值而从该操作模型输出的控制参数的推荐值。程序使计算机作为如下获取部起作用，即，获取与根据由控制参数获取部获取的推荐值对设备进行了操作的结果相应的模型评价值。程序使计算机作为如下评价部起作用，即，基于模型评价值以及与通过人工操作对设备进行了操作的结果相应的基准评价值，对操作模型进行评价。
[0021]此外，上述专利技术的概要并未举出本专利技术的全部必要特征。另外，上述特征组的子组成要素也能够构成专利技术。
附图说明
[0022]图1表示实施方式所涉及的系统1。
[0023]图2表示操作模型401的数据结构。
[0024]图3表示行动决定表。
[0025]图4表示操作模型401的学习动作。
[0026]图5表示操作模型401的其他学习动作。
[0027]图6表示目标设定模型414的学习动作。
[0028]图7表示操作模型401的评价动作。
[0029]图8表示设备2的操作动作。
[0030]图9表示变形例所涉及的目标设定模型414A。
[0031]图10表示可以使本专利技术的多个方式全部或一部分实现具体化的计算机2200的例子。
具体实施方式
[0032]下面，通过专利技术的实施方式对本专利技术进行说明，下面的实施方式不对权利要求书
所涉及的专利技术进行限定。另外，实施方式中说明的特征的所有组合对于专利技术的解决方法并非必不可少。
[0033][1.系统][0034]图1表示本实施方式所涉及的系统1。系统1具有设备2以及装置4。此外，图中的模块是分别在功能上分离的功能模块，可以不与实际的装置结构一致。即，在本图中，作为1个模块而示出，但其也可以不由1个装置构成。另外，在本图中，作为不同的模块而示出，但其也可以不由不同的装置构成。
[0035][1.1.设备2][0036]设备2是具有1个或多个仪器(未图示)的设施、装置等。例如，设备2可以是工厂，也可以是多个仪器复合而成的复合装置。作为工厂，除了化学、生物等的工业工厂以外，还能举出对气田、油田等的井口、其周围进行管理控制的工厂、对水力/火力/原子能等的发电进行管理控制的工厂、对太阳能、风力等的环境发电进行管理控制的工厂、对上下水、堤坝等进行管理控制的工厂等。
[0037]各仪器是器件、机械或者装置，例如可以是对设备2的过程的压力、温度、pH、速度、流量等至少1个物理量进行控制的阀、泵、加热器、风扇、电机、开关等致动器。各仪器的种类可以互不相同，也可以至少一部分的大于或等于2个的仪器的种类相同。各仪器可以由装置2以有线或无线方式进行控制。
[0038]可以在设备2设置1个或多个传感器(未图示)。各传感器进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，其中，所述装置具有：供给部，其针对操作模型供给状态参数的值，该操作模型相应于与设备相关的状态参数的值被输入而输出所述设备的控制参数的推荐值；控制参数获取部，其获取相应于所述供给部对所述操作模型供给状态参数的值而从该操作模型输出的控制参数的推荐值；获取部，其获取与根据由所述控制参数获取部获取的所述推荐值对所述设备进行了操作的结果相应的模型评价值；以及评价部，其基于所述模型评价值以及与通过人工操作对所述设备进行了操作的结果相应的基准评价值，对所述操作模型进行评价。2.根据权利要求1所述的装置，其中，所述基准评价值是基于将人工操作输入至所述设备的模拟器的结果而计算的。3.根据权利要求1或2所述的装置，其中，所述模型评价值是基于将由所述控制参数获取部获取的所述推荐值输入至所述设备的模拟器的结果而计算的。4.根据权利要求1至3中任一项所述的装置，其中，所述模型评价值是基于与根据所述推荐值进行了操作的所述设备相关的参数是否落入于目标范围内而计算的，所述基准评价值是基于与通过人工操作进行了操作的所述设备相关的参数是否落入于所述目标范围内而计算的。5.根据权利要求4所述的装置，其中，所述装置还具有目标范围获取部，该目标范围获取部获取针对与所述设备相关的多种参数中的由操作者选择的选择参数而由操作者设定的所述目标范围。6.根据权利要求5所述的装置，其中，所述装置还具有显示控制部，该显示控制部相应于从所述多种参数选择出所述选择参数，对所述设备的以往操作的该选择参数的值进行显示。7.根据权利要求6所述的装置，其中，所述显示控制部在以各选择参数为坐标轴的坐标空间对所述设备的以往操作的各选择参数的值进行显示。8.根据权利要求4至7中任一项所述的装置，其...

【专利技术属性】
技术研发人员：高见豪，山本顺二，小渊惠一郎，鹿子木宏明，古川阳太，
申请(专利权)人：横河电机株式会社，
类型：发明
国别省市：