装置、方法及存储介质制造方法及图纸

本发明专利技术提供装置、方法及存储介质。其中，本发明专利技术的一种装置具备：设定部，其对制造制造对象物的制造系统设定动作内容；第一取得部，其获取表示设定动作内容后的制造系统及制造对象物中的至少一方的状态的事后状态参数集；学习处理部，其使用包含动作内容和事后状态参数集的学习数据，执行制造系统的控制模型的学习处理，所述控制模型根据表示制造系统及制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的动作内容。由此，能够解决现有技术有时得不到制造系统的适当的动作内容的问题。

【技术实现步骤摘要】
装置、方法及存储介质
本专利技术涉及装置、方法及存储介质。
技术介绍
目前，在细胞等的制造系统中，提出了提高制造效率的各种方法(例如参照非专利文献1～4)。非专利文献1：龟仓晃一等，“バイオ医薬品製造プラント(外文文献中文译名：生物医药品制造设备)”，《IHI技報(外文刊物中文译名：IHI技报)》，第49卷，第2号，2009年，p.67～p.73非专利文献2：盐屋舍明，“培養操作の最適化とその実現(外文文献中文译名：培养操作的最佳化及其实现)”，《計測と制御(外文刊物中文译名：测量与控制)》，第34卷，第1号，1995年，p.11～p.17非专利文献3：大政健史，“バイオ医薬品生産におけるプロダクションサイエンス(外文文献中文译名：生物医药品生产中的生产科学)”，《生物工学(外文刊物中文译名：生物工程学)》，第91卷，第9号，2013年，p.507～p.510非专利文献4：松崎淳一，“バイオ医薬品産業の現状と課題(外文文献中文译名：生物医药品行业的现状和课题)”，《生物工学(外文刊物中文译名：生物工程学)》，第9本文档来自技高网...

【技术保护点】
1.一种装置，其特征在于，所述装置具备：/n设定部，其对制造制造对象物的制造系统设定动作内容；/n第一取得部，其获取表示设定所述动作内容后的所述制造系统及所述制造对象物中的至少一方的状态的事后状态参数集；/n学习处理部，其使用包含所述动作内容和所述事后状态参数集的学习数据，执行所述制造系统的控制模型的学习处理，所述控制模型根据表示所述制造系统及所述制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的所述动作内容。/n

【技术特征摘要】
20191031 JP 2019-1983081.一种装置，其特征在于，所述装置具备：
设定部，其对制造制造对象物的制造系统设定动作内容；
第一取得部，其获取表示设定所述动作内容后的所述制造系统及所述制造对象物中的至少一方的状态的事后状态参数集；
学习处理部，其使用包含所述动作内容和所述事后状态参数集的学习数据，执行所述制造系统的控制模型的学习处理，所述控制模型根据表示所述制造系统及所述制造对象物中的至少一方的状态的状态参数集的输入，输出将通过预先设定的奖励函数确定的奖励值提高的所述动作内容。


2.如权利要求1所述的装置，其特征在于，
在根据一所述状态参数集向所述控制模型的输入而输出的一所述动作内容的设定结果所对应的所述奖励值的增加幅度低于基准幅度的情况下，所述学习处理部执行所述控制模型的学习处理，以不根据该一状态参数集的输入而输出该一动作内容。


3.如权利要求1或2所述的装置，其特征在于，
所述动作内容具有对所述制造系统可主动地设定的多个种类的主动变量，
根据一所述状态参数集向所述控制模型的输入，输出仅所述多个种类的主动变量中的一主动变量的值不同的第一动作内容及第二动作内容，在由所述一状态参数集表示的状态下分别设定所述第一动作内容及所述第二动作内容，在分别进行该第一动作内容及该第二动作内容的设定之后对应的奖励值彼此的差值低于基准幅度的情况下，所述学习处理部执行所述控制模型的学习处理，以根据所述一状态参数集的输入而输出不包含所述多个种类的主动变量中的所述一主动变量的所述动作内容。


4.如权利要求1～3中任一项所述的装置，其特征在于，
所述装置还具备第一存储部，该第一存储部存储所述动作内容的多个变动模式，
在根据一所述状态参数集向所述控制模型的输入而获取了多个动作内容的情况下，所述设定部以所述第一存储部内的各变动模式和由该设定部设定的所述动作内容的变动模式不一致的方式，设定所述多个动作内容中的任一个。


5.如权利要求1～3中任一项所述的装置，其特征在于，
所述装置还具备第一存储部，该第一存储部存储所述动作内容的多个变动模式，
对于在由所述设定部设定的情况下呈与所述第一存储部内的任一所述变动模式一致的变动模式的所述动作内容，算出更低的所述奖励值。


6.如权利要求1～5中任一项所述的装置，其特征在于，
所述装置还具备环境信息取得部，该环境信息取得部获取表示所述制造系统的外部环境的环境信息，
所述学习处理部按照外部环境执行所述控制模型的学习处理。


7.如权利要求6所述的装置，其特征在于，
所述学习处理部使用对于一外部环境执行了学习处理的所述控制模型进行迁移学习，执行对于其它外部环境的学习处理。


8.如权利要求1～7中任一项所述的装置，其特征在于，
所述装置还具备：
第二取得部，其获取所述状态参数集；
参数输入部，其对所述控制模型输入由所述第二取得部获取的所述状态参数集；
第三取得部，其获取所述控制模型根据所述状态参数集向所述控制模型的输入而输出的所述动作内容；
所述设定部对所述制造系统设定由所述第三取得部获取的所述动作内容。


9.如权利要求8所述的装置，其特征在于，
所述装置还具备算出部，该算出部根据所述事后状态参数集中包含的至少一个事后状态参数算出所述奖励值，
所述学习处理部进一步使用由所述算出部算出的所述奖励值来执行学习处理。


10.如权利要求9所述的装置，其特征在于，
在根据一所述状态参数集向所述控制模型的输入而输出的一所述动作内容被设定于所述制造系统，结果由所述算出部算出的所述奖励值满足目标条件的情况下，所述学习处理部执行所述控制模型的学习处理，以根据该一状态参数集的输入而输出该一动作内容，
所述装置还具备输出部，该输出部将该一动作内容及该一状态参数集相对应地输出。


11.如权利要求8～10中任一项所述的装置，其特征在于，
所述装置还具备控制部，该控制部依次重复执行由所述第二取得部进行的所述状态参数集的获取、由所述第三取得部进行的所述动作内容的获取和由所述设定部进行的所述动作内容的设定而制造所述制造对...

【专利技术属性】
技术研发人员：山本顺二，鹿子木宏明，小渕惠一郎，古川阳太，唐泽岭，安部裕人，
申请(专利权)人：横河电机株式会社，日本横河系统工程株式会社，
类型：发明
国别省市：日本;JP