变速控制数据的生成方法、变速控制装置以及变速控制系统制造方法及图纸

本发明专利技术公开变速控制数据的生成方法、变速控制装置以及变速控制系统。在存储有用于规定车辆的状态和与变速装置的操作有关的行动变量的关系的关系规定数据的状态下，由执行装置执行的变速控制数据的生成方法包括：获取所述车辆的状态的处理；对所述变速装置进行操作的处理；根据所述车辆的状态，在所述车辆的特性满足基准的情况下提供比所述车辆的特性不满足基准的情况大的报酬的处理；以及将所述车辆的状态、所述行动变量的值以及与该操作对应的所述报酬作为向更新映射的输入，更新所述关系规定数据的处理。所述更新映射输出以使依照所述关系规定数据而操作所述变速装置的情况下的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据。的所述关系规定数据。的所述关系规定数据。

【技术实现步骤摘要】
变速控制数据的生成方法、变速控制装置以及变速控制系统


[0001]本专利技术涉及变速控制数据的生成方法、变速控制装置以及变速控制系统。

技术介绍

[0002]例如在日本特开2007
‑
64464中记载有控制装置，提供变速装置的工作油的油压指令值，从而对调整油压的电磁阀进行操作，切换变速比。

技术实现思路

[0003]为了将上述油压指令值等、变速比的切换的操作量设定为适当的值，需要熟练者的知识，另外调整工时非常大。
[0004]以下，记载本专利技术的结构及其作用效果。
[0005]本专利技术的第1方式是在用于规定车辆的状态与作为与搭载于所述车辆的变速装置的操作有关的变量的行动变量的关系的关系规定数据存储于存储装置的状态下，由执行装置执行的变速控制数据的生成方法。所述变速控制数据的生成方法包括：获取处理，获取基于传感器的检测值的所述车辆的状态；操作处理，为了切换变速比而对所述变速装置进行操作；报酬计算处理，根据通过所述获取处理而获取到的所述车辆的状态，在所述车辆的特性满足基准的情况下提供比所述车辆的特性不满足基准的情况大的报酬；以及更新处理，将通过所述获取处理而获取到的所述车辆的状态、在所述变速装置的操作中利用的所述行动变量的值以及与该操作对应的所述报酬作为向预先决定的更新映射的输入，更新所述关系规定数据。所述更新映射输出以使依照所述关系规定数据而操作所述变速装置的情况下的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，所述报酬计算处理提供所述报酬时的所述基准是关于作为所述变速比的切换所需的时间的变速时间、所述变速比的切换期间中的所述变速装置的发热量、所述变速比的切换期间中的输入轴的转速超过作为基准的转速的超过量以及在所述变速比的切换时产生的冲击量这四个变量中的两个变量即第1变量以及第2变量，针对这些值的组合定义的。
[0006]在上述方法中，计算与变速装置的操作相伴的报酬，从而能够掌握通过该操作来得到怎样的报酬。然后，根据报酬，通过遵循强化学习的更新映射来更新关系规定数据，从而能够设定车辆的状态与行动变量的适当的关系。因而，能够在设定车辆的状态与行动变量的适当的关系时，削减熟练者所需的工时。
[0007]然而，在根据表示针对变速比的切换的两个所需要素中的一个所需要素的变量即第1变量的值和表示另一个所需要素的变量即第2变量的值来独立地提供报酬的情况下，有可能会以由于忽略这两个所需要素中的任意一方而满足另一方的所需要素从而得到高的报酬的方式，进行强化学习。因而，在上述方法中，代替关于第1变量以及第2变量相互独立地提供报酬，而对这些值的组合定义提供报酬的基准。由此，在平衡性良好地满足两个所需要素的各个所需要素的情况下能够提供高的报酬，进而能够通过强化学习来学习平衡性良好地满足至少两个所需要素的行动变量的值。
[0008]在上述第1方式中，所述报酬计算处理提供报酬时的所述基准也可以是关于所述四个变量中的三个变量即所述第1变量、所述第2变量以及第3变量，针对这些值的组合定义的。
[0009]根据上述方法，针对第1变量、第2变量以及第3变量的值的组合定义提供报酬时的基准，从而能够通过强化学习来学习平衡性良好地满足至少三个所需要素的行动变量的值。
[0010]在上述第1方式中，所述报酬计算处理也可以包括如下处理：即使是各所述变量的值相同的组合，也根据作为表示对所述变速装置施加的转矩的变量的转矩变量以及作为表示所述变速比的切换的种类的变量的切换变量这两个变量中的至少一个变量来变更报酬的值。
[0011]在变速比的切换时所需的事项各种各样，关于这多个所需要素彼此的优先级，也可能根据转矩变量的值的大小、变速的种类而不同。因此，在针对表示这些所需要素的多个变量的值的相同的组合，不论转矩变量的值的大小、变速的种类如何，都使报酬的大小成为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据转矩变量的值、变速的种类，按照预定的基准满足多个所需要素的各个所需要素的困难度可能不同。因此，在针对表示这些所需要素的多个变量的值的相同的组合，不论转矩变量的值、变速的种类如何，都使报酬的大小成为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据转矩变量的值的大小、变速的种类，变更对上述变量的值的相同的组合提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。
[0012]在上述第1方式中，在所述存储装置中，存储有至少将所述第1变量的值以及所述第2变量的值作为输入变量并将所述报酬的值作为输出变量的映像数据，所述报酬计算处理也可以包括根据所述第1变量的值以及所述第2变量的值对所述报酬进行映像运算的处理。
[0013]根据上述方法，通过使用将第1变量的值以及第2变量的值作为输入变量的值的映像数据，能够简易地提高这些第1变量的值以及第2变量的值与报酬的关系的设定的自由度。
[0014]在上述第1方式中，所述关系规定数据也可以是在由该关系规定数据决定所述行动变量的值时参照与将所述变速比的切换期间分割为多个而成的各个阶段有关的信息的数据。
[0015]变速比的切换期间能够分割为因物理现象的差异所引起的若干区间。而且，在被分割的各区间，适当的行动变量的值可能大幅不同。因而，在上述方法中，在决定行动变量的值时，将关系规定数据设为参照与将所述变速比的切换期间分割为多个而成的各个阶段有关的信息的数据。由此，在学习适当的行动变量的值方面，能够省去进行识别因物理现象的差异所引起的区间的学习的工夫，所以能够提前发现能够通过强化学习来增大收益的行动变量的值。
[0016]在上述第1方式中，所述阶段也可以包括由于通过所述变速装置的变速比的切换从接合状态切换到释放状态的摩擦卡合元件所进行的转矩的传递结束而结束的阶段。
[0017]在通过变速比的切换从接合状态切换到释放状态的摩擦卡合元件所进行的转矩
的传递结束的定时的前后改变变速装置的操作量的控制存在成为基于熟练者的最佳值的调整结果的趋势。因此，通过设置在该定时结束的阶段，能够使过去的熟练者的知识的积蓄反映到强化学习，所以能够通过强化学习提前发现实际地增大收益的行动变量的值。
[0018]在上述第1方式中，表示由所述关系规定数据规定与所述行动变量的值的关系的所述车辆的状态的变量也可以包括作为表示对所述变速装置施加的转矩的变量的转矩变量、作为表示所述变速比的切换的种类的变量的切换变量以及作为表示所述变速装置的工作油的温度的变量的温度变量。
[0019]根据转矩变量的值、变速的种类、工作油的温度，在按照预定的基准满足多个所需要素的各个所需要素的方面适当的行动变量的值可能不同。因此，当在转矩变量的值、变速的种类、工作油的温度的组合不同的情况下决定共同的行动变量的值的情况下，有可能会难以满足所需要素。因而，在上述结构中，通过使转矩变量的值的大小、变速的种类、工作油的温度包含于用于决定行动变量的值的状态，从而能够顺利地推进学习。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种变速控制数据的生成方法，在用于规定车辆的状态与作为与搭载于所述车辆的变速装置的操作有关的变量的行动变量的关系的关系规定数据存储于存储装置的状态下，由执行装置执行所述变速控制数据的生成方法，其特征在于，所述变速控制数据的生成方法包括：获取处理，获取基于传感器的检测值的所述车辆的状态；操作处理，为了切换变速比而对所述变速装置进行操作；报酬计算处理，根据通过所述获取处理而获取到的所述车辆的状态，在所述车辆的特性满足基准的情况下提供比所述车辆的特性不满足基准的情况大的报酬；以及更新处理，将通过所述获取处理而获取到的所述车辆的状态、在所述变速装置的所述操作中利用的所述行动变量的值以及与该操作对应的所述报酬作为向预先决定的更新映射的输入，更新所述关系规定数据，其中，所述更新映射输出以使依照所述关系规定数据操作所述变速装置的情况下的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，所述报酬计算处理提供所述报酬时的所述基准是关于作为所述变速比的切换所需的时间的变速时间、所述变速比的切换期间中的所述变速装置的发热量、所述变速比的切换期间中的输入轴的转速超过作为基准的转速的超过量以及在所述变速比的切换时产生的冲击量这四个变量中的两个变量即第1变量以及第2变量，针对这些值的组合定义的。2.根据权利要求1所述的变速控制数据的生成方法，其特征在于，所述报酬计算处理提供所述报酬时的所述基准是关于所述四个变量中的三个变量即所述第1变量、所述第2变量以及第3变量，针对这些值的组合定义的。3.根据权利要求1或者2所述的变速控制数据的生成方法，其特征在于，所述报酬计算处理包括如下处理：即使是各所述变量的值相同的组合，也根据作为表示对所述变速装置施加的转矩的变量的转矩变量以及作为表示所述变速比的切换的种类的变量的切换变量这两个变量中的至少一个变量来变更所述报酬的值。4.根据权利要求1～3中的任意一项所述的变速控制数据的生成方法，其特征在于，在所述存储装置中，存储有映像数据，该映像数据至少将所述第1变量的值以及所述第2变量的值作为输入变量，将所述报酬的值作为输出变量，所述报酬计算处理包括根据所述第1变量的值以及所述第2变量的值对所述报酬进行映...

【专利技术属性】
技术研发人员：藤井广太，田端淳，奥田弘一，今村健，樗泽英明，佐佐木启太，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：