移动顺序确定模型的训练方法和确定移动顺序的方法、装置制造方法及图纸

本公开提供了一种移动顺序确定模型的训练方法、确定移动顺序的方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及时空大数据领域和强化学习领域。移动顺序确定模型的训练方法的具体实现方案为：针对多个第一对象中的未移动对象，确定针对未移动对象的环境信息；将环境信息输入移动顺序确定模型，获得针对多个第一对象的预测概率信息；根据预测概率信息，确定针对移动顺序确定模型的第一奖励信息；以及根据第一奖励信息，训练移动顺序确定模型，其中，预测概率信息包括多个第一对象中的每个第一对象作为目标对象的概率值。的每个第一对象作为目标对象的概率值。的每个第一对象作为目标对象的概率值。

【技术实现步骤摘要】
移动顺序确定模型的训练方法和确定移动顺序的方法、装置


[0001]本公开涉及人工智能领域，具体涉及时空大数据领域和深度强化学习领域，尤其涉及一种移动顺序确定模型的训练方法和确定移动顺序的方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机技术和网络技术的发展，深度强化学习(Deep reinforcement learning，DRL)技术在众多领域得到了广泛应用。例如，可以采用强化学习技术，根据设备状态，预测设备的运行策略等。

技术实现思路

[0003]本公开旨在提供一种提高顺序确定精度的移动顺序确定模型的训练方法和确定移动顺序的方法、装置、电子设备和存储介质。
[0004]根据本公开的一个方面，提供了一种移动顺序确定模型的训练方法，包括：针对多个第一对象中的未移动对象，确定针对未移动对象的环境信息；将环境信息输入移动顺序确定模型，获得针对多个第一对象的预测概率信息；根据预测概率信息，确定针对移动顺序确定模型的第一奖励信息；以及根据第一奖励信息，训练移动顺序确定模型，其中，预测概率信息包括多个第一对象中的每个第一对象作为目标对象的概率值。
[0005]根据本公开的一个方面，提供了一种确定移动顺序的方法，包括：针对多个对象中的未移动对象，确定针对未移动对象的环境信息；将环境信息输入移动顺序确定模型，获得针对多个对象的概率信息；以及根据概率信息，从未移动对象中选择目标对象，以控制目标对象移动至目标区域中针对目标对象的子区域，其中，移动顺序确定模型是采用本公开提供的移动顺序确定模型的训练方法训练得到的，概率信息包括多个对象中的每个对象属于目标对象的概率值。
[0006]根据本公开的一个方面，提供了一种移动顺序确定模型的训练装置，包括：信息确定模块，用于针对多个第一对象中的未移动对象，确定针对未移动对象的环境信息；概率获得模块，用于将环境信息输入移动顺序确定模型，获得针对多个第一对象的预测概率信息；第一奖励确定模块，用于根据预测概率信息，确定针对移动顺序确定模型的第一奖励信息；以及第一训练模块，用于根据第一奖励信息，训练移动顺序确定模型，其中，预测概率信息包括多个第一对象中的每个第一对象作为目标对象的概率值。
[0007]根据本公开的一个方面，提供了一种确定移动顺序的装置，包括：信息确定模块，用于针对多个对象中的未移动对象，确定针对未移动对象的环境信息；概率确定模块，用于将环境信息输入移动顺序确定模型，获得针对多个对象的概率信息；以及目标确定模块，用于根据概率信息，从未移动对象中选择目标对象，以控制目标对象移动至目标区域中针对目标对象的子区域，其中，移动顺序确定模型是采用本公开提供的移动顺序确定模型的训练装置训练得到的，概率信息包括多个对象中的每个对象属于目标对象的概率值。
[0008]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的移动顺序确定模型的训练方法和/或确定移动顺序的方法。
[0009]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的移动顺序确定模型的训练方法和/或确定移动顺序的方法。
[0010]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的移动顺序确定模型的训练方法和/或确定移动顺序的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的移动顺序确定模型的训练方法和确定移动顺序的方法、装置的应用场景示意图；
[0014]图2是根据本公开实施例的移动顺序确定模型的训练方法的流程示意图；
[0015]图3是根据本公开实施例的移动顺序确定模型的训练方法的原理示意图；
[0016]图4是根据本公开实施例的移动顺序确定模型的结构示意图；
[0017]图5是根据本公开实施例的确定移动顺序的方法的流程示意图；
[0018]图6是根据本公开实施例的移动顺序确定模型的训练装置的结构框图；
[0019]图7是根据本公开实施例的确定移动顺序的装置的结构框图；以及
[0020]图8是用来实施本公开实施例的移动顺序确定模型的训练方法和/或确定移动顺序的方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0023]图1是根据本公开实施例的移动顺序确定模型的训练方法和确定移动顺序的方法、装置的应用场景示意图。
[0024]如图1所示，该实施例的应用场景100可以包括多个对象110和针对该多个对象的目标区域120。其中，多个对象例如可以包括M个车辆，具体包括车辆110_1～车辆110_M，目标区域120可以包括N个停车位，该N个停车位的数量可以大于或等于M个车辆的数量，M和N均为大于1的整数。可以理解的是，多个对象包括车辆的描述仅作为示例以利于理解本公开，多个对象还可以包括服务器、货架等任意地需要布局设置的物体。
[0025]在一实施例中，可以通过求解最优布局问题，从目标区域120中包括的N个停车位中选择出与M个车辆一一匹配的M个停车位，以供M个车辆停放。例如，对于车辆110_1，匹配的停车位为120_1，对于车辆110_2，匹配的停车位为120_N，对于车辆110_M，匹配的停车位为120_2。最优布局问题例如可以以总路径最小为优化目标，或者可以以任意的其他条件为优化目标，本公开对此不做限定。
[0026]在一实施例中，目标区域120例如可以为机车车辆滚装船的区域、码头上的区域、或者建筑物的地下车库中的区域等，本公开对该目标区域的位置和所处场景不做限定。通过将M个车辆停放至匹配的M个停车为后，即可对M个车辆进行运输。在将M个车辆移动至匹配的M个停车位的过程中，为了避免已驶入至匹配的停车位的车辆对其他车辆驶入停车位的影响，需要对M个车辆驶入停车位的顺序进行调度。
[0027]如图1所示，该应用场景100还可以包括图像采集设备130和电子设备140。该图像采集设备130可以通过网络与电子设备140通信连接，网络可以为无线或有线通信链路。图像采集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动顺序确定模型的训练方法，包括：针对多个第一对象中的未移动对象，确定针对所述未移动对象的环境信息；将所述环境信息输入移动顺序确定模型，获得针对所述多个第一对象的预测概率信息；根据所述预测概率信息，确定针对所述移动顺序确定模型的第一奖励信息；以及根据所述第一奖励信息，训练所述移动顺序确定模型，其中，所述预测概率信息包括所述多个第一对象中的每个第一对象作为目标对象的概率值。2.根据权利要求1所述的方法，还包括：根据多个第二对象移动至第二目标区域的历史移动信息，对所述移动顺序确定模型预训练，其中，所述历史移动信息包括所述多个第二对象的移动顺序，以及在所述多个第二对象中的每个第二对象移动之前所确定的针对未移动对象的环境信息。3.根据权利要求1所述的方法，还包括：根据所述多个第一对象中的未移动对象，确定针对所述多个第一对象的掩膜信息；其中，所述掩膜信息包括针对所述每个第一对象的掩膜值；针对所述多个第一对象中已移动对象的掩膜值为零，针对所述未移动对象的掩膜值为大于零的值；其中，所述将所述环境信息输入移动顺序确定模型，获得针对所述未移动对象的预测概率信息包括：将所述环境信息输入移动顺序确定模型，得到针对所述多个第一对象的初始概率信息；以及根据所述掩膜信息和所述初始概率信息，确定所述预测概率信息。4.根据权利要求1所述的方法，还包括：响应于所述多个第一对象中不存在未移动对象，根据所述多个第一对象分别移动至对应的子区域的移动信息，确定针对所述移动顺序确定模型的第二奖励信息；以及根据所述第二奖励信息，训练所述移动顺序确定模型。5.根据权利要求1所述的方法，其中，所述根据所述预测概率信息，确定针对所述移动顺序确定模型的第一奖励信息包括：根据所述预测概率信息，确定所述未移动对象中的目标对象；以及根据所述目标对象移动至对应的子区域的移动信息与理想移动信息之间的差异，确定针对所述移动顺序确定模型的第一奖励信息。6.根据权利要求1所述的方法，其中，确定针对所述未移动对象的环境信息包括：确定针对所述多个第一对象的第一目标区域的状态信息；其中，所述状态信息指示所述第一目标区域包括的多个子区域中每个子区域的通行状态；所述多个子区域包括对应所述每个第一对象的子区域；以及针对所述每个第一对象，根据所述每个第一对象移动至对应的子区域的最短路径，确定针对所述每个第一对象的属性信息。7.根据权利要求6所述的方法，其中，所述根据所述每个未移动对象移动至对应的子区域的最短路径，确定针对所述每个未移动对象的属性信息包括以下至少之一：
根据所述每个第一对象移动至对应的子区域的最短路径，确定所述每个第一对象移动至对应的子区域的最短耗时；根据所述每个第一对象移动至对应的子区域的最短路径和除所述每个第一对象外的其他未移动对象移动至对应的子区域的最短路径，确定指示最短路径是否存在交叉点的属性信息。8.一种确定移动顺序的方法，包括：针对多个对象中的未移动对象，确定针对所述未移动对象的环境信息；将所述环境信息输入移动顺序确定模型，获得针对所述多个对象的概率信息；以及根据所述概率信息，从所述未移动对象中选择目标对象，以控制所述目标对象移动至所述目标区域中针对所述目标对象的子区域，其中，所述移动顺序确定模型是采用权利要求1～7中任一项所述的方法训练得到的，所述概率信息包括所述多个对象中的每个对象属于所述目标对象的概率值。9.一种移动顺序确定模型的训练装置，包括：信息确定模块，用于针对多个第一对象中的未移动对象，确定针对所述未移动对象的环境信息；概率获得模块，用于将所述环境信息输入移动顺序确定模型，获得针对所述多个第一对象的预测概率信息；第一奖励确定模块，用于根据所述预测概率信息，确定针对所述移动顺序确定模型的第一奖励信息；以及第一训练模块，用于根据所述第一奖励信息，训练...

【专利技术属性】
技术研发人员：丁建辉，陈珍，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：