行动学习设备、行动学习方法、行动学习系统、程序以及记录介质技术方案

行动学习设备包括：行动候选获取单元，其基于表示环境和自己的状况的状况信息数据，提取可能的多个行动候选；得分获取单元，其针对多个行动候选中的每个获取作为表示由行动引起的结果预期的效果的指标的得分；行动选择单元，其从多个行动候选中选择具有最大得分的行动候选；以及得分调整单元，其基于对于环境执行的所选行动候选的结果来调整被链接到选择的行动候选的得分的值。的行动候选的得分的值。的行动候选的得分的值。

【技术实现步骤摘要】
【国外来华专利技术】行动学习设备、行动学习方法、行动学习系统、程序以及记录介质


[0001]本专利技术涉及行动学习设备、行动学习方法、行动学习系统、程序以及记录介质。

技术介绍

[0002]近年来，使用多层神经网络的深度学习作为机器学习方案已受到关注。当大量训练数据被输入到多层神经网络并执行学习以使输出误差最小时，深度学习使用称为反向传播的计算方案来计算输出误差。
[0003]专利文献1至3各自公开了一种神经网络处理设备，该神经网络处理设备将大型神经网络定义为多个子网络的组合，以使得能够以较少的努力和较少的计算量来构建神经网络。此外，专利文献4公开了一种优化神经网络的结构优化设备。
[0004]现有技术列表
[0005]专利文献
[0006]专利文献1：日本专利申请特开No.2001-051968
[0007]专利文献2：日本专利申请特开No.2002-251601
[0008]专利文献3：日本专利申请特开No.2003-317073
[0009]专利文献4：日本专利申请特开No.H09-091263
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种行动学习设备，包括：行动候选获取单元，所述行动候选获取单元基于表示自己的状况和环境的状况信息数据，来提取可能的多个行动候选；得分获取单元，所述得分获取单元针对所述多个行动候选中的每个获取得分，所述得分是表示对于由行动引起的结果预期的效果的指标；行动选择单元，所述行动选择单元从所述多个行动候选中选择具有最大得分的行动候选；以及得分调整单元，所述得分调整单元基于对所述环境执行的选择的所述行动候选的结果，来调整被链接到选择的所述行动候选的所述得分的值。2.根据权利要求1所述的行动学习设备，其中，所述得分获取单元包括神经网络单元，所述神经网络单元具有多个学习神经元，每个学习神经元包括：基于所述状况信息数据来对多个元素值中的每个执行预定加权的多个输入节点；以及将加权的所述多个元素值求和并输出的输出节点，其中，所述多个学习神经元中的每个具有预定得分，并被链接到所述多个行动候选中的任何一个，其中，所述得分获取单元针对对应的行动候选的得分，设置在被链接到所述多个行动候选中的每个的所述学习神经元当中的所述多个元素值和所述学习神经元的输出值之间具有最大相关值的学习神经元的所述得分，其中，所述行动选择单元从所述多个行动候选中选择具有最大得分的所述行动候选，并且其中，所述得分调整单元基于被执行的选择的所述行动候选的结果，来调整被链接到选择的所述行动候选的所述学习神经元的所述得分。3.根据权利要求2所述的行动学习设备，其中，所述得分获取单元还包括训练所述神经网络单元的学习单元，并且其中，所述学习单元根据所述学习神经元的输出值来更新所述学习神经元的所述多个输入节点的加权因子，或者在所述神经网络单元中添加新的学习神经元。4.根据权利要求3所述的行动学习设备，其中，当所述多个元素值与所述学习神经元的输出值之间的相关值小于预定阈值时，所述学习单元添加所述新的学习神经元。5.根据权利要求3所述的行动学习设备，其中，当所述多个元素值与所述学习神经元的输出值之间的相关值大于或等于预定阈值时，所述学习单元更新所述学习神经元的所述多个输入节点的所述加权因子。6.根据权利要求2至5中的任一项所述的行动学习设备，其中，所述相关值是与所述学习神经元的所述输出值相关的似然度。7.根据权利要求6所述的行动学习设备，其中，所述似然度是当输入所述多个元素值时所述学习神经元的所述输出值与根据对于所述多个输入节点中的每个设置的加权因子的所述学习神经元的输出的最大值的比率。8.根据权利要求2至7中的任一项所述的行动学习设备，还包括：状况信息生成单元，所述状况信息生成单元基于所述自己的状况和所述环境，生成所述状况信息数据，在所述状况信息数据中映射了与行动有关的信息。
9.根据权利要求1所述的行动学习设备，其中，所述得分获取单元具有数据库，所述数据库使用所述状况信息数据作为关键字来为所述多个行动候选中的每个提供所述得分。10.根据权利要求1至9中的任一项所述的行动学习设备，其中，当所述环境和所述自己的状况满足特定条件时，所述行动选择单元优先执行根据所述特定条件的预定行动。11.根据权利要求10所述的行动学习设备，还包括：技术诀窍生成单元，所述技术诀窍生成单元基于所述得分获取单元的学习数据生成技术诀窍列表，其中，所述行动选择单元根据所述特定条件从所述技术诀窍列表中选择所述预定行动。12.根据权利要求9所述的行动学习设备，其中，所述技术诀窍生成单元基于所述学习数据通过使用表示数据的共现来生成汇总数据，并且基于所述汇总数据的得分，从所述汇总数据中提取所述技术诀窍。13.一种行动学习方法，包括以下步骤：基于表示自己的状况和环境的...

【专利技术属性】
技术研发人员：宫内由仁，宇田安规男，
申请(专利权)人：日本电气方案创新株式会社，
类型：发明
国别省市：