无线通信装置、无线通信系统以及无线通信程序制造方法及图纸

行动价值取得部(310)取得将作为路径选择用的阈值的评价阈值的调整作为行动的强化学习中的行动价值。通信路径控制部(320)根据取得的行动价值，更新表示评价阈值和调整方法的组中的每个组的行动价值的行动价值表格。然后，通信路径控制部根据更新后的行动价值表格调整评价阈值，使用调整后的评价阈值选择通信路径。无线通信部(330)经由选择的通信路径进行无线通信。行无线通信。行无线通信。

【技术实现步骤摘要】
【国外来华专利技术】无线通信装置、无线通信系统以及无线通信程序


[0001]本专利技术涉及无线通信控制。

技术介绍

[0002]随着向IoT(Internet of Things，物联网)的关心高涨，以工厂、大厦以及基础设施等的监视为目的，利用多跳功能的无线多跳网络的应用得到发展。
[0003]在无线多跳网络中，从发送源节点发送的帧被中继节点接收，从中继节点发送到发送目的地节点。因此，无线多跳网络适合于在广大区域中收容大量的终端的系统。
[0004]另外，在无线多跳网络中，即使由于衰减或者遮蔽的影响而1个通信路径变得不能通信，也能够选择其他通信路径进行通信。因此，具有抗障碍性成为无线多跳网络的特长。
[0005]但是，为了根据各节点的周边的电波环境选择最佳的中继路径以满足到达率或者应答时间等用户的要求，需要复杂的路径控制方法。
[0006]作为以往技术提出有考虑从发送源节点至本节点的通信路径的质量的路径选择方法。
[0007]在专利文献1中提出了如下方式：使用2个阈值来以3个阶段评价接收信号强度，计算与该评价对应的链接成本，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种无线通信装置，具备：行动价值取得部，取得将评价阈值的调整作为行动的强化学习中的行动价值，所述评价阈值是路径选择用的阈值；通信路径控制部，根据取得的行动价值，更新表示评价阈值和调整方法的组中的每个组的行动价值的行动价值表格，根据更新后的行动价值表格来调整评价阈值，使用调整后的评价阈值来选择通信路径；以及无线通信部，经由选择的通信路径进行无线通信。2.根据权利要求1所述的无线通信装置，其中，通信对方根据与所述无线通信装置的无线通信的通信质量，计算所述强化学习中的报酬，发送计算出的报酬，所述行动价值取得部接收被发送的报酬，根据接收的报酬来计算所述行动价值。3.根据权利要求1所述的无线通信装置，其中，所述行动价值取得部根据与通信对方的无线通信的通信质量，计算所述强化学习中的报酬，根据接收的报酬来计算所述行动价值。4.根据权利要求1至3中的任意一项所述的无线通信装置，其中，所述通信路径控制部随机地选择是否进行基于所述更新后的行动价值表格的阈值调整，在选择了进行基于所述更新后的行动价值表格的阈值调整的情况下，所述通信路径控制部根据所述更新后的行动价值表格来选择调整方法，依照选择的调整方法来调整所述评价阈值，在选择了不进行基于所述更新后的行动价值表格的阈值调整的情况下，所述通信路径控制部随机地选择调整方法，依照选择的调整方法来调整所述评价阈值。5.根据权利要求1至4中的任意一项所述的无线通信装置，其中，具备学习结果确认部，该学习结果确认部根据具有所述无线通信装置的无线通信系统中的通信质量，判定所述强化学习对所述无线通信系统造成的影响，在判定为所述强化学习对所述无线通信系统造成负的影响的情况下，使所述行动价值表格初始化。6.根据权利要求1至5中的任意一项所述的无线通信装置，其中，所述无线通信装置具备传送速率控制部，所述传送速率控制部根据取得的行动价值，更新表示传送速率和调整方法的组中的每个组的行动价值的行动价值表格，根据更新后的行动价值表格来调整传送速率，所述无线通信部以调整后的传送速率进行无线通信。7.一种无线通信系统，具有包括权利要求1至6中的任意一项所述的无线通信装置的多个无线通信装置。8.一种无线通信程序，用于使计算机执行：行动价值取得处理，取得将评价阈值的调整作为行动的强化学习中的行动价值，所述评价阈值是路径选择用的阈值；通信路径控制处理，根据取得的行动价值，更新表示评价阈值和调整方法的组中的每个组的行动价值的行动价值表格，根据更新后的行动价值表格来调整评价阈值，使用调整后的评价阈值来选择通信路径；以及
无线通信处理，经由选择的通信路径进行无线通信。9.一种无线通信装置，具备：行动价值取得部，取得将为了更新通信路径而进行通信的控制帧的发送间隔的调整作为行动的强化学习中的行动价值；通信路径控制部，根据取得的行动价值，更新表示发送间隔和调整方法的组中的每个组的行动价值的行动价值表格，根据更新后的行动价值表格来调整发送间隔；以及无线通信部，以调整后的发送间隔来发送控制帧。10.根据权利要求9所述的无线通信装置，其中，通信对方根据与所述无线通信装置的无线通信的通信质量，计算所述强化学习中的报酬，发送计算出的报酬，所述行动价值取得部接收被发送的报酬，根据接收的报酬来计算所述行动价值。11.根据权利要求9所述的无线通信装置，其中，所述行动价值取得部根据与通信对方的无线通信的通信质量，计算所述强化学习中的报酬，根据接收的报酬来计算所述行动价值。12.根据权利要求9至11中的任意一项所述的无线通信装置，其中，所述通信路径控制部随机地选择是否进行基于所述更新后的行动价值表格的间隔调整，在选择了进行基于所述更新后的行动价值表格的间隔调整的情况下，所述通信路径控制部根据所述更新后的行动价值表格来选择调整方法，依照选择的调整方法来调整所述发送间隔，在选择了不进行基于所述更新后的行动价值表格的间隔调整的情况下，所述通信路径控制部随机地选择调整方法，依照选择的调整方法来调整所述发送间隔。13.根据权利要求9至12中的任意一项所述的无线通信装置，其中，具备学习结果确认部，该学习结果确认部根据具有所述无线通信装置的无线通信系统中的通信质量，判定所述强化学习对所述无线通信系统造成的影响，在判定为所述强化学习对所述无线通信系统造成负的影响的情况下，使所述行动价值表格初始化。14.根据权利要求9至13中的任意一项所述的无线通信装置，其中，所述无线通信装置具备传送速率控制部，所述传送速率控制部根据取得的行动价值，更新表示传送速率和调整方法的组中的每个组的行动价值的行动价值表格，根据更新后的行动价值表格来调整传送速率，所述无线通信部以调整后的传送速率进行无线通信。15.一种无线通信系统，具有包括权利要求9至14中的任意一项所述的无线通信装置的多个无线通信装置。16.一种无线通信程序，用于使计算机执行：行动价值取得处理，取得将控制帧的发送间隔的调整作为行动的强化学习中的行动价...

【专利技术属性】
技术研发人员：小林卓矢，泽健太郎，横山阳介，山内尚久，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：