数据发送方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据发送方法、装置、设备及存储介质，该方法包括：当消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据第一消息的当前状态以及目标Q值表，确定第一消息的当前状态在目标Q值表中对应的元素值，目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据第二消息生命周期中的动作参数更新的M*N的矩阵，根据第一消息的当前状态在目标Q值表中对应的元素值，确定第一消息的当前状态对应的第一目标动作，根据第一目标动作对第一消息进行操作。该数据发送方法实现了通信质量和成本的较佳平衡，同时，该数据发送方法具有不断从环境中学习的能力，应用场景较为广泛。

Data transmission method, device, equipment and storage medium

【技术实现步骤摘要】
数据发送方法、装置、设备及存储介质
本专利技术实施例涉及通信
，尤其涉及一种数据发送方法、装置、设备及存储介质。
技术介绍
物联网利用感知技术和智能装备对物理世界进行感知识别，通过网络传输互联，进行计算、处理和知识挖掘，实现人与物、物与物信息交互和无缝联结，达到对物理世界实时监控、远程控制和精确管理的目的。目前物联网的信息传输主要依靠地面有线网络和地面无线网络。地面网络受地域影响较大，覆盖能力有限，导致在海上、山上、野外等偏远地区，基于地面网络的物联网无法应用。卫星通信网络覆盖面积大，对地形和距离不敏感，覆盖地域广、不受地理环境和地质灾害影响，可为物联网提供广域甚至全球的信息采集和传输，从而实现物联网在智慧海洋、智能运输等领域的应用——这是所谓的天基物联网。处于移动中的天基物联网终端一般具有多个模式——卫星通路和蜂窝通路，常常还是多个卫星或者蜂窝通路。终端既能由卫星网络发送消息，又能由当地的电信蜂窝网络发送消息。这两种通路各自有各自的特点：卫星网络通路覆盖范围广，费用高；蜂窝网络通路覆盖局限于基站范围内，在野外是一个个孤岛，费用比起卫星通路来说低几个数量级。在一些应用场景中，要求物联网终端必须在规定时间间隔内进行状态上报，如疫苗运输。如果终端在采集信息后进行发送消息的时刻，恰好处于一个蜂窝网络覆盖区时，当然是立即经过蜂窝通路发出，但如果当时不在任何蜂窝网络覆盖范围内，就存在一个策略选择问题：是应该通过卫星网络发出，还是将消息暂时缓存起来，以便等到再次进入蜂窝网络覆盖区时择机发出。目前，终端可以采用自适应的方式发送消息：即,有蜂窝网络时从蜂窝网络发出，在蜂窝网络阻塞时，通过卫星网络发送消息。但是，上述方法在某些应用场景中，例如，终端可能很快进入下一个蜂窝网络覆盖区的场景中，只需将消息缓存一小段时间，就能顺利从蜂窝网络发送的场景中，造成将本可以通过蜂窝网络发送的消息通过卫星网络发出，导致通信成本较高。
技术实现思路
本专利技术提供一种数据发送方法、装置、设备及存储介质，以解决目前通信成本较高的技术问题。第一方面，本专利技术实施例提供一种数据发送方法，包括：当消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据所述第一消息的当前状态以及目标Q值表，确定所述第一消息的当前状态在所述目标Q值表中对应的元素值；其中，所述消息队列中消息的状态包括：消息的年龄、消息的发送状态、卫星信号是否连通以及蜂窝信号是否连通，所述目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据所述第二消息生命周期中的动作参数更新的M*N的矩阵，所述Q值表中的元素值qij表示在第i个消息状态下执行第j个动作的效用值，0≤i＜M，0≤j＜N，所述目标Q值表中的动作包括：不发送、通过卫星网络发送以及通过蜂窝网络发送；根据所述第一消息的当前状态在所述目标Q值表中对应的元素值，确定所述第一消息的当前状态对应的第一目标动作；根据所述第一目标动作对所述第一消息进行操作。第二方面，本专利技术实施例提供一种数据发送装置，包括：第一确定模块，用于当消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据所述第一消息的当前状态以及目标Q值表，确定所述第一消息的当前状态在所述目标Q值表中对应的元素值；其中，所述消息队列中消息的状态包括：消息的年龄、消息的发送状态、卫星信号是否连通以及蜂窝信号是否连通，所述目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据所述第二消息生命周期中的动作参数更新的M*N的矩阵，所述Q值表中的元素值qij表示在第i个消息状态下执行第j个动作的效用值，0≤i＜M，0≤j＜N，所述目标Q值表中的动作包括：不发送、通过卫星网络发送以及通过蜂窝网络发送；第二确定模块，用于根据所述第一消息的当前状态在所述目标Q值表中对应的元素值，确定所述第一消息的当前状态对应的第一目标动作；操作模块，用于根据所述第一目标动作对所述第一消息进行操作。第三方面，本专利技术实施例还提供了一种数据发送设备，所述数据发送设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的数据发送方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的数据发送方法。本实施例提供一种数据发送方法、装置、设备及存储介质，该方法包括：消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据第一消息的当前状态以及目标Q值表，确定第一消息的当前状态在目标Q值表中对应的元素值，其中，消息队列中消息的状态包括：消息的年龄、消息的发送状态、卫星信号是否连通以及蜂窝信号是否连通，目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据第二消息生命周期中的动作参数更新的M*N的矩阵，根据第一消息的当前状态在目标Q值表中对应的元素值，确定第一消息的当前状态对应的第一目标动作，根据第一目标动作对第一消息进行操作。其具有以下技术效果：一方面，根据第一消息的当前状态从目标Q值表中选择最合适的动作，根据该动作对第一消息进行操作，在保证采集的信息上报频度的情况下，降低了通信资费，实现了通信质量和成本的较佳平衡；另一方面，该目标Q值表为基于改进的Q学习方法形成的，即在第二消息生命周期结束时，根据第二消息生命周期中的动作参数延时更新形成该目标Q值表，使得该目标Q值表具有不断从环境中学习的能力，因此，本实施例提供的数据发送方法可以应用在不同的环境中，应用场景较为广泛。附图说明图1为本专利技术提供的数据发送方法应用场景的示意图；图2为本专利技术提供的数据发送方法实施例一的流程示意图；图3为本专利技术提供的数据发送方法实施例二的流程示意图；图4为本专利技术提供的数据发送装置实施例一的结构示意图；图5为本专利技术提供的数据发送装置实施例二的结构示意图；图6为本专利技术提供的数据发送设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。图1为本专利技术提供的数据发送方法应用场景的示意图。如图1所示，本实施例提供的数据发送方法可以应用于由终端11及控制设备12组成的通信系统中。终端11可以为天基物联网中的终端，例如，各种传感器。控制设备12可以为天基物联网中的其他终端或者地面站。终端11既可以通过卫星网络13与控制设备12进行数据交互，也可以通过蜂窝网络14与控制设备12进行数据交互。在终端11同时处于卫星网络13与蜂窝网络14的覆盖之下时，通过蜂窝网络14发送消息；在终端11处于卫星网络13的覆盖之下，而未处于蜂窝网络14的覆盖之下时，由于卫星本文档来自技高网...

【技术保护点】
1.一种数据发送方法，其特征在于，包括：/n当消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据所述第一消息的当前状态以及目标Q值表，确定所述第一消息的当前状态在所述目标Q值表中对应的元素值；其中，所述消息队列中消息的状态包括：消息的年龄、消息的发送状态、卫星信号是否连通以及蜂窝信号是否连通，所述目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据所述第二消息生命周期中的动作参数更新的M*N的矩阵，所述Q值表中的元素值q

【技术特征摘要】
1.一种数据发送方法，其特征在于，包括：
当消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据所述第一消息的当前状态以及目标Q值表，确定所述第一消息的当前状态在所述目标Q值表中对应的元素值；其中，所述消息队列中消息的状态包括：消息的年龄、消息的发送状态、卫星信号是否连通以及蜂窝信号是否连通，所述目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据所述第二消息生命周期中的动作参数更新的M*N的矩阵，所述Q值表中的元素值qij表示在第i个消息状态下执行第j个动作的效用值，0≤i＜M，0≤j＜N，所述目标Q值表中的动作包括：不发送、通过卫星网络发送以及通过蜂窝网络发送；
根据所述第一消息的当前状态在所述目标Q值表中对应的元素值，确定所述第一消息的当前状态对应的第一目标动作；
根据所述第一目标动作对所述第一消息进行操作。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当确定所述消息队列中第二消息的年龄达到预置的最大年龄时，确定在所述第二消息的生命周期中，对所述第二消息执行第二目标动作时，所述第二消息的第一年龄，所述第二消息的发送通道，以及，在所述第二消息的生命周期中，所述蜂窝网络首次连通时，所述第二消息的第二年龄；
根据所述第二消息的第一年龄、所述第二消息的发送通道，以及，所述第二消息的第二年龄，确定所述第二消息对应的奖励值；
根据所述第二消息对应的奖励值以及Q值表的更新公式，确定所述目标Q值表中对所述第二消息执行所述第二目标动作时，所述第二消息的状态以及所述第二目标动作对应的位置的更新后的元素值；
根据所述更新后的元素值，更新所述目标Q值表，并将更新后的Q值表作为所述目标Q值表。


3.根据权利要求2所述的方法，其特征在于，所述第二消息的发送通道包括：未发送、所述卫星网络或者所述蜂窝网络；
所述根据所述第二消息的第一年龄、所述第二消息的发送通道，以及，所述第二消息的第二年龄，确定所述第二消息对应的奖励值，包括：
当所述第二消息的发送通道为未发送时，根据所述第一年龄以及所述第二年龄确定所述第二消息对应的第一奖励值；其中，所述第二年龄与所述第一年龄的差距越大，所述第一奖励值越低，所述第二年龄与所述第一年龄的差距越小，所述第一奖励值高；
当所述第二消息的发送通道为所述卫星网络时，根据所述第一年龄以及所述第二年龄确定所述第二消息对应的第二奖励值；其中，所述第二年龄与所述第一年龄的差距越大，所述第一奖励值越高，所述第二年龄与所述第一年龄的差距越小，所述第一奖励值低；
当所述第二消息的发送通道为所述蜂窝网络时，将预设参数确定为所述第二消息对应的第三奖励值；其中，所述第三奖励值大于最大的第一奖励值以及最大的第一奖励值。


4.根据权利要求2所述的方法，其特征在于，所述根据所述第二消息对应的奖励值以及Q值表的更新公式，确定所述目标Q值表中对所述第二消息执行所述第二目标动作时，所述第二消息的状态以及所述第二目标动作对应的位置的更新后的元素...

【专利技术属性】
技术研发人员：李运伟，
申请(专利权)人：北京和德宇航技术有限公司，
类型：发明
国别省市：北京;11