面向空天异构的时序数据处理方法技术

本发明专利技术提供了一种面向空天异构的时序数据处理方法

【技术实现步骤摘要】
面向空天异构的时序数据处理方法、装置、设备及介质


[0001]本专利技术涉及空天任务预测领域，尤其涉及一种面向空天异构的时序数据处理方法
、
装置
、
设备及介质
。

技术介绍

[0002]空天领域时序预测应用包含了目标轨迹预测
、
要素演化预测
、
场景趋势预测等任务，各任务间差异大，所需的空天领域数据差异大，包含二维的轨迹数据与三维的时序图像，现有技术大多只能处理自然场景图像和文本数据，目前没有一个所述多路
Transformer
模型架构可以同时处理空天领域时序图像与轨迹数据，实现针对空天领域时序预测应用的通用推理预测
。

技术实现思路

[0003]鉴于上述问题，本专利技术提供了一种面向空天异构的时序数据处理方法
、
装置
、
设备及存储介质
。
[0004]根据本专利技术的第一个方面，提供了一种面向空天异构的时序数据处理方法，包括：将多模态的输入数据转化为
token
序列，得到所述输入数据
token
序列；对所述输入数据
token
序列进行随机掩码，得到不同模态的掩码数据；以所述不同模态的掩码数据为建模目标，预训练多路
Transformer
模型，得到训练完成的时序数据处理模型
。
[0005]可选的，所述输入数据包含时序图像
、
轨迹和时序图像r/>‑
轨迹的配对数据；所述训练完成的时序数据处理模型用于预测输入的时序数据所要执行的任务
。
[0006]可选的，所述多路
Transformers
模型包括多层多路
Transformer
块，每层所述多路
Transformer
块包括用于不同模态的前馈网络池和共享的自注意力模块；所述用于不同模态的前馈网络池用于处理不同模态的输入数据
token
序列；所述共享的自注意力模块用于学习不同模态之间的对齐方式，实现多模态任务的深度融合
。
[0007]可选的，每层所述多路
Transformer
块的不同模态的前馈网络池均包括时序图像专家和轨迹专家，最后三层所述多路
Transformer
块的不同模态的前馈网络池均包括时序图像专家
、
轨迹专家
、
时序图像
‑
轨迹配对专家
。
[0008]可选的，所述将多模态的输入数据转化为
token
序列，得到所述输入数据
token
序列包括：使用跨步时间采样策略，对所述输入数据进行时序采样，得到时序采样序列；对所述时序采样序列进行联合时空立方体嵌入，得到时空采样序列；对所述时空采样序列进行轨迹预处理，得到所述输入数据
token
序列
。
[0009]可选的，所述输入数据
token
序列的模态包括时序模态
、
轨迹模态和时序
‑
轨迹模态；
所述时序模态的输入数据
token
序列发送给时序图像专家；所述轨迹模态的输入数据
token
序列发送给轨迹专家；所述时序
‑
轨迹模态的输入数据
token
序列发送给时序
‑
轨迹模态专家
。
[0010]可选的，所述以所述不同模态的掩码数据为建模目标，预训练多路
Transformer
模型包括：以时序模态的掩码数据
、
轨迹模态的掩码数据和时序
‑
轨迹模态的掩码数据为建模目标，预训练所述多路
Transformer
模型；在所述预训练过程中，随机掩码预设比例的时序图像的
token
序列和轨迹的
token
序列以重建掩码数据的
token
序列
。
[0011]本专利技术的第二方面提供了一种面向空天异构的时序数据处理装置，包括：转化模块，用于将多模态的输入数据转化为
token
序列，得到所述输入数据
token
序列；掩码模块，用于对所述输入数据
token
序列进行随机掩码，得到不同模态的掩码数据；训练模块，用于以所述不同模态的掩码数据为建模目标，预训练多路
Transformer
模型，得到训练完成的时序数据处理模型
。
[0012]本专利技术的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法
。
[0013]本专利技术的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法
。
[0014]根据本专利技术提供的波面向空天异构的时序数据处理方法
、
装置
、
设备和介质，设计时序图像
、
轨迹
、
时序图像
+
轨迹的三支路特征互促共享的多路
Transformer
模型，可同时处理时序图像
、
轨迹数据以及时序图像与轨迹数据的配对数据，增加了基础模型应用的泛化性；通过共享的自注意力模块可以互相借鉴不同结构数据和任务间的优势，提高预测任务的准确率；将单模态和多模态的预训练任务都统一到同一种形式中，具体应用时更方面
。
附图说明
[0015]通过以下参照附图对本专利技术实施例的描述，本专利技术的上述内容以及其他目的
、
特征和优点将更为清楚，在附图中：图1示意性示出了根据本专利技术实施例的面向空天异构的时序数据处理方法的流程图
。
[0016]图2示意性示出了根据本专利技术实施例的多路
Transformer
模型的架构图；图3示意性示出了根据本专利技术实施例的面向空天异构的时序数据处理装置的结构框图；图4示意性示出了根据本专利技术实施例的适于实现面向空天异构的时序数据处理方法的电子设备的方框图
。
具体实施方式
[0017]以下，将参照附图来描述本专利技术的实施例
。
但是应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围
。
在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本专利技术实施例的全面理解
。
然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施
。
此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念
。
[0018本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向空天异构的时序数据处理方法，其特征在于，包括：将多模态的输入数据转化为
token
序列，得到所述输入数据
token
序列；对所述输入数据
token
序列进行随机掩码，得到不同模态的掩码数据；以所述不同模态的掩码数据为建模目标，预训练多路
Transformer
模型，得到训练完成的时序数据处理模型
。2.
根据权利要求1所述的面向空天异构的时序数据处理方法，其特征在于，所述输入数据包含时序图像
、
轨迹和时序图像
‑
轨迹的配对数据；所述训练完成的时序数据处理模型用于预测输入的时序数据所要执行的任务
。3.
根据权利要求1所述的面向空天异构的时序数据处理方法，其特征在于，所述多路
Transformers
模型包括多层多路
Transformer
块，每层所述多路
Transformer
块包括用于不同模态的前馈网络池和共享的自注意力模块；所述用于不同模态的前馈网络池用于处理不同模态的输入数据
token
序列；所述共享的自注意力模块用于学习不同模态之间的对齐方式，实现多模态任务的深度融合
。4.
根据权利要求3所述的面向空天异构的时序数据处理方法，其特征在于，每层所述多路
Transformer
块的不同模态的前馈网络池均包括时序图像专家和轨迹专家，最后三层所述多路
Transformer
块的不同模态的前馈网络池均包括时序图像专家
、
轨迹专家
、
时序图像
‑
轨迹配对专家
。5.
根据权利要求1所述的面向空天异构的时序数据处理方法，其特征在于，所述将多模态的输入数据转化为
token
序列，得到所述输入数据
token
序列包括：使用跨步时间采样策略，对所述输入数据进行时序采样，得到时序采样序列；对所述时序采样序列进行联合时空立方体嵌入，得到时空采样序列；对所述时空采样序列进行轨迹预处理，得到所述输入数据
token
序列
...

【专利技术属性】
技术研发人员：孙显，卢宛萱，邓楚博，于泓峰，郝凌翔，刘小煜，张莹莹，杨莹，许良宇，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：