一种多模态时空轨迹预测方法技术

本发明专利技术实施例公开了一种多模态时空轨迹预测方法

【技术实现步骤摘要】
一种多模态时空轨迹预测方法、装置、设备和介质


[0001]本专利技术实施例涉及通讯
，尤其涉及一种多模态时空轨迹预测方法
、
装置
、
设备和介质
。

技术介绍

[0002]随着城市化进程的进行，城市安全问题的重要性越来越凸显
。
时空轨迹预警技术是一种通过分析人和物的移动轨迹，预测可能的风险和危险并及时发出警报的技术
。
在智慧安全城市中，时空轨迹预警可以帮助城市管理者和居民更好地保护生命和财产安全
。
[0003]现有的时空轨迹预警方法主要分为两个类别：
(1)
基于模式识别的方法
。(2)
基于机器学习的方法
。(1)
基于模式识别的方法首先定义或挖掘出某种模式，然后对新流入的数据进行模式匹配
。
模式识别常见的技术包括聚类
、
关联规则挖掘等
。
此类方法的效果取决于所定义
、
挖掘的模式是否适用于应用场景的数据
。
在多模态时空轨迹场景中，存在着多种特点
、
属性完全不同的数据，例如人脸轨迹
、
步态轨迹
、
手机信号轨迹，车辆的车牌抓拍轨迹
、ETC
采集轨迹等，不同类型的数据适用的模式是不同，模式识别的方法在不同模态之间的迁移
、
较困难
。(2)
基于机器学习的方法使用机器学习算法对时空数据进行学习和预测，现有技术的方法能够让模型从数据中自动学习多种模态的时空轨迹数据，但传统的基于机器学习方法是在云端服务器部署的，端侧设备将数据发回服务器，再由服务器的模型进行统一计算
、
预测
。
此类方法需要将数据传回服务器，会增加网络的带宽压力和服务器端的计算压力，同时也会增加用户原始轨迹数据信息泄露的风险
。
[0004]边缘计算在物联网
、
智能家居
、
自动驾驶等领域有着广泛应用，但由于以下2个原因，无法直接应用在多模态时空轨迹预警问题中：
(1)
数据处理和计算量较大：多模态时空轨迹数据通常具有大规模和复杂性，需要在边缘设备上进行实时处理和计算，这需要高效的算法和强大的计算能力
。(2)
设备限制和性能问题：边缘设备通常受限于计算能力
、
存储容量
、
能源供应等，使得边缘设备难以应对多模态大规模的时空轨迹数据
。
[0005]因此，现有技术急需一种可以保证数据安全且预测准确的时空轨迹预测方法
。

技术实现思路

[0006]本专利技术实施例提供一种多模态时空轨迹预测方法
、
装置
、
设备和介质，达到了数据传输安全且预测准确的效果
。
[0007]根据本专利技术的一方面，提供了一种多模态时空轨迹预测方法，包括：控制现场设备获取单模态数据；控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；控制云侧设备基于所述不可解释特征
、
所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹
。
[0008]进一步的，所述控制现场设备获取单模态数据包括：调试现场设备以获取稳定的
数据源；记录调试设备的工作人员的轨迹作为标注数据
。
[0009]进一步的，所述控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征，包括：控制端侧设备对获取的单模态数据进行预处理，以去掉异常数据和噪声；对预处理后的单模态数据进行特征提取，以获得可解释特征和不可解释特征
。
[0010]进一步的，所述控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果，包括：对所述可解释特征和不可解释特征进行拼接聚合以生成单模态特征；将所述单模态特征输入预先训练的单模态模型以获取单模态轨迹预测结果
。
[0011]进一步的，所述控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征，之前包括：控制所述端侧设备将所述不可解释特征
、
单模态轨迹预测结果
、
端侧设备的空间位置
、
特征和单模态轨迹预测结果生成时间发送至所述云侧设备
。
[0012]进一步的，所述控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征包括：控制云侧设备将同类型现场设备获取单模态数据的不可解释特征进行第一类数据聚合，以生成多模态融合特征；和
/
或控制云侧设备将不同类型现场设备获取单模态数据的不可解释特征进行第二类数据聚合，以生成多模态融合特征
。
[0013]进一步的，所述控制云侧设备基于所述不可解释特征
、
所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹，包括：将所述不可解释特征
、
所述单模态轨迹预测结果以及所述多模态融合特征输入预先训练的多模态模型以获取多模态预测轨迹
。
[0014]根据本专利技术的一方面，提供了一种多模态时空轨迹预测装置，包括：数据获取模块，用于控制现场设备获取单模态数据；特征提取模块，用于控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；单端预测模块，用于控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；特征融合模块，用于控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；云端预测模块，用于控制云侧设备基于所述不可解释特征
、
所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹
。
[0015]根据本专利技术的另一方面，提供了一种计算机设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一多模态时空轨迹预测方法
。
[0016]根据本专利技术的另一方面，提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述的任一多模态时空轨迹预测方法
。
[0017]本专利技术实施例的多模态时空轨迹预测方法包括控制现场设备获取单模态数据；控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；控制云侧设备基于所述不可解释特征
、
所述单模态轨迹预测结果以及所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态时空轨迹预测方法，其特征在于，包括：控制现场设备获取单模态数据；控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；控制云侧设备基于所述不可解释特征
、
所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹
。2.
根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制现场设备获取单模态数据包括：调试现场设备以获取稳定的数据源；记录调试设备的工作人员的轨迹作为标注数据
。3.
根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征，包括：控制端侧设备对获取的单模态数据进行预处理，以去掉异常数据和噪声；对预处理后的单模态数据进行特征提取，以获得可解释特征和不可解释特征
。4.
根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果，包括：对所述可解释特征和不可解释特征进行拼接聚合以生成单模态特征；将所述单模态特征输入预先训练的单模态模型以获取单模态轨迹预测结果
。5.
根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征，之前包括：控制所述端侧设备将所述不可解释特征
、
单模态轨迹预测结果
、
端侧设备的空间位置
、
特征和单模态轨迹预测结果生成时间发送至所述云侧设备
。6.
根据权利要求1所述的多模态时空轨迹预测方法...

【专利技术属性】
技术研发人员：王东锋，余亦阳，李双印，姚相松，
申请(专利权)人：深圳前海中电慧安科技有限公司，
类型：发明
国别省市：