【技术实现步骤摘要】
本专利技术涉及交通数据处理领域，尤其是涉及一种基于图结构的交通全领域数据检索方法、装置及介质。
技术介绍
1、目前常见的交通领域的数据具有以下特点：
2、1、数据表示格式多为针对某一细分领域的特定语言(dsl)专门化设计，在大交通领域的不同应用方向没有很好地通用性。
3、2、数据表示多用于一种尺度，例如围观尺度的驾驶行为数据表示、中观尺度的道路车辆轨迹、宏观尺度的路网交通流分布等，缺少一种跨尺度表示交通数据的表示方法。
4、3、数据表示多基于xml、csv、json等序列式数据形式，而交通领域中的应用，经常涉及依据数据对象之间各种复杂关系的查询和操作，序列式数据形式对这种复杂的关系模态的处理效率较低。
5、当涉及到交通仿真、自动驾驶仿真和决策等任务时，场景工程的重要性以及统一数据的依赖是不容忽视的。这些任务的复杂性和准确性要求需要通过全场景统一数据来实现。例如：在交通仿真方面，统一数据的使用能够提供对真实交通场景的细致理解，并实现对复杂交通环境的准确模拟和仿真。这对于评估自动驾驶系统在各种情景下的性能和安全性至关重要。但是目前的交通领域数据格式互不相同，多源数据不能相互补充，同时在复杂场景中性能压力较大难以满足实时性要求。
技术实现思路
1、本专利技术的目的是为了提供一种基于图结构的交通全领域数据检索方法、装置及介质，解决交通领域中不同dsl的数据表示方法不具备全场景统一性的问题，给出一种统一的基于图结构的数据表示方法，从而解决交通领
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于图结构的交通全领域数据检索方法，包括以下步骤：
4、s1、获取交通领域多源dsl的异构数据；
5、s2、对异构数据进行前处理，转换为基于图结构的统一中间表示；
6、s3、基于交通数据统一中间表示构建图数据库；
7、s4、根据下游应用的需要调用检索工具对图数据库进行检索，获取相关交通数据。
8、所述步骤s2具体为：
9、判断多源dsl的异构数据是否为交通领域中会被频繁操作的数据，
10、如果是频繁操作的数据，则将其转换为xml数据格式，并对xml数据进行即时编译，转换为基于图结构的统一中间表示；
11、如果不是频繁操作的数据，则仅对数据进行索引编码处理。
12、所述图数据库采用分布式数据库对交通数据的统一中间表示进行存储。
13、所述图数据库中设有隐私保护机制和安全机制。
14、所述检索工具包括精确检索工具和向量检索工具，其中，所述精确检索工具根据图的拓扑结构进行精确检索，向量检索工具基于深度学习方法训练图嵌入和度量算子的模型，利用图嵌入得到的向量和相似度度量算子在图数据库中进行模糊检索。
15、所述向量检索工具基于图卷积神经网络实现，假设图结构由n个节点组成，每个节点表示为一个d维特征向量xi∈rd，将其映射为一个长度为k的向量zi∈rk，图卷积神经网络将节点嵌入表示为其邻居节点的加权平均值，其中权重由深度学习训练得到，则节点i的图嵌入表示为：
16、
17、其中，n(i)表示节点i的邻居节点集合，cij是规范化系数，w是权重矩阵，f是非线性激活函数，规范化系数定义为其中di和dj是节点i和j的度数。
18、所述相似度度量算子采用余弦相似度计算图嵌入向量zi和zj的相似度，其表达式为：
19、
20、其中，zi，zj分别表示节点i，j的图嵌入向量，k为嵌入向量z的长度，zi,k，zj,k分别表示节点i，j的嵌入向量的第k个值。
21、所述相似度度量算子采用深度学习方法训练得到，在二分类任务中，相似度得分s的表达式为：
22、s＝sigmoid(wt[zi；zj]+b)
23、其中，w是模型的权重参数，b是偏置参数，[zi；zj]表示将图嵌入向量zi和zj拼接成一个新的向量，sigmoid是一个非线性激活函数。
24、一种基于图结构的交通全领域数据检索装置，包括：
25、前处理模块，用于获取交通领域多源dsl的异构数据，并对异构数据进行前处理，转换为基于图结构的统一中间表示；
26、数据存储模块，用于基于交通数据统一中间表示构建图数据库，对交通数据进行存储；
27、检索工具模块，用于根据下游应用的需要调用检索工具对图数据库进行检索，获取相关交通数据。
28、一种计算机可读存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
29、与现有技术相比，本专利技术具有以下有益效果：
30、(1)实现了数据格式和语义的统一化：本专利技术所提供的中间表示方法可以将不同来源、不同格式、不同语义的交通领域数据进行统一化，使得这些数据能够被更加方便地使用和处理。
31、(2)利用图数据的特性进行了设计：本专利技术所提供的中间表示方法基于图数据的特性进行了设计，可以将交通领域的数据转化为节点和边，并建立图结构。这种设计可以使得数据具有跨尺度、高扩展性、高灵活性的特点。例如，可以将不同城市、不同区域、不同时间尺度的数据都表示为图数据，从而实现跨尺度的数据统一化。同时，基于图数据的结构特性，可以使用图分析和图计算等技术，对数据进行高效的处理和分析。
32、(3)分布式数据存储：本专利技术所提供的中间表示方法可以支持分布式数据存储，保证数据的安全和隐私性，并且可以让数据提供方和使用方进行高效交易。例如，可以使用区块链技术实现数据交易和数据共享，从而保证数据的安全和可信度。
33、(4)提供了高效数据检索方案：本专利技术所提供的中间表示方法可以使用深度学习等技术，提供针对下游应用的更深层信息的向量检索工具。例如，可以使用图嵌入算法将图数据嵌入到低维向量空间中，并使用向量相似度计算方法，实现高效的数据检索和推荐。同时，可以根据下游应用的需求，对图嵌入算法进行优化和调整，以提高检索的准确性和效率。
本文档来自技高网...【技术保护点】
1.一种基于图结构的交通全领域数据检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述步骤S2具体为：
3.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述图数据库采用分布式数据库对交通数据的统一中间表示进行存储。
4.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述图数据库中设有隐私保护机制和安全机制。
5.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述检索工具包括精确检索工具和向量检索工具，其中，所述精确检索工具根据图的拓扑结构进行精确检索，向量检索工具基于深度学习方法训练图嵌入和度量算子的模型，利用图嵌入得到的向量和相似度度量算子在图数据库中进行模糊检索。
6.根据权利要求5所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述向量检索工具基于图卷积神经网络实现，假设图结构由N个节点组成，每个节点表示为一个d维特征向量xi∈Rd，将其映射为一个长度为K的向量
7.根据权利要求6所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述相似度度量算子采用余弦相似度计算图嵌入向量zi和zj的相似度，其表达式为：
8.根据权利要求5所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述相似度度量算子采用深度学习方法训练得到，在二分类任务中，相似度得分s的表达式为：
9.一种基于图结构的交通全领域数据检索装置，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种基于图结构的交通全领域数据检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述步骤s2具体为：
3.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述图数据库采用分布式数据库对交通数据的统一中间表示进行存储。
4.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述图数据库中设有隐私保护机制和安全机制。
5.根据权利要求1所述的一种基于图结构的交通全领域数据检索方法，其特征在于，所述检索工具包括精确检索工具和向量检索工具，其中，所述精确检索工具根据图的拓扑结构进行精确检索，向量检索工具基于深度学习方法训练图嵌入和度量算子的模型，利用图嵌入得到的向量和相似度度量算子在图数据库中进行模糊检索。
6.根据权利要求5所述的一种基于图结构的交通全...
【专利技术属性】
技术研发人员：林懿伦，胡苇，汪旭鸿，王锭，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。