一种基于安全虚拟机容器的时序图采样方法与系统技术方案

本发明专利技术公开了一种基于安全虚拟机容器的时序图采样方法与系统，包括：客户端与管理服务器建立会话，并通过会话发起图采样计算请求，请求参数中包括

【技术实现步骤摘要】
一种基于安全虚拟机容器的时序图采样方法与系统


[0001]本专利技术涉及分布式大规模图数据处理领域，尤其涉及一种基于安全虚拟机容器的时序图采样方法与系统
。

技术介绍

[0002]随着信息时代的发展，人类依托信息进行的交互愈发普遍，客观上造成了数据规模的急剧增加
。
图可以用来建模存在对象之间的关联关系，使用图神经网络
(GNN)
或传统图论算法基于这些大规模图数据训练推理以解决实际问题是常见的方法
。
实际生活中的大多图数据规模庞大，传统图论算法通常会使用到图数据采样来简化计算
。
对
GNN
而言，同样需要用到图数据采样，以小批次训练代替全图训练
。
图的小批次训练技术正是基于图数据采样技术
。
图数据采样技术简称图采样，指的是基于一些限定条件，从一些点出发在固定不变的静态的全图中采样节点和边，这些节点和边形成一个子图，因此图采样也称为子图采样
。
采样得到的子图就作为一个小批次来进行后续处理，例如训练或推理
。
[0003]传统的图数据采样方法通常采用批处理方式，针对静态的图数据进行采样
。
然而，在实际场景例如金融交易网络中，图数据通常不是静态存在的，而是始终处于变化状态的实时数据，这种节点和边实时更新的图被称作时序图，也叫动态图
。
因此针对静态的图数据进行采样存在一些问题，例如采样结果不够实时，且在考虑时间维度的情况下，采样结果不够精准和具有代表性等等
。
[0004]现有的图采样系统通常使用简单的采样流程，与其他计算过程交替进行，计算资源的使用不够科学高效，程序整体效率也不够高
。
此外，现有的图采样方法中数据处理方案通常是固定的，缺乏灵活性
。
另一方面，若是简单的在需要采样时才对动态图进行采样来保证实时性，就做不到批处理和并行优化
。

技术实现思路

[0005]本专利技术目的在于针对现有技术的不足，提出一种基于安全虚拟机容器的时序图采样方法
。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种基于安全虚拟机容器的时序图采样方法，该方法包括：
[0007]S1、
获取用户提供的
UDF
函数，生成安全虚拟机容器可用的底层代码；
[0008]S2、
在安全虚拟机容器中异步并行地进行基于邻居发现和
UDF
函数的图采样，得到采样结果放置到维护队列进行实时维护；
[0009]S3、
基于流式更新的图数据筛选维护队列中需要更新的采样结果；
[0010]S4、
根据筛选结果，使用流式更新的图数据来实时更新维护队列中的采样结果，得到实时更新的时序图采样子图
。
[0011]进一步地，所述获取用户提供的
UDF
函数具体为：建立会话，发送图采样计算请求参数，反序列化上层用户发送的图采样计算请求参数，从中解析获取图采样使用的参数和
UDF
函数，并获取上层用户提供的
UDF
函数
。
[0012]进一步地，所述
S1
中获取的
UDF
函数使用的代码语言包括：使用
C++
语言阐述用户自定义
UDF
函数的内容
、
使用自定义简洁语言阐述用户自定义
UDF
函数的内容或使用其他编程语言阐述用户自定义
UDF
函数的内容；
[0013]所述安全虚拟机容器包括
WASM
容器或其他轻量化安全虚拟机容器；若安全虚拟机为
WASM
容器时，使用
WASM
提供的编译工具或
LLVM
等底层
CodeGen
技术来进行编译；若安全虚拟机为其他轻量化安全虚拟机容器时，使用直接的编译工具或使用
LLVM
等底层
CodeGen
技术来进行编译
。
[0014]进一步地，所述
S2
中的基于邻居发现和
UDF
函数的图采样具体为：
[0015]调用获取某一点所有邻居这一属性的接口，对输出的每一个节点遍历邻居，按照
UDF
函数定义的数据处理方案处理或过滤邻居，并为采样结果拉取属性；若需要多层采样，则需要以采样结果作为输入节点，多次进行这个过程
。
[0016]进一步地，所述维护队列大小有限，当维护队列已满时暂停采样
。
[0017]进一步地，所述
S3
具体为：
[0018]判断图数据是否涉及目前需要实时维护的采样结果的点集，若不涉及则认为不需要更新，若涉及则判断该条图数据是否超出用户定义的采样时间段范围，若超出采样时间段范围则不需要更新，若不超出采样时间段则需要更新；其中若用户不定义采样时间段，则将采样结果实时更新到最新
。
[0019]进一步地，对维护队列中的采样结果进行实时更新的更新内容包括：该节点是否存在
、
该节点的邻居是否存在
、
该节点的其他属性是否改变
。
[0020]另一方面，本专利技术的
技术实现思路
还提供了一种基于安全虚拟机容器的时序图采样系统，该系统包括：客户端模块
、
安全虚拟机模块
、
管理服务器模块
、
计算服务器模块和数据服务器模块；
[0021]所述客户端模块用于发起采样请求并根据采样服务提取采样结果，
[0022]所述管理服务器模块，用于获取用户提供的
UDF
函数；调度计算服务器开启安全虚拟机容器执行采样，并管理计算资源
、
创建维护和客户端模块之间的会话
、
维护集群状态；
[0023]所述安全虚拟机模块为安全虚拟机容器，基于
UDF
函数生成的安全虚拟机容器可用的底层代码，异步并行地进行基于邻居发现和
UDF
函数的图采样；
[0024]所述计算服务器模块，用于生成安全虚拟机容器可用的底层代码和分配资源给安全虚拟机模块来安全执行
UDF
函数转化的底层代码；且计算服务器模块在安全虚拟机模块中进行基于邻居发现和
UDF
函数的图采样，得到采样结果放置到维护队列，对尚未被客户端请求的采样结果进行维护更新；
[0025]所述数据服务器模块，用于读写图数据库，根据流式更新的图数据筛选需要更新的图数据和采样结果；实现数据缓存；需要在数据服务器模块部署适用于时序图实时更新特性的图数据库，并且配置流式更新的数据流经数据服务器模块
。
[0026]进一步地，所述计算服务器模块每次采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于安全虚拟机容器的时序图采样方法，其特征在于，该方法包括：
S1、
获取用户提供的
UDF
函数，生成安全虚拟机容器可用的底层代码；
S2、
在安全虚拟机容器中异步并行地进行基于邻居发现和
UDF
函数的图采样，得到采样结果放置到维护队列进行实时维护；
S3、
基于流式更新的图数据筛选维护队列中需要更新的采样结果；
S4、
根据筛选结果，使用流式更新的图数据来实时更新维护队列中的采样结果，得到实时更新的时序图采样子图
。2.
根据权利要求1所述的一种基于安全虚拟机容器的时序图采样方法，其特征在于，所述获取用户提供的
UDF
函数具体为：建立会话，发送图采样计算请求参数，反序列化上层用户发送的图采样计算请求参数，从中解析获取图采样使用的参数和
UDF
函数，并获取上层用户提供的
UDF
函数
。3.
根据权利要求2所述的一种基于安全虚拟机容器的时序图采样方法，其特征在于，所述
S1
中获取的
UDF
函数使用的代码语言包括：使用
C++
语言阐述用户自定义
UDF
函数的内容
、
使用自定义简洁语言阐述用户自定义
UDF
函数的内容或使用其他编程语言阐述用户自定义
UDF
函数的内容；所述安全虚拟机容器包括
WASM
容器或其他轻量化安全虚拟机容器；若安全虚拟机为
WASM
容器时，使用
WASM
提供的编译工具或底层
CodeGen
技术来进行编译；若安全虚拟机为其他轻量化安全虚拟机容器时，使用直接的编译工具或使用底层
CodeGen
技术来进行编译
。4.
根据权利要求1所述的一种基于安全虚拟机容器的时序图采样方法，其特征在于，所述
S2
中的基于邻居发现和
UDF
函数的图采样具体为：调用获取某一点所有邻居这一属性的接口，对输出的每一个节点遍历邻居，按照
UDF
函数定义的数据处理方案处理或过滤邻居，并为采样结果拉取属性；若需要多层采样，则需要以采样结果作为输入节点，多次进行这个过程
。5.
根据权利要求1所述的一种基于安全虚拟机容器的时序图采样方法，...

【专利技术属性】
技术研发人员：黄梓淇，黄文杰，庄永真，罗进开，万志远，
申请(专利权)人：浙江大学，
类型：发明
国别省市：