【技术实现步骤摘要】
本申请涉及大数据管理，尤其涉及一种基于边缘计算的模型构建方法、装置、设备及存储介质。
技术介绍
1、在大数据计算领域，所有计算和模型建设都高度依赖于计算模型，如电信行业的数据处理很多都是基于spark的大数据运算，数据计算过程中既需要实现对全量数据的处理，同时还需要对用于构建模型的验证数据进行处理，导致spark的负载过大。并且，由于受到内存和中央处理器(central processing unit，cpu)的影响，spark计算的数据不是无限的，需要将数据分批进行处理，造成负载越来越大。当构建数据模型时，因为spark的负载过大，反而对不需要全量数据进行处理的应用支撑度不够，导致数据处理效率不够高。
2、为了进一步降低验证数据对生产资源的占用，可以使用部分数据进行模型验证。然而，即使仅处理部分数据，这部分数据的处理资源仍然会占用生产环境中的cpu、内存和网络资源，并未有效减少对生产资源的消耗。
技术实现思路
1、本申请提供一种基于边缘计算的模型构建方法、装置、设备及存储介质，能够实现减少模型构建的资源消耗。
2、第一方面，本申请提供一种基于边缘计算的模型构建方法，应用于用户侧设备，该方法包括：spark集群向用户侧设备发送第一消息，第一消息用于指示进行模型训练，第一消息包括模型需求信息。用户侧设备获取spark集群的第一消息，第一消息用于指示进行模型训练，第一消息包括模型需求信息。用户侧设备响应于第一消息，从spark集群中获取训练数据，基于模型需求信息
3、本申请提供的基于边缘计算的模型构建方法，通过spark集群向用户侧设备发送第一消息，指示用户侧设备进行模型训练，用户侧设备响应于第一消息，从spark集群中获取训练数据，进一步的，基于模型需求信息以及训练数据，得到训练结果。该方法采用数据迁移的方式，将部分数据处理任务迁移至边缘计算节点，降低了中心计算模型的负载，提高了集群使用效率。通过将模型训练任务分配到用户侧设备上，充分利用用户侧设备的计算资源，加速模型训练过程，减少模型构建的资源消耗。
4、一种可能的实现方式，第一消息还包括：数据源地址；数据源地址用于指示spark集群中的一个子机。
5、另一种可能的实现方式，从spark集群中获取训练数据，包括：向数据源指示的子机发送第二消息；第二消息用于请求训练数据；接收子机发送的训练数据。
6、又一种可能的实现方式，训练数据为sqlite文件。
7、又一种可能的实现方式，训练结果包括：训练模型以及sql编制；sql编制用于从sqlite文件中查询用于验证训练模型的目标数据。
8、又一种可能的实现方式，向spark集群发送训练结果。
9、第二方面，本申请提供一种基于边缘计算的模型构建，应用于spark集群，该方法包括：向用户侧设备发送第一消息；第一消息用于指示进行模型训练；第一消息包括模型需求信息。
10、一种可能的实现方式，第一消息还包括：数据源地址；数据源地址用于指示spark集群中的一个子机。
11、另一种可能的实现方式，在向用户侧设备发送第一消息之前，包括：根据用户侧设备的位置，确定距离用户侧设备最近的子机。
12、又一种可能的实现方式，spark集群中子机接收用户侧设备的第二消息；第二消息用于请求训练数据；响应于第二消息，子机发送训练数据。
13、又一种可能的实现方式，spark集群中的数据以大数据文件格式存储；子机发送训练数据，包括：子机扫描自身存储的大数据文件，确定目标数据；子机按行读取目标数据，获得训练数据对应的sqlite文件；子机发送sqlite文件。
14、又一种可能的实现方式，接收用户侧设备发送的训练结果。
15、第三方面，本申请提供一种基于边缘计算的模型构建装置，应用于用户侧设备，该基于边缘计算的模型构建装置包括：获取模块以及处理模块。
16、获取模块用于，获取spark集群的第一消息；第一消息用于指示进行模型训练；第一消息包括模型需求信息；获取模块还用于，响应于第一消息，从spark集群中获取训练数据；处理模块用于，基于模型需求信息以及训练数据，得到训练结果。
17、一种可能的实现方式，第一消息还包括：数据源地址；数据源地址用于指示spark集群中的一个子机。
18、另一种可能的实现方式，获取模块具体用于，向数据源指示的子机发送第二消息；第二消息用于请求训练数据；接收子机发送的训练数据。
19、又一种可能的实现方式，训练数据为sqlite文件。
20、又一种可能的实现方式，训练结果包括：训练模型以及sql编制；sql编制用于从sqlite文件中查询用于验证训练模型的目标数据。
21、又一种可能的实现方式，本基于边缘计算的模型构建装置还包括发送模块。发送模块用于，向spark集群发送训练结果。
22、第四方面，本申请提供一种基于边缘计算的模型构建装置，应用于spark集群，该基于边缘计算的模型构建装置包括：发送模块。发送模块用于向用户侧设备发送第一消息；第一消息用于指示进行模型训练；第一消息包括模型需求信息。
23、一种可能的实现方式，第一消息还包括：数据源地址；数据源地址用于指示spark集群中的一个子机。
24、另一种可能的实现方式，本基于边缘计算的模型构建装置还包括确定模块。确定模块用于，根据用户侧设备的位置，确定距离用户侧设备最近的子机。
25、又一种可能的实现方式，本基于边缘计算的模型构建装置还包括接收模块。接收模块用于，spark集群中子机接收用户侧设备的第二消息；第二消息用于请求训练数据；发送模块还用于，响应于第二消息，子机发送训练数据。
26、又一种可能的实现方式，spark集群中的数据以大数据文件格式存储；发送模块具体用于，子机扫描自身存储的大数据文件，确定目标数据；子机按行读取目标数据，获得训练数据对应的sqlite文件；子机发送sqlite文件。
27、又一种可能的实现方式，接收模块还用于，接收用户侧设备发送的训练结果。
28、第五方面，本申请提供一种电子设备，该电子设备包括：处理器和存储器；存储器存储有处理器可执行的指令；处理器被配置为执行指令时，使得电子设备实现上述第一方面的方法。
29、第六方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括：计算机软件指令；当计算机软件指令在电子设备中运行时，使得电子设备实现上述第一方面的方法。
30、第七方面，本申请提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面描述的相关方法的步骤，以实现上述第一方面的方法。
31、上述第二方面至第七方面的有益效果参考第一方面的对应描述，不再赘述。
本文档来自技高网...【技术保护点】
1.一种基于边缘计算的模型构建方法，其特征在于，应用于用户侧设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一消息还包括：数据源地址；所述数据源地址用于指示所述Spark集群中的一个子机。
3.根据权利要求2所述的方法，其特征在于，所述从所述Spark集群中获取训练数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述训练数据为SQLite文件。
5.根据权利要求4所述的方法，其特征在于，所述训练结果包括：训练模型以及SQL编制；所述SQL编制用于从所述SQLite文件中查询用于验证所述训练模型的目标数据。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
7.一种基于边缘计算的模型构建方法，其特征在于，应用于Spark集群，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述第一消息还包括：数据源地址；所述数据源地址用于指示所述Spark集群中的一个子机。
9.根据权利要求8所述的方法，其特征在于，在向用户侧设备发送第一消息之
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，所述Spark集群中的数据以大数据文件格式存储；所述子机发送所述训练数据，包括：
12.根据权利要求7-11任一项所述的方法，其特征在于，所述方法还包括：
13.一种基于边缘计算的模型构建装置，其特征在于，应用于用户侧设备，所述装置包括：获取模块以及处理模块；
14.一种基于边缘计算的模型构建装置，其特征在于，应用于Spark集群，所述装置包括：发送模块；
15.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：计算机软件指令；
...【技术特征摘要】
1.一种基于边缘计算的模型构建方法，其特征在于，应用于用户侧设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一消息还包括：数据源地址；所述数据源地址用于指示所述spark集群中的一个子机。
3.根据权利要求2所述的方法，其特征在于，所述从所述spark集群中获取训练数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述训练数据为sqlite文件。
5.根据权利要求4所述的方法，其特征在于，所述训练结果包括：训练模型以及sql编制；所述sql编制用于从所述sqlite文件中查询用于验证所述训练模型的目标数据。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
7.一种基于边缘计算的模型构建方法，其特征在于，应用于spark集群，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述第一消息还包括：数据源地址；所述...
【专利技术属性】
技术研发人员：王飞，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。