基于大数据的跨进程数据采集传输方法、系统及存储介质技术方案

本发明专利技术公开了基于大数据的跨进程数据采集传输方法、系统及存储介质，属于数据处理技术领域，解决了现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算的问题，方法包括：获取待传输数据信息；生成数据集优先级队列；获取硬件支持访问位运行信息，获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务；本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。系统硬件利用率。系统硬件利用率。

【技术实现步骤摘要】
基于大数据的跨进程数据采集传输方法、系统及存储介质


[0001]本专利技术设计数据处理
，具体涉及基于大数据的跨进程数据采集传输方法、系统及存储介质。

技术介绍

[0002]进程(Process)是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础，跨进程通信的目的在于实现进程间数据的分享以及交互。最典型的跨进程通信的应用场景是剪切板上数据的复制与粘贴，但这种跨进程通信的方式仅限于一些String类数据的传送，在Android系统中，对于进程间数据的传输限于AIDL(Android InterfaceDefinition Language，即Android接口定义语言)方式。
[0003]现阶段，跨进程数据采集传输过程中，数据传输的实时性和精准度是数据传输效率的必要保障，但是现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，为了最大程度的提高数据的实时性和精准度，需要对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，基于此，我们提出了基于大数据的跨进程数据采集传输方法、系统及存储介质。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足之处，提供基于大数据的跨进程数据采集传输方法、系统及存储介质，解决了现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算的问题。
[0005]现阶段，跨进程数据采集传输过程中，数据传输的实时性和精准度是数据传输效率的必要保障，但是现有跨进程数据采集传输系统不能对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，为了最大程度的提高数据的实时性和精准度，需要对待传输的数据优先级以及承载数据传输的硬件支持访问位存储空间进行评估计算，基于此，我们提出了基于大数据的跨进程数据采集传输方法、系统及存储介质，所述基于大数据的跨进程数据采集传输方法包括：获取待传输数据信息，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；然后识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；获取硬件支持访问位运行信息，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；最终获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。本申请能够获取硬件支持访问位运行信息，然后通过硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力，从而保证数据跨进程采集传输的效率，降低系统的运行负载，提高系统硬件利用率。
[0006]本专利技术是这样实现的，基于大数据的跨进程数据采集传输方法，所述基于大数据
的跨进程数据采集传输方法包括：获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
[0007]优选地，所述获取待传输数据信息的方法，具体包括：获取数据采集指令；建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；构建待传输数据与全局共享数据集的映射架构树；基于映射架构树将待传输数据转换为全局共享数据集。
[0008]优选地，所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体包括：获取全局共享数据集，将全局共享数据集每个数据集转换为传输业务日志；基于Jieba分词工具对传输业务日志进行拆分，过滤错误日志，获取拆分结果；基于GloVe词嵌入模型将拆分结果转换为拆分优先级向量，合并单组传输业务日志的全部拆分优先级向量，得到日志优先级向量。
[0009]优选地，所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体还包括：加载日志优先级向量；计算日志优先级向量之间的余弦相似度，建立传输业务日志之间相似度矩阵；基于TextRank算法，迭代全局共享数据集中各传输业务日志的权重，获得传输业务日志的优先级排名，生成数据集优先级队列。
[0010]优选地，所述获取硬件支持访问位运行信息的方法，具体包括：获取硬件支持访问位内存访问信息、业务运行负载、系统进程内存；基于内存访问信息计算所述支持访问位的内存占比；校正支持访问位的内存占比。
[0011]优选地，所述基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，具体包括：采集硬件支持访问位负载数据，对负载数据进行预处理；基于预处理后的负载数据，对硬件支持访问进行运行状态分解；加载运行状态分解结果，基于主成分分析法计算运行状态分解信息熵。
[0012]优选地，所述基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力的方法，具体还包括：基于运行状态分解信息熵计算跨进程数据处理能力评价值。
[0013]一种基于所述基于大数据的跨进程数据采集传输方法的基于大数据的跨进程数据采集传输系统，所述基于大数据的跨进程数据采集传输系统包括：数据信息获取模块，用于获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；数据集识别模块，用于识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；运行信息获取模块，用于获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；传输任务分配模块，用于获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。
[0014]优选地，所述数据信息获取模块包括：采集指令获取单元，用于获取数据采集指令；连接通道建立单元，用于建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；映射架构树构件单元，用于构建待传输数据与全局共享数据集的映射架构树；传输数据转换单元，基于映射架构树将待传输数据转换为全局共享数据集。
[0015]一种计算机可读存储介质，存储有计算机程序指令，所述计算机程序指令被执行时实现所述的基于大数据的跨进程数据采集传输方法。
[0016]与现有技术相比，本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于大数据的跨进程数据采集传输方法，其特征在于，所述基于大数据的跨进程数据采集传输方法包括：获取待传输数据信息，其中，待传输数据信息包括本地数据集和异地数据集，基于待传输数据与全局共享数据集的映射关系，将待传输数据转换为全局共享数据集；识别全局共享数据集，遍历全局共享数据集中每组数据集，将数据集转换为传输业务日志，基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列；获取硬件支持访问位运行信息，其中，硬件支持访问位运行信息包括支持访问位运行空间占有率和运行访问度，基于硬件支持访问位运行信息判断该硬件支持访问位的跨进程数据处理能力；获取硬件支持访问位的跨进程数据处理能力，通过跨进程数据处理能力分配跨进程数据传输任务。2.如权利要求1所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述获取待传输数据信息的方法，具体包括：获取数据采集指令；建立与前端进程的虚拟连接通道，获取本地数据集和异地数据集；构建待传输数据与全局共享数据集的映射架构树；基于映射架构树将待传输数据转换为全局共享数据集。3.如权利要求2所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体包括：获取全局共享数据集，将全局共享数据集每个数据集转换为传输业务日志；基于Jieba分词工具对传输业务日志进行拆分，过滤错误日志，获取拆分结果；基于GloVe词嵌入模型将拆分结果转换为拆分优先级向量，合并单组传输业务日志的全部拆分优先级向量，得到日志优先级向量。4.如权利要求3所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述基于TextRank算法对传输业务日志进行优先级排序，生成数据集优先级队列的方法，具体还包括：加载日志优先级向量；计算日志优先级向量之间的余弦相似度，建立传输业务日志之间相似度矩阵；基于TextRank算法，迭代全局共享数据集中各传输业务日志的权重，获得传输业务日志的优先级排名，生成数据集优先级队列。5.如权利要求1
‑
4任一所述的基于大数据的跨进程数据采集传输方法，其特征在于：所述获取硬件支持访问位运行信息的方法，具体包括：获取硬件支持访问位内存访问信息、业务运行负载、系统进程内存；基于内存访问信息计算所述支持访问...

【专利技术属性】
技术研发人员：郭晨璐，孙琦，廖佳，程傲然，金建华，李进，施晓桐，石丽，
申请(专利权)人：北京科云时代信息技术有限公司，
类型：发明
国别省市：