【技术实现步骤摘要】
结合大数据和边缘计算的数据整合方法及存储介质
[0001]本公开涉及大数据和边缘计算处理
,特别涉及一种结合大数据和边缘计算的数据整合方法及存储介质。
技术介绍
[0002]随着科技的发展,各类业务数据(例如工业生产数据、智慧城市监控数据、车自动驾驶控制数据、智能医疗调度数据等)的数据规模和数据类别逐渐增多,这对传统的云计算模式带来了极大数据处理挑战,常常会导致传统云计算模式的过负荷。
[0003]为改善这一技术问题,现有技术逐渐将云计算模式转换为边缘计算模式。这样,一方面能够将大量的业务数据处理边缘化以减小云计算模式对云服务器的负荷压力,另一方面还能够将大量业务数据进行分布式配置,从而提高数据处理的效率和时效性。
[0004]然而,专利技术人发现,现有的基于边缘计算的业务数据处理方法难以实现业务数据之间的有效整合。
技术实现思路
[0005]为改善相关技术中存在的难以实现业务数据之间的有效整合的技术问题,本公开提供了结合大数据和边缘计算的数据整合方法及存储介质。
[0006]第一方面,提供一种结合大数据和边缘计算的数据整合方法,应用于云端大数据中心,包括以下步骤:获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果;通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息;基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所 ...
【技术保护点】
【技术特征摘要】
1.一种结合大数据和边缘计算的数据整合方法,其特征在于,应用于云端大数据中心,包括以下步骤:获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果;通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息;其中,所述业务数据分布标签用于表征云端大数据中心下发的待处理业务数据之间的关联关系,所述业务传递信息用于表征业务处理结果之间的结果导向描述,所述传递路径信息用于表征业务传递信息之间的级联优先级;基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数;其中,所述设备日志文本记录了目标边缘计算节点设备对待处理业务数据进行处理时的全过程,所述目标路径参数用于表征路径传递信息的路径架构;根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果;其中,所述综合处理结果用以表征待处理业务数据在被云端大数据中心分发之前的所对应的全局性处理结果。2.如权利要求1所述的方法,其特征在于,所述方法还包括:根据所述综合处理结果中的结果分隔标识对所述综合处理结果进行业务校正。3.如权利要求2所述的方法,其特征在于,根据所述综合处理结果中的结果分隔标识对所述综合处理结果进行业务校正,包括:将所述结果分隔标识按照分别按照时序优先级的大小顺序以及权限优先级的大小顺序进行排序,得到与所述时序优先级对应的第一排序序列以及与所述权限优先级对应的第二排序序列;对所述第一排序序列以及所述第二排序序列进行遍历比较,也即将所述第一排序序列中的每个结果分隔标识与所述第二排序序列中的相同位置上的结果分隔标识进行比较,得到比较结果;在所述比较结果表征所述第一排序序列和所述第二排序序列之间的序列相关性系数大于目标系数时,以所述第一排序序列中的至少两个结果分隔标识为参考对所述综合处理结果进行业务校正;在所述比较结果表征所述第一排序序列和所述第二排序序列之间的序列相关性系数小于等于所述目标系数时,以所述第二排序序列中的至少两个结果分隔标识为参考对所述综合处理结果进行业务校正;其中,业务校正包括对综合处理结果的数据可信度和数据有效时段的校正。4.如权利要求1所述的方法,其特征在于,根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果,包括:将所述目标路径参数相对于每个业务处理结果的业务数据逻辑信息列出;其中,所述业务数据逻辑信息包括对应的业务处理结果在所述云端大数据中心对应的控制线程上的逻辑关系;按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果。
5.如权利要求4所述的方法,其特征在于,按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果,包括:确定所述逻辑优先级的目标排序序列,所述目标排序序列对应的业务数据逻辑信息为相关性系数大于设定系数值且逻辑优先级与所有逻辑优先级的中位数的差值不小于预设差值的业务数据逻辑信息;将所述目标排序序列对应的业务数据逻辑信息的逻辑编码数据的编码脚本切换为与所述云端大数据中心所对应的的目标编码脚本;根据所述目标编码脚本判断所述目标排序序列对应的业务数据逻辑信息是否存在迭代权重;如果所述目标排序序列对应的业务数据逻辑信息存在迭代权重,则根据所述迭代权重的大小顺序对各业务处理结果之间的相关性系数进行标定,得到标定的相关性系数对应的多个第一业务处理结果以及未标定的多个第二业务处理结果;基于所述迭代权重对所述第一业务处理结果进行迭代,在每次迭代过程中,将所述多个第二业务处理结果中具有最大业务影响度的业务处理结果添加到所述迭代过程中,并在下一次迭代过程中将所述多个第二业务处理结果中具有最小业务影响度的业务处理结果添加到下一次迭代过程中,直至完成所述第一业务处理结果和所述第二业务处理结果之间的交叉迭代以得到所述综合处理结果。6.如权利要求1所述的方法,其特征在于,基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数,进一步包括:向每个目标边...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。