基于大数据和边缘计算的数据整合方法及云端大数据中心技术

本发明专利技术揭示的基于大数据和边缘计算的数据整合方法及云端大数据中心，首先目标边缘计算节点设备上传的业务处理结果，其次通过查找预先建立的业务数据标签分布针对各业务处理结果分别生成对应的业务传递信息以及各业务传递信息之间的传递路径信息，然后基于从每个目标边缘计算节点设备中提取得到的设备日志文本对传递路径信息进行筛分以确定出目标路径参数，最后根据目标路径参数将各业务处理结果进行整合以得到综合处理结果。本发明专利技术能够将业务处理结果进行云端化从而实现业务数据处理和业务结果整合的明确分工，使得边缘计算节点设备能够高效处理业务数据且云端大数据中心能够对边缘计算节点设备上报的业务处理结果进行有效整合。

【技术实现步骤摘要】
基于大数据和边缘计算的数据整合方法及云端大数据中心
本专利技术涉及大数据和边缘计算处理
，特别涉及一种基于大数据和边缘计算的数据整合方法及云端大数据中心。
技术介绍
随着科技的发展，各类业务数据（例如工业生产数据、智慧城市监控数据、车自动驾驶控制数据、智能医疗调度数据等）的数据规模和数据类别逐渐增多，这对传统的云计算模式带来了极大数据处理挑战，常常会导致传统云计算模式的过负荷。为改善这一技术问题，现有技术逐渐将云计算模式转换为边缘计算模式。这样，一方面能够将大量的业务数据处理边缘化以减小云计算模式对云服务器的负荷压力，另一方面还能够将大量业务数据进行分布式配置，从而提高数据处理的效率和时效性。然而，专利技术人发现，现有的基于边缘计算的业务数据处理方法难以实现业务数据之间的有效整合。
技术实现思路
为改善相关技术中存在的难以实现业务数据之间的有效整合的技术问题，本专利技术提供了基于大数据和边缘计算的数据整合方法及云端大数据中心。第一方面，提供一种基于大数据和边缘计算的数据整合方法，应用于云端大数据中心，包括以下步骤：获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果；通过查找预先建立的业务数据标签分布，针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息；基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分，以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数；根据所述目标路径参数，将各业务处理结果进行整合以得到综合处理结果。可替换地，所述业务数据标签分布通过以下方式建立：获取两个目标边缘计算节点设备分别记录的业务行为轨迹信息，以及各业务行为轨迹信息中对应的目标边缘计算节点设备的业务互动数据；检测各业务行为轨迹信息的行为轨迹指向参数；通过所述行为轨迹指向参数的时序特征配对，拟合各业务行为轨迹信息的行为轨迹指向参数，得到各业务行为轨迹信息的业务行为队列的队列标签；针对各业务行为轨迹信息，基于该业务行为轨迹信息的业务行为队列的队列标签，确定记录该业务行为轨迹信息的目标边缘计算节点设备的业务类型；根据各目标边缘计算节点设备的业务类型，对各业务行为轨迹信息分别进行业务映射，以在所述云端大数据中心中生成该业务行为轨迹信息对应的业务数据映射路径；对各业务数据映射路径进行聚类，得到所述云端大数据中心中的所有业务数据映射路径对应的路径网络分布图；根据各目标边缘计算节点设备的业务互动数据，获得所述路径网络分布图中的路径标签列表；基于所述路径标签列表对所述路径网络分布图进行业务数据标签提取，得到业务数据标签分布。可替换地，根据所述目标路径参数，将各业务处理结果进行整合以得到综合处理结果，包括：将所述目标路径参数相对于每个业务处理结果的业务数据逻辑信息列出；其中，所述业务数据逻辑信息包括对应的业务处理结果在所述云端大数据中心对应的控制线程上的逻辑关系；按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果。可替换地，按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果，包括：确定所述逻辑优先级的目标排序序列，所述目标排序序列对应的业务数据逻辑信息为相关性系数大于设定系数值且逻辑优先级与所有逻辑优先级的中位数的差值不小于预设差值的业务数据逻辑信息；将所述目标排序序列对应的业务数据逻辑信息的逻辑编码数据的编码脚本切换为与所述云端大数据中心所对应的的目标编码脚本；根据所述目标编码脚本判断所述目标排序序列对应的业务数据逻辑信息是否存在迭代权重；如果所述目标排序序列对应的业务数据逻辑信息存在迭代权重，则根据所述迭代权重的大小顺序对各业务处理结果之间的相关性系数进行标定，得到标定的相关性系数对应的多个第一业务处理结果以及未标定的多个第二业务处理结果；基于所述迭代权重对所述第一业务处理结果进行迭代，在每次迭代过程中，将所述多个第二业务处理结果中具有最大业务影响度的业务处理结果添加到所述迭代过程中，并在下一次迭代过程中将所述多个第二业务处理结果中具有最小业务影响度的业务处理结果添加到下一次迭代过程中，直至完成所述第一业务处理结果和所述第二业务处理结果之间的交叉迭代以得到所述综合处理结果。可替换地，基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分，以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数，进一步包括：向每个目标边缘计算节点设备发送携带有请求字段和第一校验结果的文本提取请求；其中，所述第一校验结果是所述云端大数据中心基于预存的第一动态随机数和第一身份校验码对所述请求字段进行循环冗余校验计算得到的校验结果；在接收到所述目标边缘计算节点设备基于所述请求字段反馈的授权指令时，访问所述目标边缘计算节点设备对应的设定存储区并从所述设定存储区中获取所述目标边缘计算节点设备对应的设备日志文本；其中，所述目标边缘计算节点设备通过以下方式反馈授权指令：根据预先与所述云端大数据中心建立的认证关系确定与所述第一动态随机数对应的第二动态随机数以及与所述第一身份校验码对应的第二身份校验码，采用所述第二动态随机数和所述第二身份校验码对所述请求数据进行循环冗余校验计算并得到第二校验结果，在所述第一校验结果和所述第二校验结果一致时向所述云端大数据中心反馈所述授权指令；确定每组设备日志文本对应的文本更新信息并基于确定得到的文本更新信息构建文本更新列表，将所述文本更新列表的列表结构信息以图数据形式映射到预设的坐标平面中，以在所述坐标平面中绘制得到所述文本更新列表的图数据集；对所述图数据集中的每个图数据节点进行特征提取以得到每个图数据节点对应的平面特征，依据所述平面特征的特征维度对预设的识别模型进行模型参数调整，并采用完成模型参数调整的识别模型对所述平面特征进行识别，得到多个特征聚类；计算每个特征聚类的聚类指标权重并将最大聚类指标权重对应的特征聚类定义为动态特征聚类并依据所述动态特征聚类分别确定每组设备日志文本中的可更新文本对应的文本区域；判断所述传递路径信息中的每组路径参数是否均在每个文本区域内收敛，并将传递路径信息中的在每个文本区域内收敛的路径参数确定为目标路径参数。可替换地，通过查找预先建立的业务数据标签分布，针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息，具体包括：从所述业务数据指标分布中确定出与各业务处理结果对应的处理评价标签；判断每个处理评价标签与其对应的业务处理结果的业务交互稳定性的稳定性标签是否匹配，若匹配，则根据所述处理评价标签在所述业务处理结果中的映射信息生成该业本文档来自技高网...

【技术保护点】
1.一种基于大数据和边缘计算的数据整合方法，其特征在于，应用于云端大数据中心，包括以下步骤：/n获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果；/n通过查找预先建立的业务数据标签分布，针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息；/n基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分，以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数；/n根据所述目标路径参数，将各业务处理结果进行整合以得到综合处理结果。/n

【技术特征摘要】
1.一种基于大数据和边缘计算的数据整合方法，其特征在于，应用于云端大数据中心，包括以下步骤：
获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果；
通过查找预先建立的业务数据标签分布，针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息；
基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分，以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数；
根据所述目标路径参数，将各业务处理结果进行整合以得到综合处理结果。


2.如权利要求1所述的方法，其特征在于，所述业务数据标签分布通过以下方式建立：
获取两个目标边缘计算节点设备分别记录的业务行为轨迹信息，以及各业务行为轨迹信息中对应的目标边缘计算节点设备的业务互动数据；
检测各业务行为轨迹信息的行为轨迹指向参数；通过所述行为轨迹指向参数的时序特征配对，拟合各业务行为轨迹信息的行为轨迹指向参数，得到各业务行为轨迹信息的业务行为队列的队列标签；
针对各业务行为轨迹信息，基于该业务行为轨迹信息的业务行为队列的队列标签，确定记录该业务行为轨迹信息的目标边缘计算节点设备的业务类型；根据各目标边缘计算节点设备的业务类型，对各业务行为轨迹信息分别进行业务映射，以在所述云端大数据中心中生成该业务行为轨迹信息对应的业务数据映射路径；
对各业务数据映射路径进行聚类，得到所述云端大数据中心中的所有业务数据映射路径对应的路径网络分布图；
根据各目标边缘计算节点设备的业务互动数据，获得所述路径网络分布图中的路径标签列表；基于所述路径标签列表对所述路径网络分布图进行业务数据标签提取，得到业务数据标签分布。


3.如权利要求1所述的方法，其特征在于，根据所述目标路径参数，将各业务处理结果进行整合以得到综合处理结果，包括：
将所述目标路径参数相对于每个业务处理结果的业务数据逻辑信息列出；其中，所述业务数据逻辑信息包括对应的业务处理结果在所述云端大数据中心对应的控制线程上的逻辑关系；
按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果。


4.如权利要求3所述的方法，其特征在于，按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果，包括：
确定所述逻辑优先级的目标排序序列，所述目标排序序列对应的业务数据逻辑信息为相关性系数大于设定系数值且逻辑优先级与所有逻辑优先级的中位数的差值不小于预设差值的业务数据逻辑信息；
将所述目标排序序列对应的业务数据逻辑信息的逻辑编码数据的编码脚本切换为与所述云端大数据中心所对应的的目标编码脚本；
根据所述目标编码脚本判断所述目标排序序列对应的业务数据逻辑信息是否存在迭代权重；如果所述目标排序序列对应的业务数据逻辑信息存在迭代权重，则根据所述迭代权重的大小顺序对各业务处理结果之间的相关性系数进行标定，得到标定的相关性系数对应的多个第一业务处理结果以及未标定的多个第二业务处理结果；
基于所述迭代权重对所述第一业务处理结果进行迭代，在每次迭代过程中，将所述多个第二业务处理结果中具有最大业务影响度的业务处理结果添加到所述迭代过程中，并在下一次迭代过程中将所述多个第二业务处理结果中具有最小业务影响度的业务处理结果添加到下一次迭代过程中，直至完成所述第一业务处理结果和所述第二业务处理结果之间的交叉迭代以得到所述综合处理结果。


5.如权利要求1-4任一项所述的方法，其特征在于，基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分，以确定出所述传递路径信息中不随每组设备日...

【专利技术属性】
技术研发人员：陈顺发，
申请(专利权)人：陈顺发，
类型：发明
国别省市：广东;44