一种数据处理方法、装置和用于数据处理的装置制造方法及图纸

本发明专利技术实施例提供一种数据处理方法、装置和用于数据处理的装置。其中的方法包括：确定密文计算任务所需密文数据对应的元数据；向云端管理节点发送所述元数据，以获取所述云端管理节点根据所述元数据返回的所述密文数据对应的定位信息；从所述定位信息对应的第二边缘计算设备获取所述密文数据；将所述密文计算任务和所述密文数据发送至计算节点，以使所述计算节点利用所述密文数据执行所述密文计算任务。本发明专利技术实施例可以形成边缘计算设备之间的安全计算协同网络，在保证数据安全的基础上，实现边缘计算设备之间的数据共享，满足大数据处理需求。

【技术实现步骤摘要】
一种数据处理方法、装置和用于数据处理的装置
本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置和用于数据处理的装置。
技术介绍
IoT(InternetofThings，物联网)边缘计算设备是一种应用在分散式运算架构的核心设备。在分散式运算架构中，边缘节点通过IoT边缘计算设备接入分散式运算系统，并将应用程序、数据资料与服务的运算，由网络中心节点转移到网络逻辑上的边缘节点来处理。IoT边缘计算设备更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟。在这种架构下，资料的分析与知识的产生，更接近于数据资料的来源，因此更适合处理大数据。但是IoT边缘计算设备之间进行用户的隐私数据共享时，容易产生隐私数据泄漏。并且，由于边缘节点与分散式运算系统之间、边缘节点之间互相不信任，只进行小规模的数据共享或者不进行数据共享，会形成数据孤岛，无法满足大数据处理需求。
技术实现思路
本专利技术实施例提供一种数据处理方法、装置和用于数据处理的装置，可以形成边缘计算设备之间的安全计算协同网络，在保证数据安全的基础上，实现边缘计算设备之间的数据共享，满足大数据处理需求。为了解决上述问题，本专利技术实施例公开了一种数据处理方法，应用于第一边缘计算设备，所述方法包括：确定密文计算任务所需密文数据对应的元数据；向云端管理节点发送所述元数据，以获取所述云端管理节点根据所述元数据返回的所述密文数据对应的定位信息；从所述定位信息对应的第二边缘计算设备获取所述密文数据；将所述密文计算任务和所述密文数据发送至计算节点，以使所述计算节点利用所述密文数据执行所述密文计算任务。可选地，所述从所述定位信息对应的第二边缘计算设备获取所述密文数据，包括：基于异构通信协议，与所述第二边缘计算设备建立第一通信链路；通过所述第一通信链路从所述第二边缘计算设备获取所述密文数据。可选地，所述方法还包括：在所述密文计算任务执行过程中，对所述第一边缘计算设备中的输入数据和输出数据设置数据探针；基于所述数据探针监测所述第一边缘计算设备中的输入数据和输出数据的变化信息；根据所述变化信息，对所述第一边缘计算设备中的功能组件进行调试。可选地，所述将所述密文计算任务和所述密文数据发送至计算节点之前，所述方法还包括：从所述云端管理节点获取计算节点列表，所述计算节点列表为所述云端管理节点根据各个计算节点的资源使用情况确定的，所述计算节点列表中计算节点的计算延迟小于预设阈值；在所述计算节点列表中确定参与所述密文计算任务的计算节点。可选地，所述方法还包括：接收针对所述密文计算任务的控制指令；响应所述控制指令，对所述密文计算任务进行控制，所述控制指令包括任务开始指令、任务结束指令、任务修改指令中的任意一项。可选地，所述确定密文计算任务所需密文数据对应的元数据之前，所述方法还包括：在满足预设时机的情况下，根据接收的业务需求创建密文计算任务。可选地，所述将所述密文计算任务和所述密文数据发送至计算节点，以使所述计算节点利用所述密文数据执行所述密文计算任务之后，所述方法还包括：基于所述计算节点支持的通信协议，与所述计算节点建立第二通信链路；通过所述第二通信链路，获取所述计算节点执行所述密文计算任务得到的计算结果。可选地，所述密文数据对应的元数据包括所述密文数据的数据类型、数据标签、特征描述中的至少一项。本专利技术实施例还公开了一种应用于第二边缘计算设备的数据处理方法，所述方法包括：对采集的数据进行加密处理，得到密文数据；将所述密文数据对应的定位信息以及所述密文数据对应的元数据发送至云端管理节点，以在所述云端管理节点注册所述密文数据；向第一边缘计算设备发送所述密文数据，以使所述第一边缘计算设备通过调度计算节点利用所述密文数据执行密文计算任务。可选地，所述向第一边缘计算设备发送所述密文数据，包括：基于异构通信协议，与所述第一边缘计算设备建立第一通信链路；通过所述第一通信链路向所述第一边缘计算设备发送所述密文数据。可选地，所述对采集的数据进行加密处理之前，所述方法还包括：对采集的数据进行预处理，得到处理后的采集数据，所述预处理包括去噪声处理、滤波处理、筛选处理、归一化处理中的至少一项；所述对采集的数据进行加密处理，包括：对所述处理后的采集数据进行加密处理，得到密文数据。可选地，所述方法还包括：在所述密文计算任务执行过程中，对所述第二边缘计算设备中的输入数据和输出数据设置数据探针；基于所述数据探针监测所述第二边缘计算设备中的输入数据和输出数据的变化信息；根据所述变化信息，对所述第二边缘计算设备中的功能组件进行调试。可选地，所述密文数据对应的元数据包括所述密文数据的数据类型、数据标签、特征描述中的至少一项。另一方面，本专利技术实施例公开了一种数据处理装置，应用于第一边缘计算设备，所述装置包括：元数据确定模块，用于确定密文计算任务所需密文数据对应的元数据；定位信息获取模块，用于向云端管理节点发送所述元数据，以获取所述云端管理节点根据所述元数据返回的所述密文数据对应的定位信息；密文数据获取模块，用于从所述定位信息对应的第二边缘计算设备获取所述密文数据；数据发送模块，用于将所述密文计算任务和所述密文数据发送至计算节点，以使所述计算节点利用所述密文数据执行所述密文计算任务。可选地，所述密文数据获取模块，包括：第一通信链路建立子模块，用于基于异构通信协议，与所述第二边缘计算设备建立第一通信链路；密文数据获取子模块，用于通过所述第一通信链路从所述第二边缘计算设备获取所述密文数据。可选地，所述装置还包括：第一设置模块，用于在所述密文计算任务执行过程中，对所述第一边缘计算设备中的输入数据和输出数据设置数据探针；第一监测模块，用于基于所述数据探针监测所述第一边缘计算设备中的输入数据和输出数据的变化信息；第一调试模块，用于根据所述变化信息，对所述第一边缘计算设备中的功能组件进行调试。可选地，所述装置还包括：计算节点列表获取模块，用于从所述云端管理节点获取计算节点列表，所述计算节点列表为所述云端管理节点根据各个计算节点的资源使用情况确定的，所述计算节点列表中计算节点的计算延迟小于预设阈值；计算节点确定模块，用于在所述计算节点列表中确定参与所述密文计算任务的计算节点。可选地，所述装置还包括：控制指令接收模块，用于接收针对所述密文计算任务的控制指令；控制指令响应模块，用于响应所述控制指令，对所述密文计算任务进行控制，所述控制指令包括任务开始指令、任务结束指令、任务修改指令中的任意一项。可选地，所述装置还包括：在满足预设时机的情况下，根据接收的业务需求创建密文计算任务。可选地本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于第一边缘计算设备，所述方法包括：/n确定密文计算任务所需密文数据对应的元数据；/n向云端管理节点发送所述元数据，以获取所述云端管理节点根据所述元数据返回的所述密文数据对应的定位信息；/n从所述定位信息对应的第二边缘计算设备获取所述密文数据；/n将所述密文计算任务和所述密文数据发送至计算节点，以使所述计算节点利用所述密文数据执行所述密文计算任务。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于第一边缘计算设备，所述方法包括：
确定密文计算任务所需密文数据对应的元数据；
向云端管理节点发送所述元数据，以获取所述云端管理节点根据所述元数据返回的所述密文数据对应的定位信息；
从所述定位信息对应的第二边缘计算设备获取所述密文数据；
将所述密文计算任务和所述密文数据发送至计算节点，以使所述计算节点利用所述密文数据执行所述密文计算任务。


2.根据权利要求1所述的方法，其特征在于，所述从所述定位信息对应的第二边缘计算设备获取所述密文数据，包括：
基于异构通信协议，与所述第二边缘计算设备建立第一通信链路；
通过所述第一通信链路从所述第二边缘计算设备获取所述密文数据。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述密文计算任务执行过程中，对所述第一边缘计算设备中的输入数据和输出数据设置数据探针；
基于所述数据探针监测所述第一边缘计算设备中的输入数据和输出数据的变化信息；
根据所述变化信息，对所述第一边缘计算设备中的功能组件进行调试。


4.根据权利要求1所述的方法，其特征在于，所述将所述密文计算任务和所述密文数据发送至计算节点之前，所述方法还包括：
从所述云端管理节点获取计算节点列表，所述计算节点列表为所述云端管理节点根据各个计算节点的资源使用情况确定的，所述计算节点列表中计算节点的计算延迟小于预设阈值；
在所述计算节点列表中确定参与所述密文计算任务的计算节点。


5.一种数据处理方法，其特征在于，应用于第二边缘计算设备，所述方法包括：
对采集的数据进行加密处理，得到密文数据；
将所述密文数据对应的定位信息以及所述密文数据对应的元数据发送至云端管理节点，以在所述云端管理节点注册所述密文数据；
向第一边缘计算设备发送所述密文数据，以使所述第一边缘计算设备通过调度计算节点利用所述密文数据执行密文计算任务。


6.一种数据处理装置，其特征在于，应用于第一边缘计算设备，所述装置包括：
元数据确定模块，用于确定密文计算任务所需密文数据对应的元数据；
定位信息获取模块，用于向云端管理节点发送所述元数据，以获取所述云端管理节点根据...

【专利技术属性】
技术研发人员：陈洪博，
申请(专利权)人：华控清交信息科技北京有限公司，
类型：发明
国别省市：北京;11