一种分布式数据处理方法及系统技术方案

本申请涉及一种分布式数据处理方法及系统，其中方法包括：获取用于进行计算的待处理信息，待处理信息中包括至少两个变量信息；获取来自于算法处理服务器的运算流程中各运算步骤对应的运算数据；根据运算数据及变量信息生成各第一运算节点对应的运算控制信息；根据第一节点标识将运算控制信息发送到第一运算节点；以使第一运算节点根据运算控制信息计算得到运算结果，并将运算结果根据第二节点标识发送至第二运算节点；获取最终运算节点计算得到最终结果。可以使运算步骤由多个运算节点进行，使每个运算节点都只能获取部分算法以及单个变量信息，而无法获取算法以及待处理信息的全貌，可以有效避免算法被破解，并避免待处理信息外泄。

【技术实现步骤摘要】
一种分布式数据处理方法及系统
本申请涉及数据处理
，尤其涉及一种分布式数据处理方法及系统。
技术介绍
为了能在数字资产领域很好的完成风险定价，新兴金融机构、传统金融机构都开始注重基于大数据的信用风险定价模型的开发和实施，甚至以此为基础，出现了很多专门进行这类模型设计并提供相关服务的金融科技公司，并在金融领域中占有越来越重要的地位。现有技术方案存在的问题，主要如下：1.模型的非授权使用问题若模型在数据提供方的环境中运行，导致数据提供方无需模型提供方的授权，随时可以使用模型。2.模型逻辑困难，容易被通过“倒推”而破解数据提供方拥有完整的模型运算过程，虽然这个过程可以是黑箱，但入参和出参对数据提供方来说是清晰的，即使是模型提供方通过增加“噪声”的方式进行一定程度的防破解，往往也不一定能完全做到不能破解。针对相关技术中存在的诸多技术问题，目前尚未提供有效的解决方案。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种分布式数据处理方法及系统。第一方本文档来自技高网...

【技术保护点】
1.一种分布式数据处理方法，其特征在于，包括：/n获取用于进行计算的待处理信息，所述待处理信息中包括至少两个变量信息；/n获取来自于算法处理服务器的运算流程中各运算步骤对应的运算数据，所述运算数据包括：所述运算步骤对应的运算法则、执行所述运算步骤的第一运算节点的第一节点标识以及用于接收所述运算步骤运算结果的第二运算节点的第二节点标识；/n根据所述运算数据及所述变量信息生成各第一运算节点对应的运算控制信息；/n根据所述第一节点标识将所述运算控制信息发送到所述第一运算节点；以使所述第一运算节点根据所述运算控制信息计算得到所述运算结果，并将所述运算结果根据所述第二节点标识发送至所述第二运算节点；/n...

【技术特征摘要】
1.一种分布式数据处理方法，其特征在于，包括：
获取用于进行计算的待处理信息，所述待处理信息中包括至少两个变量信息；
获取来自于算法处理服务器的运算流程中各运算步骤对应的运算数据，所述运算数据包括：所述运算步骤对应的运算法则、执行所述运算步骤的第一运算节点的第一节点标识以及用于接收所述运算步骤运算结果的第二运算节点的第二节点标识；
根据所述运算数据及所述变量信息生成各第一运算节点对应的运算控制信息；
根据所述第一节点标识将所述运算控制信息发送到所述第一运算节点；以使所述第一运算节点根据所述运算控制信息计算得到所述运算结果，并将所述运算结果根据所述第二节点标识发送至所述第二运算节点；
获取最终运算节点计算得到最终结果；其中，所述最终运算节点为所述运算流程中的最后一个运算节点。


2.根据权利要求1所述的方法，其特征在于：所述根据所述运算数据及所述变量信息生成各第一运算节点对应的运算控制信息，包括：
查询得到所述变量信息对应的算法序列，并根据所述变量信息以及对应的算法序列生成运算单元；
确定各个所述运算单元对应的所述运算数据；
根据所述运算数据及所述运算单元生成各第一运算节点对应的运算控制信息。


3.根据权利要求1所述的方法，其特征在于，所述根据所述第一节点标识将所述运算控制信息发送到所述第一运算节点，包括：
将所述运算控制信息按照预设的加密策略进行加密，得到加密信息；
将所述加密信息发送到所述第一运算节点，以使所述第一运算节点按照与所述加密策略对应的解密策略对所述加密信息进行解密，得到所述运算控制信息。


4.一种模型分割的数据处理方法，其特征在于，包括：
对目标模型进行分割，确定依次分割对应的运算法则以及分割得到的逻辑单元；
根据分割得到最小逻辑单元对应的所有所述运算法则，得到与所述最小逻辑单元对应的算法序列；
根据所述目标模型确定每个所述最小逻辑单元之间的逻辑关系信息；
根据所述算法序列、所述逻辑关系信息以及所述最小逻辑单元得到分割后子模型；
根据所述分割后子模型确定运算流程，以及所述运算流程中各运算步骤对应的运算数据，并将所述运算数据发送到分发平台，所述运算数据包括：所述运算步骤对应的运算法则、执行所述运算步骤的第一运算节点的第一节点标识以及用于接收所述运算步骤运算结果的第二运算节点的第二节点标识。


5.根据权利要求4所述的方法，其特征在于，所述根据分割得到最小逻辑单元对应的所有所述运算法则，得到与所述最小逻辑单元对应的算法序列，包括：
确定由所述目标模型分割得到所述最小逻辑单元依次依据的运算法则；
将每个所述最小逻辑单元对应的所述运算法则按分割的顺序排列，得到与每个所述最小逻辑单元对应的所述算法序列。


6.根据权利要求4所述的方法，其特征在于，所述根据所述算法序列、所述逻辑关系信息以及所述最小逻辑单元得到分割后子模型，包括：
根据每个所述最小逻辑单元的算法序列，确定每个所述最小逻辑单元的层级信息；
按照所述逻辑关系信息以及所述层级信息逐层确定每个所述最小逻辑单元的计算序号；
根据每个所述运算法则对应的碱基，得到与所述算法序列对应的碱基密码；其中，所述碱基包括至少一个字符；
根据每个所述最小逻辑单元的计算序号、碱基密码以及所述最小逻辑单元得到所述分割后子模型。


7.根据权利要求6所述的方法，其特征在于，所述根据每个所述运算法则对应的碱基，得到与所述算法序列对应的碱基密码，包括：
根据每个所述运算法则对应的碱基，得到与各个所述算法序列对应的第一碱基密码；
确定所有所述第一碱基密码中碱基数量最多的最长碱基密码；
根据所述最长碱基密码的最大碱基数量确定第二碱基密码的碱基补偿数量；其中，所述第二碱基密码是碱基数量少于所述最长碱基密码的第一碱基密码；
按照所述碱基补偿数量在所述第二碱基密码的最终运算法则的后端补充空逻辑碱基，以将第二碱基密码的碱基数量补偿至所述最大碱基数量，并得到补偿后第二碱基密码；所述最终运算法则是所述算法序列中最后一个运算法则；所述空逻辑碱基是不包含运算法则的碱基；
根据所述最长碱基密码以及补偿后第二碱基密码得到与各个所述算法序列对应的碱基密码。


8.根据权利要求4所述的方法，其特征在于，所述根据所述分割后子模型确定运算流程，以及所述运算流程中各运算步骤对应的运算数据，包括：
对所述逻辑关系信息进行解析，确定相互关联的各个所述逻辑单元；
根据所述相互关联的各个所述逻辑单元以及所述逻辑关系信息，得到所述运算流程；
根据所述算法序列，确定各个所述逻辑单元相互关联时对应的运算法则；
根据各个所述逻辑单...

【专利技术属性】
技术研发人员：王森，聂二保，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11