一种数据交易方法及装置制造方法及图纸

本发明专利技术涉及图像处理领域，具体提供了一种数据交易方法及装置，集成交易框架和开源隐私计算框架secretflow后实现数据隐私交易，数据结构包括标签列和特征列，所述标签列表示用户行为，所述特征列表示隐私的行为或固有特征属性；所述secretflow框架实现过程如下：S1、启动ray计算框架，设定ip，端口；S2、初始化明文计算设备PYU；S3、将所述PYU转化为SPU进行计算；S4、创建联邦表；S5、数据预处理；S6、构建HEU和SecureAggregator用于后续训练；S7、开始训练模型；S8、使用模型进行预测。与现有技术相比，本发明专利技术实现数据隐私交易，既保护用户数据安全，又使用户数据得以创造价值。又使用户数据得以创造价值。又使用户数据得以创造价值。

【技术实现步骤摘要】
一种数据交易方法及装置


[0001]本专利技术涉及图像处理领域，具体提供一种数据交易方法及装置。

技术介绍

[0002]随着数字经济的发展，数据要素重要性的确立和数据基础设施、数据法律法规、数据交易生态不够完善之间的矛盾日益凸显，究其原因如下：
[0003]医院、中小金融机构，基础设施不够完善，信息化还没有做好，业务还没有数据化，数据沉淀还不够多，哪怕已经有一些数据，但分布于不同的部门，存储于不同的基础架构，手工台账和Excel并存。近几年，多方面因素的共同作用下，现状已经有所改善。
[0004]基础设施具备以后，又迎来了越来越严格的合规和监管，个人隐私保护等法规的逐步健全，明文传输的明文传输个人隐私数据的商业模式渐渐的被取代。
[0005]大家都意识到数据的重要性，所以把数据看作自己最重要的资产，不愿意和其他机构分享数据。在某些金融机构内部，不同部门之间的数据并没有做到交互，隐私计算的核心，能力在于让数据可用不可见，让数据不动模型动。
[0006]希望能够让各方在数据不离开本地数据库的前提下，完成数据的交互，碰撞和建模。所以，隐私计算在数据基础设施逐渐完善，解决大家不能给的前提下，一方面保护了传输的数据的私密性，解决大家不敢给的困境，另一方面保护了数据所有机构的资产安全，打消大家不愿给的顾虑，是兼顾当下解决数字经济发展和隐私保护的最佳方案。

技术实现思路

[0007]本专利技术是针对上述现有技术的不足，提供一种实用性强的数据交易方法。
[0008]本专利技术进一步的技术任务是提供一种设计合理，安全适用的数据交易装置。
[0009]本专利技术解决其技术问题所采用的技术方案是：
[0010]一种数据交易方法，集成交易框架和开源隐私计算框架secretflow后实现数据隐私交易，数据结构包括标签列和特征列，所述标签列表示用户行为，所述特征列表示隐私的行为或固有特征属性；
[0011]所述secretflow框架实现过程如下：
[0012]S1、启动ray计算框架，设定ip，端口；
[0013]S2、初始化明文计算设备PYU；
[0014]S3、将所述PYU转化为SPU进行计算；
[0015]S4、创建联邦表；
[0016]S5、数据预处理；
[0017]S6、构建HEU和SecureAggregator用于后续训练；
[0018]S7、开始训练模型；
[0019]S8、使用模型进行预测。
[0020]进一步的，在步骤S1中，启动ray计算框架，设定ip，端口，并为worker节点设定好
header节点的ip和端口。
[0021]进一步的，在步骤S2中，在启动secretflow之前需要先将ray集群启动，之后在header节点和worker节点上各自执行，为节点分别创建使用PYU。
[0022]进一步的，在步骤S3中，将所述PYU添加进SPU的节点列表，并定义加密协议参数，完成SPU构建，构建完成后，需要进行处理的数据pyobject将被PYU传入SPU进行密文计算。
[0023]进一步的，在步骤S4中，联合表是使用SPU构建的，MPC
‑
PSI安全地获取来自各方的交集和对齐数据，需要构建MixDataFrame形式的x和y，MixDataFrame由HDataFrame或者VDataFrame列表构成。
[0024]进一步的，在步骤S5中，根据生产环境的情况调用框架工具进行处理，选择ECDH或KKRT算法进行样本对齐，之后可将求交之后的结果保存至VDataFrame，如样本中含有部分可能影响计算结果的错误值或者空白值，使用值替换和缺失值填充进行补充样本。
[0025]进一步的，在步骤S6中，构建HEU和SecureAggregator，设定参数mode和he_parameters用于后续训练；
[0026]在步骤S7中，使用secretflow优化过得sfxgboost模型，在训练之前将数据分为多个训练集和测试集，使用多个训练集进行多次训练，在测试集上进行测试直到模型收敛，获得模型；
[0027]在步骤S8中，使用模型进行预测，获取auc和准确率acc，获取到所需模型后完成交易。
[0028]一种数据交易装置，包括：至少一个存储器和至少一个处理器；
[0029]所述至少一个存储器，用于存储机器可读程序；
[0030]所述至少一个处理器，用于调用所述机器可读程序，执行一种数据交易方法。
[0031]本专利技术的一种数据交易方法及装置和现有技术相比，具有以下突出的有益效果：
[0032]本专利技术实现数据隐私交易，既保护用户数据安全，又使用户数据得以创造价值。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]附图1是一种数据交易方法的框架示意图。
具体实施方式
[0035]为了使本
的人员更好的理解本专利技术的方案，下面结合具体的实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。
[0036]下面给出一个最佳实施例：
[0037]如图1所示，本实施例中的一种数据交易方法，数据交易部分由于跟传统交易平台无太大差异，可在获得开源交易框架的商用授权后直接改造使用，本专利技术在于集成交易框
架和开源隐私计算框架secretflow后可实现数据隐私交易，下面将讲述使用secretflow实现隐私计算的流程。
[0038]假设有五家银行A B C D E，五家银行各自拥有一些用户敏感个人信息，且拥有他们是否购买了某种目标产品的结论，需要一个模型来判断某个将来的用户可能会购买此目标产品的概率。由于用户信息的敏感性和数据安全考虑，数据不可交流。但又需要更多的样本来完善模型的可靠度，此时就需要使用隐私计算框架来完成这个模型的构建。
[0039]假设有五家银行A B C D E，其数据结构如表所示：
[0040]标签列特征1～特征10特征11～特征20特征21～特征30BANK_A_y0BANK_A_x0BANK_B_x0BANK_C_xBANK_A_y1BANK_A_x1BANK_B_x1BANK_D_xBANK_A_y2BANK_A_x2BANK_B_x2BANK_E_x
[0041]标签列表示用户行为，如例子中意味着用户购买了某种金融产品，而特征表示用户的某些隐私的行为或固有特征属性，其中BANK_A掌握着用户的特征1
‑<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据交易方法，其特征在于，集成交易框架和开源隐私计算框架secretflow后实现数据隐私交易，数据结构包括标签列和特征列，所述标签列表示用户行为，所述特征列表示隐私的行为或固有特征属性；所述secretflow框架实现过程如下：S1、启动ray计算框架，设定ip，端口；S2、初始化明文计算设备PYU；S3、将所述PYU转化为SPU进行计算；S4、创建联邦表；S5、数据预处理；S6、构建HEU和SecureAggregator用于后续训练；S7、开始训练模型；S8、使用模型进行预测。2.根据权利要求1所述的一种数据交易方法，其特征在于，在步骤S1中，启动ray计算框架，设定ip，端口，并为worker节点设定好header节点的ip和端口。3.根据权利要求2所述的一种数据交易方法，其特征在于，在步骤S2中，在启动secretflow之前需要先将ray集群启动，之后在header节点和worker节点上各自执行，为节点分别创建使用PYU。4.根据权利要求3所述的一种数据交易方法，其特征在于，在步骤S3中，将所述PYU添加进SPU的节点列表，并定义加密协议参数，完成SPU构建，构建完成后，需要进行处理的数据pyobject将被PYU传入SPU进行密文计算。5.根据权利要求4所述的一种数据交易方法，其特征在于，在步骤S4中，联合表是...

【专利技术属性】
技术研发人员：李汉铮，单震，谢传家，费振玉，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：