数据处理方法、装置、计算机可读存储介质和处理器制造方法及图纸

技术编号:32351737 阅读:15 留言:0更新日期:2022-02-20 02:21
本发明专利技术公开了一种数据处理方法、装置、计算机可读存储介质和处理器。其中,该方法包括:从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。本发明专利技术解决了无法保证数据模型有效训练同时还保证数据的安全性的技术问题。时还保证数据的安全性的技术问题。时还保证数据的安全性的技术问题。

【技术实现步骤摘要】
数据处理方法、装置、计算机可读存储介质和处理器


[0001]本专利技术涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、计算机可读存储介质和处理器。

技术介绍

[0002]目前,在通过数据训练数据模型时,有些数据的安全是特别需要保护的,比如,隐私数据,而这些数据无法直接提供改算法开发者进行使用。
[0003]在相关技术中,通常会将需要保护的数据转换成无法肉眼识别的特征数据,再将其提供给算法工程师使用。可是在一些情况下,还必须使用到未处理的数据进行模型训练,从而无法无法保证数据模型有效训练同时还保证数据的安全性。
[0004]针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种数据处理方法、装置、计算机可读存储介质和处理器,以至少解决无法保证数据模型有效训练同时还保证数据的安全性的技术问题。
[0006]根据本专利技术实施例的一个方面,提供了一种数据处理方法。该方法可以包括:从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;基于目标资源对训练数据进行训练,得到目标数据模型。
[0007]根据本专利技术实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:在共享存储系统具有只读属性的情况下,获取目标资源;将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值。
[0008]根据本专利技术实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:确定训练数据;将训练数据发送至第二类型系统,其中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,共享存储系统具有只读属性。
[0009]根据本专利技术实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:在目标界面上显示目标资源,其中,目标资源从共享存储系统获取,共享存储系统具有只读属性;在目标界面上显示训练数据,其中,训练数据从数据中心获取,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;输出目标数据模型,其中,目标数据模型为基于目标资源对训练数据进行训练得到。
[0010]根据本专利技术实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:从交易平台获取交易对象的目标交易数据;基于目标数据模型对目标交易数据进行分析,
得到交易对象的交易结果,其中,目标数据模型为基于目标资源对媒体训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,媒体训练数据从数据中心获取,获取到的媒体训练数据禁止导出至非授权位置,且媒体训练数据的安全级别高于目标阈值;向交易平台输出交易结果。
[0011]根据本专利技术实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:从媒体播放平台获取目标媒体数据;基于目标数据模型对目标媒体数据进行分析,得到媒体播放结果,其中,目标数据模型为基于目标资源对训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,训练数据从数据中心获取,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;向媒体播放平台输出媒体播放结果。
[0012]根据本专利技术实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:从直播平台获取直播对象的目标直播数据;基于目标数据模型对目标直播数据进行分析,得到直播对象的直播结果,其中,目标数据模型为基于目标资源对直播训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,直播训练数据从数据中心获取,获取到的直播训练数据禁止导出至非授权位置,且直播训练数据的安全级别高于目标阈值;向直播平台输出直播结果。
[0013]根据本专利技术实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:获取人脸识别平台获取人脸图像数据;基于目标数据模型对人脸图像数据进行识别,得到人脸识别结果,其中,目标数据模型为基于目标资源对人脸训练数据进行训练得到,目标资源从共享存储系统获取,共享存储系统具有只读属性,人脸训练数据从数据中心获取,获取到的人脸训练数据禁止导出至非授权位置,且人脸训练数据的安全级别高于目标阈值;向人脸识别平台输出人脸识别结果。
[0014]根据本专利技术实施例的另一方面,还提供了一种数据处理系统。该系统可以包括:第一类型系统,用于获取目标资源;共享存储系统,与第一类型系统相连接,用于存储目标资源,其中,共享存储系统具有只读属性;数据中心,用于存储训练数据,其中,训练数据的安全级别高于目标阈值;第二类型系统,与共享存储系统和数据中心相连接,用于基于获取到的目标资源对获取到的训练数据进行训练,得到目标数据模型,其中,获取到的训练数据禁止导出至非授权位置。
[0015]根据本专利技术实施例的另一方面,还提供了一种数据处理装置。该装置可以包括:第一获取单元,用于从共享存储系统获取目标资源,其中,共享存储系统具有只读属性;第二获取单元,用于从数据中心获取训练数据,其中,获取到的训练数据禁止导出至非授权位置,且训练数据的安全级别高于目标阈值;训练单元,用于基于目标资源对训练数据进行训练,得到目标数据模型。
[0016]根据本专利技术实施例的另一方面,还提供了另一种数据处理装置。该装置可以包括:第三获取单元,用于在共享存储系统具有只读属性的情况下,获取目标资源;第一发送单元,用于将目标资源发送至第二类型系统,其中,目标资源用于使第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值。
[0017]根据本专利技术实施例的另一方面,还提供了另一种数据处理装置。该装置可以包括:
确定单元,用于确定训练数据;第二发送单元,用于将训练数据发送至第二类型系统,其中,训练数据禁止由第二类型系统中导出至非授权位置,且训练数据的安全级别高于目标阈值,训练数据由第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,共享存储系统具有只读属性。
[0018]根据本专利技术实施例的另一方面,还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序,其中,在程序被处理器运行时控制计算机可读存储介质所在设备执行本专利技术实施例的数据处理方法。
[0019]根据本专利技术实施例的另一方面,还提供了一种处理器。该处理器用于运行程序,其中,程序运行时执行本专利技术实施例的数据处理方法。
[0020]根据本专利技术实施例的另一方面,还提供了一种数据处理系统。该数据处理系统包括:处理器;存储器,与处理器相连接,用于为处理器提供处理以下处理步骤的指令:从共本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:从共享存储系统获取目标资源,其中,所述共享存储系统具有只读属性;从数据中心获取训练数据,其中,获取到的所述训练数据禁止导出至非授权位置,且所述训练数据的安全级别高于目标阈值;基于所述目标资源对所述训练数据进行训练,得到目标数据模型。2.根据权利要求1所述的方法,其特征在于,基于所述目标资源对所述训练数据进行训练,得到目标数据模型,包括:将所述训练数据和所述目标资源发送至云虚拟主机,其中,所述训练数据由所述云虚拟主机基于所述目标资源对所述训练数据进行训练,得到所述目标数据模型,所述云虚拟主机已授权且用于保证所述训练数据在训练过程中的安全性。3.根据权利要求1所述的方法,其特征在于,所述目标资源包括:辅助数据和/或目标软件,其中,所述辅助数据用于辅助训练所述训练数据,所述目标软件为对所述训练数据进行训练所使用的软件。4.根据权利要求3所述的方法,其特征在于,基于所述目标资源对所述训练数据进行训练,得到目标数据模型,包括:基于所述辅助数据和/或经过初始化后的所述目标软件,对所述训练数据进行训练,得到所述目标数据模型。5.根据权利要求1所述的方法,其特征在于,所述目标资源由第一类型系统存储至所述共享存储系统,其中,所述第一类型系统允许与外部网络的系统进行通信,所述共享存储系统以可读属性和可写属性挂载至所述第一类型系统。6.根据权利要求1所述的方法,其特征在于,从共享存储系统获取目标资源,包括:在第二类型系统中,从挂载至所述第二类型系统的所述共享存储系统获取所述目标资源,其中,所述第二类型系统禁止与外部网络的系统进行通信。7.根据权利要求6所述的方法,其特征在于,从数据中心获取训练数据,包括:将所述数据中心的所述训练数据存储至所述第二类型系统中的目标存储位置。8.根据权利要求1所述的方法,其特征在于,基于所述目标资源对所述训练数据进行训练,得到目标数据模型,包括:建立第二类型系统与已授权的云虚拟主机之间的通信连接,其中,所述第二类型系统禁止与除所述云虚拟主机之外的外部网络的系统进行通信;基于所述通信连接将所述训练数据和所述目标资源从所述第二类型系统中发送至所述云虚拟主机,其中,所述训练数据由所述云虚拟主机基于所述目标资源对所述训练数据进行训练,得到所述目标数据模型,所述云虚拟主机用于保证所述训练数据在训练过程中的安全性。9.根据权利要求1至5中任意一项所述的方法,其特征在于,在基于所述目标资源对所述训练数据进行训练,得到目标数据模型之后,所述方法还包括:将以下至少之一通过所述数据中心发送至目标设备:所述目标数据模型、所述训练数据、所述目标资源。10.一种数据处理方法,其特征在于,包括:在共享存储系统具有只读属性的情况下,获取目标资源;
将所述目标资源发送至第二类型系统,其中,所述目标资源用于使所述第二类型系统对从数据中心中获取到的训练数据进行训练,以得到目标数据模型,所述训练数据禁止由所述第二类型系统中导出至非授权位置,且所述训练数据的安全级别高于目标阈值。11.根据权利要求10所述的方法,其特征在于,所述第二类型系统禁止与外部网络的系统进行通信。12.根据权利要求10所述的方法,其特征在于,获取所述目标资源,包括:从第一类型系统中获取所述目标资源,其中,所述第一类型系统允许与外部网络的系统进行通信,且所述共享存储系统以可读属性和可写属性挂载至所述第一类型系统。13.根据权利要求10至12中任意一项所述的方法,其特征在于,所述目标资源包括:辅助数据和/或目标软件,其中,所述辅助数据用于辅助训练所述训练数据,所述目标软件为对所述训练数据进行训练所使用的软件。14.一种数据处理方法,其特征在于,包括:确定训练数据;将所述训练数据发送至第二类型系统,其中,所述训练数据禁止由所述第二类型系统中导出至非授权位置,且所述训练数据的安全级别高于目标阈值,所述训练数据由所述第二类型系统基于从共享存储系统获取的目标资源进行训练,以得到目标数据模型,所述共享存储系统具有只读属性。15.根据权利要求14所述的方法,其特征在于,所述第二类型系统禁止与外部网络的系统进行通信。16.根据权利要求10所述的方法,其特征在于,所述目标资源由所述第二类型系统从第一类型系统中获取,其中,所述第一类型系统允许与外部网络的系统进行通信,且所述共享存储系统以可读属性和可写属性挂载至所述第一类型系统。17.根据权利要求14至16中任意一项所述的方法,其特征在于,所述目标资源包括:辅助数据和/或目标软件,其中,所述辅助数据用于辅助训练所述训练数据,所述目标软件为对所述训练数据进行训练所使用的软件。18.一种数据处理方法,其特征在于,包括:在目标界面上显示目标资源,其中,所述目标资源从共享存储系统获取,所述共享存储系统具有只读属性;在所述目标界面上显示训练数据,其中,所述训练数据从数据中心获取,获取到的所述训练数据禁止导出至非授权位置,且所述训练数据的安全级别高于目标阈值;输出目标数据模型,其中,所述目标数据模型为基于所述目标资源对所述训练数据进行训练得到。19.根据权利要求18所述的方法,其特征在于,在输出所述目标数据模型之前,所述方法还包括:响应作用在所述目标界面上的目标操作指令,将所述训练数据和所述目标资源发送至云虚拟主机,其中,所述训练数据由所述云虚拟主机基于所述目标资源对所述训练数据进行训练,得到所述目...

【专利技术属性】
技术研发人员:严林周李峰孟涛
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1