本申请公开了一种数据文件加密方法、装置、计算设备及存储介质，该方法包括：接收数据文件的文件上传请求，将数据文件的多个数据分片分别存入分布式存储系统中的多个数据节点中；获取数据文件的任一数据分片所存入的数据节点的负载信息；根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象；若确定执行加密处理的对象为该数据分片所存入的数据节点，控制数据节点对该数据分片进行加密处理。通过上述方式，只需要数据节点动态地预留一部分计算资源，在数据节点负载较低的情况下，在数据节点完成数据分片的加密处理，而无需将数据分片加载到外部计算节点进行加密处理，能够节省网络带宽资源，能够避免数据节点吞吐量过大的情况。点吞吐量过大的情况。点吞吐量过大的情况。
【技术实现步骤摘要】
数据文件加密方法、装置、计算设备及存储介质
[0001]本申请涉及数据处理
，具体涉及一种数据文件加密方法、装置、计算设备及存储介质。
技术介绍
[0002]为了确保文件上传到分布式存储系统后数据没有错误或者被篡改，通常需要经过加密算法对文件进行加密。目前，业内通常采取存算分离的方式进行数据加密，存算分离是指存储节点和计算节点相互独立，存储节点专用于存储数据，计算节点专用于加密计算，因此首先需要从存储系统中拉取数据，再通过存储系统的网关发送到计算节点上，由计算节点对拉取的数据进行加密，存算分离方式的优点是业务解耦。但是，存算分离的方式还存在许多不足，包括加密处理效率较低、网络带宽资源消耗大、数据节点的吞吐加重等问题。
技术实现思路
[0003]本申请实施例的目的是提供一种数据文件加密方法、装置、计算设备及存储介质，以解决上述存算分离的方式所导致的加密处理效率低、网络带宽消耗大、数据节点的吞吐量加重等问题。
[0004]根据本申请的一个方面，提供了一种数据文件加密方法，包括：
[0005]接收数据文件的文件上传请求，将数据文件的多个数据分片分别存入分布式存储系统中的多个数据节点中；
[0006]获取数据文件的任一数据分片所存入的数据节点的负载信息；
[0007]根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象；
[0008]若确定执行加密处理的对象为该数据分片所存入的数据节点，控制数据节点对该数据分片进行加密处理。
[0009]可选地，在确定执行加密处理的对象之后，方法进一步包括：
[0010]若确定执行加密处理的对象为计算节点，控制计算节点从数据节点读取该数据分片并加载到计算节点本地以对该数据分片进行加密处理。
[0011]可选地，接收数据文件的文件上传请求之前，方法还包括：
[0012]接收通过断点续传的方式所上传的数据文件的多个数据分片；
[0013]其中，多个数据分片是按照第一预定大小对数据文件分割而生成。
[0014]可选地，负载信息包括：CPU负载信息和/或磁盘负载信息；
[0015]根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象进一步包括：
[0016]在该数据分片所存入的数据节点的CPU负载信息低于第一预设值和/或磁盘负载信息低于第二预设值的情况下，确定执行加密处理的对象为数据节点；
[0017]在该数据分片所存入的数据节点的CPU负载信息高于第一预设值和/或磁盘负载信息高于第二预设值的情况下，确定执行加密处理的对象为计算节点。
[0018]可选地，控制数据节点对该数据分片进行加密处理进一步包括：
[0019]创建第一计算任务，将第一计算任务发送给数据节点，以供数据节点运行第一计算任务；其中，第一计算任务用于对该数据分片进行加密处理。
[0020]可选地，控制计算节点从数据节点读取该数据分片并加载到计算节点本地以对该数据分片进行加密处理进一步包括：
[0021]创建第二计算任务，将第二计算任务发送给计算节点，以供计算节点运行第二计算任务；其中，第二计算任务用于从数据节点读取该数据分片并加载到计算节点本地并对该数据分片进行加密处理。
[0022]可选地，对该数据分片进行加密处理进一步包括：
[0023]根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理，得到该数据分片的加密处理结果；
[0024]其中，若该数据分片为数据文件中的第1个数据分片，该数据分片的前一数据分片的加密处理结果为预设加密处理结果。
[0025]可选地，若该数据分片为数据文件中的第1个数据分片，根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理，得到该数据分片的加密处理结果进一步包括：
[0026]若该数据分片的数据的大小是第二预定大小的整数倍，按照第二预定大小对该数据分片进行分组，得到多个分组；若该数据分片的数据的大小不是第二预定大小的整数倍，按照第二预定大小对该数据分片进行分组，得到多个分组和尾部数据；
[0027]根据多个分组以及预设加密处理结果进行加密运算，得到散列中间结果。
[0028]可选地，若该数据分片为除了第1个数据分片之外的其他任一数据分片，根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理进一步包括：
[0029]在前一数据分片的加密处理结果包括散列中间结果以及尾部数据的情况下，将前一数据分片对应的尾部数据与该数据分片的数据进行拼接；根据拼接得到的数据以及前一数据分片对应的散列中间结果进行加密处理，得到该数据分片的加密处理结果；
[0030]在前一数据分片的加密处理结果包括散列中间结果但不包括尾部数据的情况下，根据该数据分片的数据以及前一数据分片对应的散列中间结果进行加密处理，得到该数据分片的加密处理结果。
[0031]可选地，方法还包括：
[0032]提取数据文件的最后一个数据分片的加密处理结果中包含的散列中间结果，将提取的散列中间结果保存为数据文件的加密处理结果。
[0033]可选地，在确定执行加密处理的对象为计算节点之后，方法还包括：
[0034]根据计算节点集群中各个计算节点的负载信息，从计算节点集群中筛选出目标计算节点；
[0035]控制计算节点从数据节点读取该数据分片并加载到计算节点本地以对该数据分片进行加密处理进一步包括：
[0036]控制目标计算节点从数据节点读取该数据分片并加载到计算节点本地以对该数据分片进行加密处理。
[0037]根据本申请的另一方面，提供了一种数据文件加密装置，包括：
[0038]获取模块，适于接收数据文件的文件上传请求，将数据文件的多个数据分片分别存入分布式存储系统中的多个数据节点中；
[0039]决策模块，适于获取数据文件的任一数据分片所存入的数据节点的负载信息；根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象；
[0040]处理模块，适于若确定执行加密处理的对象为该数据分片所存入的数据节点，控制数据节点对该数据分片进行加密处理。
[0041]可选地，处理模块进一步适于：若确定执行加密处理的对象为计算节点，控制计算节点从数据节点读取该数据分片并加载到计算节点本地以对该数据分片进行加密处理。
[0042]可选地，装置还包括：文件接收模块，适于接收通过断点续传的方式所上传的数据文件的多个数据分片；其中，多个数据分片是按照第一预定大小对数据文件分割而生成。
[0043]可选地，负载信息包括：CPU负载信息和/或磁盘负载信息；决策模块进一步适于：
[0044]在该数据分片所存入的数据节点的CPU负载信息低于第一预设值和/或磁盘负载信息低于第二预设值的情况下，确定执行加密处理的对象为数据节点；在该数据分片所存入的数据节点的CPU负载信息高于第一预设值和/本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据文件加密方法，包括：接收数据文件的文件上传请求，将所述数据文件的多个数据分片分别存入分布式存储系统中的多个数据节点中；获取所述数据文件的任一数据分片所存入的数据节点的负载信息；根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象；若确定执行加密处理的对象为该数据分片所存入的数据节点，控制所述数据节点对该数据分片进行加密处理。2.根据权利要求1所述的方法，其中，在所述确定执行加密处理的对象之后，所述方法进一步包括：若确定执行加密处理的对象为计算节点，控制所述计算节点从所述数据节点读取该数据分片并加载到所述计算节点本地以对该数据分片进行加密处理。3.根据权利要求1或2所述的方法，其中，所述接收数据文件的文件上传请求之前，所述方法还包括：接收通过断点续传的方式所上传的数据文件的多个数据分片；其中，所述多个数据分片是按照第一预定大小对数据文件分割而生成。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述负载信息包括：CPU负载信息和/或磁盘负载信息；所述根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象进一步包括：在该数据分片所存入的数据节点的CPU负载信息低于第一预设值和/或磁盘负载信息低于第二预设值的情况下，确定执行加密处理的对象为所述数据节点；在该数据分片所存入的数据节点的CPU负载信息高于第一预设值和/或磁盘负载信息高于第二预设值的情况下，确定执行加密处理的对象为计算节点。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述控制所述数据节点对该数据分片进行加密处理进一步包括：创建第一计算任务，将所述第一计算任务发送给所述数据节点，以供所述数据节点运行所述第一计算任务；其中，所述第一计算任务用于对该数据分片进行加密处理。6.根据权利要求2
‑
5中任一项所述的方法，其中，所述控制所述计算节点从所述数据节点读取该数据分片并加载到所述计算节点本地以对该数据分片进行加密处理进一步包括：创建第二计算任务，将所述第二计算任务发送给计算节点，以供所述计算节点运行所述第二计算任务；其中，所述第二计算任务用于从所述数据节点读取该数据分片并加载到所述计算节点本地并对该数据分片进行加密处理。7.根据权利要求1
‑
6中任一项所述的方法，其中，所述对该数据分片进行加密处理进一步包括：根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理，得到该数据分片的加密处理结果；其中，若该数据分片为所述数据文件中的第1个数据分片，该数据分片的前一数据分片的加密处理结果为预设加密处理结果。8.根据权利要求7所述的方法，其中，若该数据分片为所述数据文件中的第1个数据分
片，根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理，得到该...
【专利技术属性】
技术研发人员：梁松涛，罗小凡，缪春锴，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。