本发明专利技术提供一种分布式缓存方法、装置、电子设备及存储介质，涉及分布式存储技术领域，应用于分布式分层缓存系统，所述方法包括：接收电子设备发送的数据写入请求，所述数据写入请求中携带有待写入数据；响应所述数据写入请求，获取监测数据；根据所述监测数据确定所述待写入数据的目标缓存位置；通过纠删码编码方式得到所述待写入数据对应的校验数据，并将所述待写入数据和所述校验数据写入所述分布式分层缓存系统的目标缓存位置。通过本发明专利技术的方案，能够保证分布式数据存储的可靠性和分布式存储设备的读写性能，同时提高业务的覆盖写性能，提高数据恢复速度。提高数据恢复速度。提高数据恢复速度。
【技术实现步骤摘要】
分布式缓存方法、装置、电子设备及存储介质
[0001]本专利技术涉及分布式存储
，尤其涉及一种分布式缓存方法、装置、电子设备及存储介质。
技术介绍
[0002]随着大数据时代的快速发展，存储数据量呈现爆炸式增长。面对海量的数据存储高读写性能，低成本，高可靠性需求，对存储这些海量数据的存储设备、系统和方法提出了更高的要求。目前，通常的分布式的普通数据存储池存在读写性能不足，特别是在应对网络，主机，磁盘故障时，存在严重的性能问题。目前如何提高分布式数据存储的可靠性和分布式存储设备的读写性能是有待解决的问题。
技术实现思路
[0003]本专利技术实施例提供一种分布式缓存方法、装置、电子设备及存储介质，可以对目标终端的网络流量日志进行监控分析，以确定网络流量日志中的异常网络流量数据，并根据异常网络流量数据确定目标终端被攻击以及发起攻击的对象。
[0004]为达到上述目的，本专利技术采用如下技术方案：
[0005]第一方面，提供一种分布式缓存方法，应用于分布式分层缓存系统，所述方法包括：接收电子设备发送的数据写入请求，所述数据写入请求中携带有待写入数据；响应所述数据写入请求，获取监测数据；根据所述监测数据确定所述待写入数据的目标缓存位置；通过纠删码编码方式得到所述待写入数据对应的校验数据，并将所述待写入数据和所述校验数据写入所述分布式分层缓存系统的目标缓存位置。
[0006]根据第一方面所述的方法可知，本专利技术通过在电子设备发送数据写入请求后，获取所需的监测数据，根据监测数据来确定数据写入请求所携带的待写入数据的目标缓存位置，然后纠删码编码方式得到该待写入数据对应的校验数据，最后将所待写入数据和校验数据写入分布式分层缓存系统的目标缓存位置中，以此分布式数据存储的可靠性和分布式存储设备的读写性能，同时提高业务的覆盖写性能，提高数据恢复速度。
[0007]结合第一方面，在一种可能的设计方案中，所述根据所述监测数据确定所述待写入数据的目标缓存位置，包括：获取所述电子设备的当前场景和所述监测数据的时间戳；对所述监测数据进行回归训练，得到预测结果；根据所述预测结果、所述当前场景和所述时间戳确定所述待写入数据的目标缓存位置。
[0008]根据该可能的设计方案可知，通过对监测数据进行回归训练，得到预测结果，然后根据电子设备的当前场景、监测数据的时间戳和预测结果来确定待写入数据的目标缓存位置，以此确定在不同时刻、不同场景的待写入数据的最佳缓存策略，进而来提升读写性能。
[0009]结合第一方面，在一种可能的设计方案中，所述对所述监测数据进行回归训练，得到预测结果之前，还包括：对所述监测数据进行同趋化，得到目标监控数据；对所述目标监控数据进行分析，确定所述待写入数据的分布存储方式和所述待写入数据的回归问题；根
据所述分布存储方式和所述回归问题对所述监控数据进行回归训练。
[0010]根据可能的设计方案可知，通过对监控数据的预处理，以此来确定对监控数据进行回归训练的回归问题以及待写入数据的分布存储方式，以此来对监控数据进行训练，使得监测数据的回归训练更加准确。
[0011]结合第一方面，在一种可能的设计方案中，所述通过纠删码编码方式得到所述待写入数据对应的校验数据，并将所述待写入数据和所述校验数据写入所述分布式分层缓存系统的目标缓存位置，包括：对所述待写入数据和所述校验数据进行分片处理，得到多个目标待写入数据段和多个目标校验数据段；获取所述待写入数据段的缓存位置和所述校验数据段的存储位置；确定所述多个目标待写入数据段在所述分布式分层缓存系统覆盖写位置；根据所述覆盖写位置和所述缓存位置将所述多个目标待写入数据段写入至所述目标缓存位置，以及将所述多个目标校验数据段存放于所述存储位置。
[0012]根据可能的设计方案可知，通过对待写入数据和校验数据机芯分片处理，然后分片后的待写入数据的覆盖写位置来进分片后的待写入数据写入至所述目标缓存层位置，以及将检验数据写入至存储位置，以此使得减少需要读取的数据块/校验块的读写次数，进而提高数据的恢复速度。
[0013]结合第一方面，在一种可能的设计方案中，所述根据所述覆盖写位置和所述缓存位置将所述多个目标待写入数据段写入至所述目标缓存位置，包括：根据所述覆盖写位置确定分别确定所述多个待写入数据段各自在所述缓存位置对应的目标位置；分别将所述多个待写入数据按照各自对应的目标位置写入至所述目标缓存位置中。
[0014]根据可能的设计方案可知，本实施例能够在确定多个待写入数据段的覆盖写位置后，分别将各待写入数据段写入在目标缓存位置按照覆盖写位置上，以此保证待写入数据写入至目标缓存位置的准确性。
[0015]结合第一方面，在一种可能的设计方案中，所述对所述待写入数据和所述校验数据进行分片处理，包括：获取分片比例；根据所述分片比例确定所述待写入数据的分片长度；若所述待写入数据的数据长度与所述分片长度之间的比值与所述分片比例相等，根据所述分片比例对所述待写入数据和所述校验数据进行分片处理；若所述待写入数据的数据长度与所述分片长度之间的比值与所述分片比例不相等，则对所述待写入数据的末尾增加数据，以使根据所述待写入数据的数据长度与所述分片长度之间的比值与所述分片比例相等。
[0016]根据可能的设计方案可知，通过按照预设的分片比例将待写入数据和校验数据进行分段，并在待写入数据的长度与分片长度之间的比值与分片比例不同时，在待写入数据的末尾添加数据以保证待写入数据的长度与分片长度之间的比值与分片比例相同，保证待写入数据能够准确无误的被写入。
[0017]结合第一方面，在一种可能的设计方案中，所述监测数据包括所述分布式分层缓存系统的缓存容量数据、所述电子设备的网络数据、所述电子设备的磁盘数据以及与所述电子设备邻近的边缘设备的网络数据和磁盘数据。
[0018]第二方面，提供一种分布式缓存装置，应用于分布式分层缓存系统，所述装置包括：接收模块，用于接收电子设备发送的数据写入请求，所述数据写入请求中携带有待写入数据；监测数据获取模块，用于响应所述数据写入请求，获取监测数据；目标缓存位置确定
模块，用于根据所述监测数据确定所述待写入数据的目标缓存位置；写入模块，用于通过纠删码编码方式得到所述待写入数据对应的校验数据，并将所述待写入数据和所述校验数据写入所述分布式分层缓存系统的目标缓存位置。
[0019]此外，第二方面所述的分布式缓存装置的技术效果可以参考第一方面所述的分布式缓存方法的技术效果，此处不再赘述。
[0020]第三方面，本专利技术实施例提供了一种电子设备。该电子设备包括：处理器和存储器；该存储器用于存储计算机程序，当该处理器执行该计算机程序时，以使该电子设备执行第一方面中的任意一种实现方式所述的方法。
[0021]第四方面，本专利技术实施例提供了一种计算机可读存储介质，包括：计算机程序或指令；当该计算机程序或指令在计算机上运行时，使得该计算机执行第一方面中的任意一种可能的实现方式所述的方法。
附图说明<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式缓存方法，其特征在于，应用于分布式分层缓存系统，所述方法包括：接收电子设备发送的数据写入请求，所述数据写入请求中携带有待写入数据；响应所述数据写入请求，获取监测数据；根据所述监测数据确定所述待写入数据的目标缓存位置；通过纠删码编码方式得到所述待写入数据对应的校验数据，并将所述待写入数据和所述校验数据写入所述分布式分层缓存系统的目标缓存位置。2.根据权利要求1所述的方法，其特征在于，所述根据所述监测数据确定所述待写入数据的目标缓存位置，包括：获取所述电子设备的当前场景和所述监测数据的时间戳；对所述监测数据进行回归训练，得到预测结果；根据所述预测结果、所述当前场景和所述时间戳确定所述待写入数据的目标缓存位置。3.根据权利要求2所述的方法，其特征在于，所述对所述监测数据进行回归训练，得到预测结果之前，所述方法还包括：对所述监测数据进行同趋化，得到目标监控数据；对所述目标监控数据进行分析，确定所述待写入数据的分布存储方式和所述待写入数据的回归问题；根据所述分布存储方式和所述回归问题对所述监控数据进行回归训练。4.根据权利要求1所述的方法，其特征在于，所述通过纠删码编码方式得到所述待写入数据对应的校验数据，并将所述待写入数据和所述校验数据写入所述分布式分层缓存系统的目标缓存位置，包括：对所述待写入数据和所述校验数据进行分片处理，得到多个目标待写入数据段和多个目标校验数据段；获取所述待写入数据段的缓存位置和所述校验数据段的存储位置；确定所述多个目标待写入数据段在所述分布式分层缓存系统覆盖写位置；根据所述覆盖写位置和所述缓存位置将所述多个目标待写入数据段写入至所述目标缓存位置，以及将所述多个目标校验数据段存放于所述存储位置。5.根据权利要求4所述的方法，其特征在于，所述根据所述覆盖写位置和所述缓存位置将所述多个目标待写入数据段写入至所述目标缓存位置，包括：根据所述覆盖写位置确定分别确定所述多个待写入数据段各自在所述缓存位置对应的目标位置...
【专利技术属性】
技术研发人员：刘汪洋，林洁琬，黄鹄，黄润怀，孔令升，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。