数据写入方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了数据写入方法、装置及电子设备，应用于对象存储系统中的日志处理端，对象存储系统还包括代理集群，日志处理端与代理集群相通信，该方法包括：持续接收代理集群发送的各个数据请求对应的原始信息，其中，每一数据请求对应的原始信息为：代理集群基于所接收的数据请求所生成的、用于生成日志条目数据的信息；针对每一数据请求，基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据，其中，每一日志条目数据包括各个字段数据，每个字段数据的字段标识为预设字段标识；将各个数据请求对应的日志条目数据写入日志数据库。通过本方案，可以避免代理集群的性能下降。的性能下降。的性能下降。

【技术实现步骤摘要】
数据写入方法、装置及电子设备


[0001]本专利技术涉及数据处理
，特别是涉及数据写入方法、装置及电子设备。

技术介绍

[0002]对象存储系统为用户提供基于网络的数据存取服务。通过对象存储系统，用户可以通过网络方便地存储和获取图片、音频、视频、文本等各类数据文件。其中，对象存储系统可以将用户上传的数据文件以对象(Object)的形式组织到存储空间(Bucket)里，然后提供地址(域名)给用户用于分享或下载数据文件。
[0003]上述对象存储系统一般基于代理集群(如Nginx)实现数据访问。现有技术中，代理集群用于接收来自客户端的数据请求，并将数据请求分发给对象存储服务器以获取数据请求对应的请求结果，同时代理集群还用于针对接收到的数据请求生成日志条目数据，并负责将生成的日志条目数据写入日志服务器中的日志数据库。
[0004]然而，在高并发场景下，由于代理集群在接收和分发大量的数据请求的同时，针对每一数据请求均需要生成并存储日志数据，使得代理集群的性能下降严重。

技术实现思路

[0005]本专利技术实施例的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据写入方法，其特征在于，应用于对象存储系统中的日志处理端，所述对象存储系统还包括代理集群，所述日志处理端与所述代理集群相通信，所述方法包括：持续接收所述代理集群发送的各个数据请求对应的原始信息，其中，每一数据请求对应的原始信息为：所述代理集群基于所接收的数据请求所生成的、用于生成日志条目数据的信息；针对每一数据请求，基于该数据请求对应的原始信息，生成该数据请求对应的日志条目数据，其中，每一日志条目数据包括各个字段数据，每个字段数据的字段标识为预设字段标识；将各个数据请求对应的日志条目数据写入日志数据库。2.根据权利要求1所述的方法，其特征在于，所述将各个数据请求对应的日志条目数据写入日志数据库，包括：将各个数据请求对应的日志条目数据写入至少一个日志文件，其中，每一日志文件用于写入符合预定汇总条件的日志条目数据，所述预定汇总条件包括：生成时间属于同一时间粒度，或所对应数据请求的接收时间属于同一时间粒度；在所述日志数据库中，存储所述至少一个日志文件。3.根据权利要求2所述的方法，其特征在于，所述在所述日志数据库中，存储所述至少一个日志文件之前，所述方法还包括：对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件；其中，所述修正处理包括：若日志条目数据中目标字段数据的字段内容，与所述目标字段数据对应的实际内容不同，将所述目标字段数据的字段内容修改为所述目标字段数据对应的存储内容；其中，所述目标字段数据对应的实际内容为：所述目标字段数据所属日志条目数据对应的数据请求所针对数据，在对象存储系统中的存储内容。4.根据权利要求3所述的方法，其特征在于，所述对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件，包括：通过至少一个运行实例，对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件。5.根据权利要求4所述的方法，其特征在于，所述至少一个运行实例的数量为多个，不同运行实例对应不同的条目位置范围；所述通过至少一个运行实例，对所述日志文件中的各日志条目数据进行修正处理，得到修正后的日志文件，包括：通过所述多个运行实例中的每一运行实例，对所述日志文件中的、与该运行实例...

【专利技术属性】
技术研发人员：张健，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：