用户行为数据的文件式存储方法及装置制造方法及图纸
【技术实现步骤摘要】
用户行为数据的文件式存储方法及装置
本专利技术实施例涉及数据处理
，尤其涉及一种用户行为数据的文件式存储方法及装置。
技术介绍
在数据库系统中，日志模块包括日志管理模块以及日志文件模块，在对日志进行读写操作时，日志文件模块现有作法是将每一条日志的日志数据记录到日志，数据块一般被直接写入到磁盘位置，这样可以保存文件系统结构，防止崩溃。目前存在的问题是，写入服务器的磁盘位置的日志文件，其一个文件中可能包含数万件用户日志数据，服务器从磁盘中读取这些日志文件，需要一条条地读取，在读取的同时获取需要的用户行为数据写入内存，这过程用一个线程进行。在这个过程中，文件过程中对所述磁盘输入输出接口的限制，使得对所述文件的写入或读取操作受到限制，这些服务器的CPU利用率较低，如何提升在日志文件的读写时的CPU的利用率使得资源利用最大化是目前还没有任何一种方式或装置能够解决的问题。
技术实现思路
为了克服相关技术中存在的问题，本专利技术提供一种用户行为数据的文件式存储方法及装置，以实现在读取日志数据时的行为数据的读取和保存通过不同数量的线程进行以使资源利用最大化并提高效率。第一方面，...
【技术保护点】
一种用户行为数据的文件式存储方法，其特征在于，所述方法包括：在以单线程读取用户日志数据的同时，获取符合条件的用户行为数据；将所述用户行为数据写入内存；当所述用户日志数据所在的整个文件读取完成之后，将所述内存中保存的每一所述用户行为数据通过多线程的方式写入数据库。
【技术特征摘要】
1.一种用户行为数据的文件式存储方法，其特征在于，所述方法包括：在以单线程读取用户日志数据的同时，获取符合条件的用户行为数据；将所述用户行为数据写入内存；当所述用户日志数据所在的整个文件读取完成之后，将所述内存中保存的每一所述用户行为数据通过多线程的方式写入数据库。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述数据库的第一保存位置以及所述用户日志数据的第二保存位置；检测所述第一保存位置和所述第二保存位置是否相同；当所述第一保存位置和所述第二保存位置相同时，在一不同于所述第一保存位置的第三保存位置创建所述数据库以保存所述用户行为数据；当所述第一保存位置和所述第二保存位置不相同时，在所述第二保存位置创建所述数据库以保存所述用户行为数据。3.根据权利要求1或2所述的方法，其特征在于，在将所述内存中保存的每一所述用户行为数据通过多线程的方式写入数据库时，还包括：暂停读取用户日志数据的操作，同时暂停对用户日志数据所在保存位置的磁盘中的文件进行分析；将从所述内存中保存每一所述用户行为数据的多线程的数量提升至极限数量；通过该极限数量的多线程快速地将所述用户行为数据写入数据库。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述用户行为数据写入数据库之后，对所述数据库进行备份；当各备份到达预设周期之后，对到达预设周期的各备份进行删除操作。5.根据权利要求1所述的方法，其特征在于，所述用户日志数据以文件为单位保存于服务器的磁盘，每一文件由多条用户日志数据组成，在读取用户日志数据时，以单线程的方式每次读取一条所述用户日志数据。6.一种用户行为数据的文件式存储装置，其特征在于，所述装置包括：获取模块，用...
【专利技术属性】
技术研发人员：张金良，
申请(专利权)人：无锡天脉聚源传媒科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。