一种用户行为审计方法及文件存储方法技术

本发明专利技术公开一种用户行为审计方法及文件存储方法，由于将同一类型文件合并放入一个大的存储空间，同时消除该类型文件的统一文件类型描述信息，从而降低文件的大小，另外，由于海量用户行为数据文件使用同一个文件类型描述信息作为文件卷的元信息描述，可解决现有技术中文件系统元数据管理低下的问题，而且对同一文件类型的用户行为数据文件进行合并存储，所以在读写文件时，可以有效控制文件打开数量，对于连续文件的读写，不需要重复执行文件打开系统调用，从而大大降低了系统消耗，提高文件读取效率。对于随机文件的读写，由于可以同时打开多个合并存储的文件，同样能够大大降低文件打开系统调用消耗，从而提高文件读取效率。

【技术实现步骤摘要】
一种用户行为审计方法及文件存储方法
本专利技术涉及信息安全领域，具体而言，本专利技术涉及一种用户行为审计方法及文件存储方法。
技术介绍
随着信息技术的日新月异和网络信息系统应用的发展，政府、企业的网络应用层次不断深入，使得信息安全问题也日益凸现。如对内部业务系统的非授权访问，业务资源的滥用、误用行为，损害业务系统的正常运行；在工作时间影响工作效率的聊天、炒股、玩网络游戏、BT下载、在线视频等行为；未经授权随意通过电子邮件、即时通讯等方式发送敏感涉密信息，导致机密信息、关键业务数据的外泄；利用网络浏览、下载、传播、发表不良信息和非法言论，造成恶劣社会影响，并可能导致国家法律问题等。在这种情况下，用户行为审计技术应运而生，这项技术的运用将使得网络资源得到合理的配置和优化并保证网络的安全，将网络的管理提高到一个新的层次。但现有的用户审计方法中各种物联网设备会采集海量的用户行为数据，特别是采集视频图像的用户行为数据，这些数据往往是视频图像的关键帧，以图像文件形式存在。由于数据分析的需要，用户行为数据文件被要求发送到数据中心的审计服务器进行统一分析处理，但是采集海量数据的物联网设备往往性能普遍较低，且不具备稳定的网络，数据传输的带宽也非常有限，所以用户行为数据发送到数据中心之前，需要在物联网设备上存储相当一段时间，但物联网设备在存储文件时依赖操作系统的文件系统来管理文件，常见的文件系统将会为每一个文件创建一个元数据，用来描述和管理文件，当读取文件时，至少需要3次以上的磁盘IO访问，当存储的文件数量规模较小时，其效率尚可，但文件数量超过千万级别之后，文件读写效率将会大大降低，另外，在常见的文件读写中，通常有以下几个系统调用过程：文件打开->文件寻址->文件读写->文件关闭，对于每个文件访问来说，都要经历文件打开过程，而这个过程是一个花销很大的系统调用过程。当存在海量文件时，文件的读写会在上面花费很多时间。
技术实现思路
本专利技术要解决的技术问题是提供一种用户行为审计方法及文件存储方法，可在单个物联网设备有限的存储性能下，节省存储空间，在读写文件时，可以有效控制文件打开数量，对于连续文件的读写，不需要重复执行文件打开系统调用，从而大大降低了系统消耗，提高文件读取效率。为解决上述技术问题，本专利技术采用如下技术方案：一种用户行为审计方法，其包括如下步骤：通过若干个物联网设备采集用户行为数据；在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计。另外，还包括：对暂存的用户行为数据文件进行过期处理时，以文件卷的生命周期进行过期处理，单个用户行为数据文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷。另外，对同一文件类型的用户行为数据文件进行暂存之前还包括：对同一文件类型的用户行为数据文件进行压缩，去除重复的压缩描述信息。其中，所述用户行为数据文件为图像文件。其中，所述描述文件卷的元信息还包括：文件卷ID、文件卷的存储时间长度、存储文件的文件夹的路径。其中，所述文件块包括文件头结构，用于存储描述文件块的元信息。其中，所述描述文件块的元信息包括：文件块ID、文件块大小、文件块偏移量、文件块校验信息。另外，本专利技术的一种文件存储方法，其包括：在存储文件的物联网设备的文件系统中对同一文件类型的文件建立对应该文件类型的文件卷；对同一文件类型的文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；读取文件卷中暂存的文件时，根据该文件卷块结构中的文件类型描述信息对读取的文件补齐文件类型描述信息。其中，该方法还包括：对暂存的文件进行过期处理时，以文件卷的生命周期进行过期处理，单个文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷。另外，对同一文件类型的文件进行暂存之前还包括：对同一文件类型的文件进行压缩，去除重复的压缩描述信息。与现有技术相比，本专利技术具有以下有益效果：本专利技术的用户行为审计方法及文件存储方法中，通过若干个物联网设备采集用户行为数据；在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计。本专利技术中由于将同一类型文件合并放入一个大的存储空间，同时消除该类型文件的统一文件类型描述信息，从而降低文件的大小，虽然文件类型描述信息数据较小，但是由于文件数量巨大，最终能够节省的空间也相当可观，特别是对存储性能有限的单个物联网设备。另外，由于海量用户行为数据文件使用同一个文件类型描述信息作为元信息描述，可解决现有技术中文件系统元数据管理低下的问题，而且对同一文件类型的用户行为数据文件进行合并存储，所以在读写文件时，可以有效控制文件打开数量，对于连续文件的读写，不需要重复执行文件打开系统调用，从而大大降低了系统消耗，提高文件读取效率。对于随机文件的读写，由于可以同时打开多个合并存储的文件，同样能够大大降低文件打开系统调用消耗，从而提高文件读取效率。附图说明图1是本专利技术文件存储方法的一个具体实施例流程图；图2是本专利技术用户行为审计方法的一个具体实施例流程图。具体实施方式参考图1，该图是本专利技术文件存储方法的一个具体实施例流程图，主要包括如下步骤：步骤S101，在存储文件的物联网设备的文件系统中对同一文件类型的文件建立对应该文件类型的文件卷；步骤S102，对同一文件类型的文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息，本实施例中由于海量用户行为数据文件使用同一个文件类型描述信本文档来自技高网...

【技术保护点】
1.一种用户行为审计方法，其特征在于，包括如下步骤：/n通过若干个物联网设备采集用户行为数据；/n在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；/n对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；/n当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；/n将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计。/n

【技术特征摘要】
1.一种用户行为审计方法，其特征在于，包括如下步骤：
通过若干个物联网设备采集用户行为数据；
在每个物联网设备上的文件系统中对同一文件类型的用户行为数据文件建立对应该文件类型的文件卷；
对每个物联网设备上采集到的同一文件类型的每个用户行为数据文件移除文件类型描述信息并当作文件块写入该同一文件类型对应的文件卷中暂存，其中该同一文件类型对应的文件卷包括块结构，用于描述文件卷的元信息，文件卷元信息包括文件类型描述信息；
当获取用户行为数据文件进行审计时，读取文件卷中暂存的用户行为数据文件，并根据该文件卷块结构中的文件类型描述信息对读取的用户行为数据文件补齐文件类型描述信息；
将补齐文件类型描述信息的用户行为数据文件发送到数据中心的审计服务器进行审计。


2.根据权利要求1所述的方法，其特征在于，还包括：
对暂存的用户行为数据文件进行过期处理时，以文件卷的生命周期进行过期处理，单个用户行为数据文件过期时不移除文件，等待整个文件卷过期时，移除整个文件卷。


3.根据权利要求1所述的方法，其特征在于，对同一文件类型的用户数据文件进行暂存之前还包括：
对同一文件类型的用户行为数据文件进行压缩，去除重复的压缩描述信息。


4.根据权利要求1所述的方法，其特征在于，所述用户行为数据文件为图像文件。


5....

【专利技术属性】
技术研发人员：韩金倡，
申请(专利权)人：杭州九州方园科技有限公司，
类型：发明
国别省市：浙江;33